Scrapy vs Selenium vs BeautifulSoup：三大 Python 爬虫框架对比
Python 爬虫三大工具：BeautifulSoup（HTML 解析）、Scrapy（爬虫框架）、Selenium（浏览器自动化）。选哪个取决于你的场景。本文逐一对比。
BeautifulSoup
纯 HTML/XML 解析库，不做请求、不执行 JS。你需要配合 requests 使用。特点：学习成本低、适合小项目、处理静态页面效率高。不适合 JS 渲染的页面。
Scrapy
完整的爬虫框架。自带异步请求引擎、中间件、数据 Pipeline。特点：效率极高（异步并发）、内置去重和重试、可扩展性强。学习曲线较陡。
Selenium
浏览器自动化工具，控制真实浏览器。特点：可以执行 JS、处理动态内容、模拟用户交互。速度慢、资源消耗大。适合需要浏览器渲染的场景。
对比总结
| 特性 | BeautifulSoup | Scrapy | Selenium |
|---|---|---|---|
| 类型 | HTML 解析库 | 爬虫框架 | 浏览器自动化 |
| 速度 | 快 | 极快（异步） | 慢 |
| JS 渲染 | ❌ | ❌（需插件） | ✅ |
| 学习难度 | 低 | 中高 | 中 |
| 适用场景 | 简单静态页面 | 大规模采集 | 动态交互页面 |