斜杠青年

爬虫被封是所有从业者都会遇到的问题。但被封不是必然的——只要方法得当，你可以长期稳定地采集数据。本文总结了一套经过验证的防封策略。 为什么爬虫会被封 网站通过各种信号判断一个访问者是人是机器： IP 地址：同一 IP 短时间内发太多请求 → 封 请求频率：固定间隔、人体不可能达到的速度 → 封 请求头异常：缺少 Referer、UA 是默认 Python 库 → 封 行为模式：全站扫描不点任何链接、没有鼠标轨迹 → 封 浏览器指纹：Canvas、WebGL、字体等特征一致 → 封 核心防封策略 1. IP 管理 每个请求换不同 IP 是最有效的方法。使用住宅代理（Bright Data、Decodo），启用轮换。数据中心代理采集小站还行，采集大站基本秒封。 2. 请求头伪装 设置真实浏览器的 User-Agent 添加 Referer 头（从搜索结果或首页跳转） 设置 Accept-Language 携带 Cookie（先访问首页建立 Cookie） 3. 频率控制 随机延迟 3-10 秒。不要用固定间隔——让请求间隔看起来像人在操作。夜间和凌晨降低频率（人类不会在凌晨 3 点疯狂浏览网页）。 4. 行为模拟 先访问首页 → 模拟搜索 → 浏览结果 →...

互联网在进化，网页自动化已经成为常态。开发者和营销人员争相把重复性工作交给脚本，以便腾出时间做那些无法自动化的事。而在这场自动化浪潮的中心，就是无头浏览器（Headless Browser）——一种把浏览器能力（包括页面渲染、JavaScript 执行和事件触发）带到命令行的技术。 无头浏览器的出现不仅让自动化测试成为可能，也打开了 网页爬虫 的新局面——尤其是在处理 Ajax 化和 JavaScript 重度的网站时。本文将从零开始，带你彻底搞懂无头浏览器。 什么是无头浏览器 无头浏览器就是没有图形用户界面（GUI）的浏览器。更准确地说：任何具备完整浏览器渲染能力但不显示界面、只能通过脚本或命令行操作的浏览器，都叫无头浏览器。 无头浏览器让你无需面对 真正的 UI 界面 就能控制浏览器。比如，Chrome 可以在无头模式下运行，执行 发送 HTTP 请求、触发 JavaScript 事件、点击按钮、运行自定义 JS 代码，甚至完成一笔购买——全程没有 Chrome 界面弹出。 无头浏览器的核心价值在于：它能像普通浏览器一样渲染和理解 HTML、CSS、JavaScript。如果你用过传统的 HTTP 库（如 Requests），你会发现它们只能拿回 HTML 文档——理解并执行 JavaScript 全靠你自己。而现代网站大量依赖 JavaScript 和 Ajax 技术，纯 HTTP 库能拿到的内容越来越少。 目前最流行的无头浏览器包括：Headless Chrome、Headless Firefox、PhantomJS、SimpleBrowser、Splash、HtmlUnit、TrifleJS。它们都需要控制器/驱动来操作，主流的控制器包括 Selenium、Puppeteer 和 Cypress。 无头浏览器的使用场景 1. 现代网站和应用测试 过去，网页基本是静态的，用传统 HTTP 库测试就够了。但现在很多网站已经变得像原生应用一样复杂，界面交互和动态渲染比比皆是。无头浏览器能渲染这些页面，模拟用户交互，让开发者在不打开浏览器的情况下完成自动化测试。 2. 网页数据采集 依赖 JavaScript 渲染内容的网站对爬虫来说是一大难题——内容只在浏览器环境里呈现。无头浏览器提供了完整的浏览器环境，可以渲染页面后再提取数据。Google 自己就是用...

HTTP 代理是最常用的代理类型之一。如果你做爬虫、多账号运营或者只是想隐藏真实 IP，你很可能会用到它。本文涵盖 HTTP 代理的原理、类型、匿名级别以及如何选择。 什么是 HTTP 代理 HTTP 代理是一台充当客户端和网站之间中间人的服务器。当你通过 HTTP 代理访问网站时，你的请求先发给代理服务器，代理再把请求转发给目标网站，返回的响应同样经过代理回到你手上。目标网站看到的 IP 是代理的，不是你的真实 IP。 HTTP 代理只处理 HTTP/HTTPS 流量。如果需要处理更多类型的流量（如 FTP、邮件、P2P），可以考虑 Socks 代理。 HTTP 代理的类型 正向代理（Forward Proxy） 最常见的代理类型。客户端知道自己在用代理，主动配置代理地址后访问互联网。爬虫、翻墙等场景都属于正向代理。本质上，正向代理就是一台代理服务器。 反向代理（Reverse Proxy） 反向代理站在服务器端。用户访问网站时，请求先到反向代理，由它转发给后端的真实服务器。用户不知道自己访问的是代理。用途：负载均衡、SSL 终止、缓存加速。 透明代理（Transparent Proxy） 透明代理不会修改请求头，目标网站可以看到你的真实 IP。通常用于企业/学校的内容过滤和缓存，不适合做隐私保护。 匿名代理 匿名代理隐藏你的真实 IP，但会在 HTTP 头中标明自己”我是代理”。目标网站知道你在用代理，但不知道你是谁。 高匿代理（Elite Proxy） 高匿代理不仅隐藏你的真实 IP，还伪装成普通用户——不在 HTTP 头中暴露代理身份。目标网站完全看不出你是通过代理访问的。高品质住宅代理就属于这一类。 HTTP vs HTTPS 代理 HTTP 代理只能转发 HTTP 流量。要访问 HTTPS 网站，代理必须支持 CONNECT 方法——建立加密隧道后转发流量。如今大部分商用代理都同时支持 HTTP 和...

做代理爬虫的人一定遇到过这些数字：407、502、503……这些都是代理服务器返回的 HTTP 错误码。理解它们能帮你快速排查问题。本文整理了代理场景下最常见的错误码及解决方案。 常见 HTTP 代理错误码 407 Proxy Authentication Required 代理要求认证但你没有提供，或者提供了错误的用户名密码。检查 代理设置 中的认证信息是否正确。大部分付费代理使用 username:password 方式认证。 502 Bad Gateway 代理服务器收到了来自上游服务器的无效响应。这通常发生在代理无法连接到目标网站时。可能的原因：目标网站宕机、代理节点故障、DNS 解析失败。如何修复代理连接失败。 503 Service Unavailable 代理服务器暂时无法处理请求。常见原因：代理过载、目标网站限流、代理 IP 被目标站封禁。解决方式：换一个代理 IP、降低请求频率、使用轮换代理。 504 Gateway Timeout 代理在等待目标服务器响应时超时。可能原因：目标站响应太慢、代理超时设置过短、网络延迟高。可以增加超时时间或换个更快的代理节点。 403 Forbidden 目标服务器明确拒绝了你的请求。通常原因：IP 已被屏蔽、User-Agent 异常、缺少必要的 Cookie。解决方案：换 IP、用共享代理分散请求量。 429 Too Many Requests 你请求太快了——触发了目标站的限流。解决方法：降低请求频率、加延迟、用轮换代理分散请求。 常见浏览器代理错误 ERR_PROXY_CONNECTION_FAILED：代理地址或端口配置错误，或者代理服务器宕机 ERR_TUNNEL_CONNECTION_FAILED：代理隧道建立失败，常见于 HTTPS 代理 ERR_CONNECTION_RESET：连接被代理服务器重置 如何避免这些问题 使用高质量付费代理而非免费代理 设置合理的超时时间（建议 30-60 秒） 使用代理轮换避免单个 IP 被封 安装 Chrome 代理切换扩展...

HTTP 消息头（HTTP Headers）是 HTTP 请求和响应中携带元数据的关键组件。它们告诉服务器客户端是谁、能接受什么格式的内容、从哪个页面跳转过来等信息。无论是 Web 开发者、爬虫工程师还是安全研究人员，理解 HTTP 头都是必备技能。 HTTP 客户端-服务器模型 互联网本质上是客户端-服务器架构：你的浏览器（客户端）发送 HTTP 请求到网站服务器，服务器处理请求后返回响应。HTTP 头就夹在请求和响应中，传递各种控制信息。对于爬虫和无头浏览器工具来说，正确设置 HTTP 头是避免被反爬系统检测的关键。 常见请求头 Host 指定请求的目标域名。当一台服务器托管多个网站时，Host 头告诉服务器你要访问哪个站点。每个 HTTP/1.1 请求必须包含 Host 头。 User-Agent User-Agent 字符串标识发起请求的客户端类型（浏览器、爬虫、脚本等）。很多爬虫工具和抢鞋机器人因为用了不合理的 UA 而被反爬系统识别。建议使用真实浏览器的 UA 字符串。 Accept / Accept-Language / Accept-Encoding 告诉服务器客户端能接受什么类型的内容。Accept 指定 MIME 类型（如 text/html）、Accept-Language 指定语言偏好、Accept-Encoding 指定压缩方式（如 gzip）。 Referer 告诉服务器用户从哪个页面跳转过来的。注意这个单词本身拼写就是错的（少了一个 r），但这是 HTTP 规范历史遗留问题。 Cookie 携带之前服务器设置的 Cookie 数据，用于会话保持和身份认证。 X-Forwarded-For 当请求经过代理时，这个头记录了原始客户端的 IP 地址。如果你用了代理而且这个头设置不当，目标服务器可以看到你的真实 IP。 常见响应头...