cURL 代理设置完全指南:如何用 cURL 配置代理
cURL 是一个功能强大的命令行工具,用于通过各种网络协议传输数据。cURL 是 Client URL 的缩写,由瑞典开发者 Daniel Stenberg 开发。它最初叫 urlget,后来改为 httpget,最终定名为 cURL。
cURL 支持大量网络协议,可在 Windows、macOS、Android、iOS 等十多种平台上运行,也支持 C/C++、Python、Java、PHP 等多种编程语言。参考:Python 爬虫入门教程。
如何为 cURL 配置代理
为 cURL 配置代理其实很简单。大多数 Windows 和 macOS 设备已预装 cURL。使用代理只需要在 cURL 语法中添加相应变量。
IP 认证方式
基本语法:
curl -x [protocol://][user:password@]proxyhost[:port] URL
支持 HTTP(s) 和 SOCKS4/5 等协议。参考:HTTP vs SOCKS 代理。
用户名密码认证
curl -x http://username:password@proxy_ip:port https://example.com
通过环境变量设置代理
export http_proxy="http://proxy_ip:port"
export https_proxy="http://proxy_ip:port"
设置后,所有 cURL 命令都会自动使用代理。要取消:
unset http_proxy
unset https_proxy
cURL 代理最佳实践
- 使用 SOCKS5 代理时用
--socks5而不是-x - 忽略 SSL 证书错误(谨慎使用):
-k或--insecure - 设置超时:
--connect-timeout 10 - 批量爬取时搭配 IP 轮换
- 添加 User-Agent:
-A "Mozilla/5.0..."
总结
cURL 配合代理是一个轻量级的爬取方案。通过 -x 参数或环境变量即可集成任何代理。适合快速抓取、API 测试和简单数据采集场景。大规模任务建议使用专门的爬取框架。参考:HTTP 代理错误码大全。