爬虫代理代码示例
这一页聚合爬虫代理的代码资产。会话保持、Proxy-Tunnel 和排障链路请看 爬虫代理开发手册。
本站语言示例
官方 GitHub Demo
demo-sdk-tunnel-proxy 是爬虫代理的官方多语言示例仓库,覆盖普通 HTTP 客户端和浏览器自动化相关目录。
场景案例
cookie-pool-example 不是普通语言示例,而是一个完整的场景案例:
- 用 DrissionPage 生成有效 Cookie
- 用
curl_cffi共享 Cookie 与 User-Agent - 通过 Redis 与 RQ 把 Cookie Worker 和 Search Worker 解耦
- 依赖 Portunnel 处理本地代理转发
工具仓库
Portunnel 是爬虫代理的专用本地转发工具。需要先理解它适合的运行环境时,请看 Portunnel 工具导读。