爬虫代理代码示例

阅读模式

这一页聚合爬虫代理的代码资产。会话保持、Proxy-Tunnel 和排障链路请看 爬虫代理开发手册

本站语言示例

官方 GitHub Demo

demo-sdk-tunnel-proxy 是爬虫代理的官方多语言示例仓库,覆盖普通 HTTP 客户端和浏览器自动化相关目录。

场景案例

cookie-pool-example 不是普通语言示例,而是一个完整的场景案例:

  • 用 DrissionPage 生成有效 Cookie
  • curl_cffi 共享 Cookie 与 User-Agent
  • 通过 Redis 与 RQ 把 Cookie Worker 和 Search Worker 解耦
  • 依赖 Portunnel 处理本地代理转发

工具仓库

Portunnel 是爬虫代理的专用本地转发工具。需要先理解它适合的运行环境时,请看 Portunnel 工具导读

相关入口