怎么搭建代理池
- User
怎么搭建代理池
- Assistant
下面给你一份“从 0-1 亲手撸一个可落地的代理池”指南。内容分三层:理念 → 组件 → 代码示例 / Docker-Compose,一步步带你上线一个可自动抓取、校验、去重、轮换并提供 HTTP API 的代理池。全文示例默认使用 Python 3.10 + Redis + Flask(或 FastAPI)+ aiohttp,但思路通用于其他语言。
一、整体架构
┌────────────────┐ ┌────────────────┐ │ ProxyFetcher │ →→→ │ Raw_Proxies │ (Redis set) └────────────────┘ └────────────────┘ │ ▼ async/test ┌────────────────┐ ┌────────────────┐ │ ProxyValidator │ →→→ │ Verified_Proxies│(Redis sorted-set, score=延迟) └────────────────┘ └────────────────┘ │ ▼ ┌────────────────┐ │ API Layer │ (Flask/FastAPI → GET /random, /all, /count ...) └────────────────┘• ProxyFetcher:定时抓取免费 / 付费代理源,保存原始列表
• ProxyValidator:并发检测可用性、类型(HTTP/HTTPS)、匿名度、速度,写入 Verified 集合
• API Layer:给爬虫/业务系统提供接口,同时负责淘汰失效代理
• 存储:Redis(内存快,一条代理一个 key 或 set;亦可换 MongoDB、MySQL)
• 调度:celery/apscheduler,或用 Linux cron 简单跑脚本
• 可选:Prometheus + Grafana 监控成功率 / QPS / 延迟
二、关键模块拆解
1. 代理来源(ProxyFetcher)
- 免费站:快代理、66 代理、ip3366、freeproxylist、国外代理 api …
- HTTP BIN / Browserless 付费 API
- P2P / DHT 网络(难度高,不展开)
抓取要点
• 普遍反爬,需随机 UA、重试、异步并发。
• 防止 HTML 结构变化:使用 XPath / CSS 选择器,并写在 config 中方便调整。2. 代理校验(ProxyValidator)
• 是否能连通目标网站(不同业务可配多目标)
• 支持协议检测(HTTP, HTTPS, SOCKS)
• 延迟测速:记录响应时间,用作排序或打分
• 匿名度:检查X-Forwarded-For / Via头,看源 IP 是否泄露
• 失败计数:连续 N 次失败淘汰3. 数据存储策略
Redis 结构示例
raw_proxies -> set() # 未校验 verified_proxies -> zset(proxy, score) # score = 响应延迟 ms proxy:{ip:port} -> hash(fields...) # 可加国家、省份、协议、匿名度为什么用 ZSET ➜ 可以根据分值取最快 / 随机权重抽取。
持久化 ➜ redis 默认 AOF,或定时 dump 到文件 / RDB。4. API 服务
常见接口
• /random → 随机返回 1 条高分代理
• /best?top=5 → 返回最快的前 5 条
• /count → 可用数量
• /delete?proxy=… → 主动删除
• /all?page=x → 分页
三、动手:最小可用代码
目录示例
proxy_pool/ ├─ fetcher.py ├─ validator.py ├─ api.py ├─ settings.py └─ docker-compose.yml1. settings.py
REDIS_URL = "redis://:@redis:6379/0" TEST_URLS = ["https://www.baidu.com", "https://www.google.com"] TIMEOUT = 8 MAX_SCORE = 100 MIN_SCORE = 02. fetcher.py(简化示例,只抓快代理 HTML)
import asyncio, aiohttp, re, redis.asyncio as redis, settings PATTERN = re.compile(r'<td data-title="IP">(.*?)</td>\s*<td data-title="PORT">(.*?)</td>', re.S) async def fetch_kuaidaili(): async with aiohttp.ClientSession() as s: for page in range(1, 3): url = f"https://www.kuaidaili.com/free/inha/{page}/" html = await (await s.get(url, headers={'User-Agent': 'Mozilla/5.0'})).text() for ip, port in PATTERN.findall(html): yield f"{ip}:{port}" async def main(): r = redis.from_url(settings.REDIS_URL, decode_responses=True) async for proxy in fetch_kuaidaili(): await r.sadd("raw_proxies", proxy) await r.close() if __name__ == "__main__": asyncio.run(main())3. validator.py
import asyncio, aiohttp, time, settings, redis.asyncio as redis async def test_proxy(session, proxy, redis_cli): try: start = time.perf_counter() async with session.get(settings.TEST_URLS[0], proxy=f"http://{proxy}", timeout=settings.TIMEOUT) as resp: if resp.status == 200: delay = (time.perf_counter() - start) * 1000 await redis_cli.zadd("verified_proxies", {proxy: delay}) return True except Exception: pass return False async def worker(name, redis_cli): async with aiohttp.ClientSession() as session: while True: proxy = await redis_cli.spop("raw_proxies") if not proxy: await asyncio.sleep(2); continue ok = await test_proxy(session, proxy, redis_cli) if not ok: # 失败可放回原池,或丢弃 pass async def main(): r = redis.from_url(settings.REDIS_URL, decode_responses=True) tasks = [worker(f"w{i}", r) for i in range(200)] await asyncio.gather(*tasks) if __name__ == '__main__': asyncio.run(main())4. api.py(Flask)
from flask import Flask, jsonify, request, abort import redis, random, settings app = Flask(__name__) r = redis.from_url(settings.REDIS_URL, decode_responses=True) @app.route("/random") def random_proxy(): proxies = r.zrange("verified_proxies", 0, -1) if not proxies: abort(404) return proxies[random.randint(0, len(proxies)-1)] @app.route("/best") def best(): top = int(request.args.get('top', 5)) return jsonify(r.zrange("verified_proxies", 0, top-1)) @app.route("/count") def count(): return str(r.zcard("verified_proxies")) if __name__ == "__main__": app.run(host="0.0.0.0", port=5555)5. Docker-Compose 一键起
version: '3' services: redis: image: redis:7.0 restart: always command: --appendonly yes ports: ["6379:6379"] fetcher: build: . command: python fetcher.py depends_on: [redis] validator: build: . command: python validator.py depends_on: [redis] api: build: . command: python api.py ports: ["5555:5555"] depends_on: [redis]Dockerfile 如下
FROM python:3.10-slim WORKDIR /app COPY . . RUN pip install aiohttp flask redisdocker-compose up -d即可全部跑起来。
四、进阶优化
-
代理高质量化
• 接入收费 IP 池 API (Luminati, BrightData, Abuyun)
• 根据业务目标站实时打分,做“站点适配” -
调度与扩缩容
• Kubernetes + CronJob 定时抓取
• 使用 Celery/RabbitMQ 把“验证任务”拆散,提高并发 -
灰度剔除策略
• 连续失败 3 次 → 减分,低于阈值踢出
• 响应时间 > 8s 自动下架 -
安全 & 合规
• 确认目标站点的 Robots 协议和当地法律
• 严禁利用代理从事违法活动 -
监控可视化
• Prometheus Exporter 暴露 count、success_rate
• Grafana 画 Dashboard,一目了然
五、常见坑 & FAQ
Q1: 免费代理不稳定怎么办?
A1: 免费池只能“量大摊平”,同时加重校验频率;生产业务建议接入付费渠道。Q2: 为什么用了代理还是被封?
A2: 目标站一般会启用指纹检测、Cookie、UA 关联,请结合随机 Header、Session 池、Selenium/Playwright 真浏览器等手段。Q3: Redis 内存暴涨?
A3: 设置maxmemory-policy allkeys-lru;定期持久化到磁盘;或用 Bloom Filter 去重再入库。Q4: HTTPS 验证失败?
A4: aiohttp 需加proxy="http://IP:PORT"但自动识别 HTTPS;如果代理只支持 CONNECT,需要专门测试。
🎉 现在你已经拥有一个可用的代理池雏形!根据实际业务可继续打磨:
• 替换为 FastAPI + Uvicorn 提升 QPS
• 模块化多源抓取 (plugins/)
• 加入 IP 地理位置信息、匿名级别筛选
• 在 GitHub Actions 做 CI/CD 自动部署希望这份指南能帮你快速起飞 🚀,祝你爬虫 / 测试 / 逆向之旅一路顺风!