Skip to content
The Chat Archive
o3-2025-04-16· OpenAI LMArena Human Preference 140K

怎么搭建代理池

  1. User

    怎么搭建代理池

  2. Assistant

    下面给你一份“从 0-1 亲手撸一个可落地的代理池”指南。内容分三层:理念 → 组件 → 代码示例 / Docker-Compose,一步步带你上线一个可自动抓取、校验、去重、轮换并提供 HTTP API 的代理池。全文示例默认使用 Python 3.10 + Redis + Flask(或 FastAPI)+ aiohttp,但思路通用于其他语言。


    一、整体架构

    ┌────────────────┐        ┌────────────────┐
    │  ProxyFetcher  │  →→→  │   Raw_Proxies  │  (Redis set)
    └────────────────┘        └────────────────┘
             │
             ▼   async/test
    ┌────────────────┐        ┌────────────────┐
    │ ProxyValidator │  →→→  │ Verified_Proxies│(Redis sorted-set, score=延迟)
    └────────────────┘        └────────────────┘
             │
             ▼
    ┌────────────────┐
    │    API Layer   │  (Flask/FastAPI → GET /random, /all, /count ...)
    └────────────────┘
    

    • ProxyFetcher:定时抓取免费 / 付费代理源,保存原始列表
    • ProxyValidator:并发检测可用性、类型(HTTP/HTTPS)、匿名度、速度,写入 Verified 集合
    • API Layer:给爬虫/业务系统提供接口,同时负责淘汰失效代理
    • 存储:Redis(内存快,一条代理一个 key 或 set;亦可换 MongoDB、MySQL)
    • 调度:celery/apscheduler,或用 Linux cron 简单跑脚本
    • 可选:Prometheus + Grafana 监控成功率 / QPS / 延迟


    二、关键模块拆解

    1. 代理来源(ProxyFetcher)

    1. 免费站:快代理、66 代理、ip3366、freeproxylist、国外代理 api …
    2. HTTP BIN / Browserless 付费 API
    3. P2P / DHT 网络(难度高,不展开)

    抓取要点
    • 普遍反爬,需随机 UA、重试、异步并发。
    • 防止 HTML 结构变化:使用 XPath / CSS 选择器,并写在 config 中方便调整。

    2. 代理校验(ProxyValidator)

    • 是否能连通目标网站(不同业务可配多目标)
    • 支持协议检测(HTTP, HTTPS, SOCKS)
    • 延迟测速:记录响应时间,用作排序或打分
    • 匿名度:检查 X-Forwarded-For / Via 头,看源 IP 是否泄露
    • 失败计数:连续 N 次失败淘汰

    3. 数据存储策略

    Redis 结构示例

    raw_proxies        -> set()                 # 未校验
    verified_proxies   -> zset(proxy, score)    # score = 响应延迟 ms
    proxy:{ip:port}    -> hash(fields...)       # 可加国家、省份、协议、匿名度
    

    为什么用 ZSET ➜ 可以根据分值取最快 / 随机权重抽取。
    持久化 ➜ redis 默认 AOF,或定时 dump 到文件 / RDB。

    4. API 服务

    常见接口
    • /random → 随机返回 1 条高分代理
    • /best?top=5 → 返回最快的前 5 条
    • /count → 可用数量
    • /delete?proxy=… → 主动删除
    • /all?page=x → 分页


    三、动手:最小可用代码

    目录示例

    proxy_pool/
    ├─ fetcher.py
    ├─ validator.py
    ├─ api.py
    ├─ settings.py
    └─ docker-compose.yml
    

    1. settings.py

    REDIS_URL   = "redis://:@redis:6379/0"
    TEST_URLS   = ["https://www.baidu.com", "https://www.google.com"]
    TIMEOUT     = 8
    MAX_SCORE   = 100
    MIN_SCORE   = 0
    

    2. fetcher.py(简化示例,只抓快代理 HTML)

    import asyncio, aiohttp, re, redis.asyncio as redis, settings
    
    PATTERN = re.compile(r'<td data-title="IP">(.*?)</td>\s*<td data-title="PORT">(.*?)</td>', re.S)
    
    async def fetch_kuaidaili():
        async with aiohttp.ClientSession() as s:
            for page in range(1, 3):
                url = f"https://www.kuaidaili.com/free/inha/{page}/"
                html = await (await s.get(url, headers={'User-Agent': 'Mozilla/5.0'})).text()
                for ip, port in PATTERN.findall(html):
                    yield f"{ip}:{port}"
    
    async def main():
        r = redis.from_url(settings.REDIS_URL, decode_responses=True)
        async for proxy in fetch_kuaidaili():
            await r.sadd("raw_proxies", proxy)
        await r.close()
    
    if __name__ == "__main__":
        asyncio.run(main())
    

    3. validator.py

    import asyncio, aiohttp, time, settings, redis.asyncio as redis
    
    async def test_proxy(session, proxy, redis_cli):
        try:
            start = time.perf_counter()
            async with session.get(settings.TEST_URLS[0], proxy=f"http://{proxy}",
                                   timeout=settings.TIMEOUT) as resp:
                if resp.status == 200:
                    delay = (time.perf_counter() - start) * 1000
                    await redis_cli.zadd("verified_proxies", {proxy: delay})
                    return True
        except Exception:
            pass
        return False
    
    async def worker(name, redis_cli):
        async with aiohttp.ClientSession() as session:
            while True:
                proxy = await redis_cli.spop("raw_proxies")
                if not proxy:
                    await asyncio.sleep(2); continue
                ok = await test_proxy(session, proxy, redis_cli)
                if not ok:  # 失败可放回原池,或丢弃
                    pass
    
    async def main():
        r = redis.from_url(settings.REDIS_URL, decode_responses=True)
        tasks = [worker(f"w{i}", r) for i in range(200)]
        await asyncio.gather(*tasks)
    
    if __name__ == '__main__':
        asyncio.run(main())
    

    4. api.py(Flask)

    from flask import Flask, jsonify, request, abort
    import redis, random, settings
    
    app = Flask(__name__)
    r = redis.from_url(settings.REDIS_URL, decode_responses=True)
    
    @app.route("/random")
    def random_proxy():
        proxies = r.zrange("verified_proxies", 0, -1)
        if not proxies: abort(404)
        return proxies[random.randint(0, len(proxies)-1)]
    
    @app.route("/best")
    def best():
        top = int(request.args.get('top', 5))
        return jsonify(r.zrange("verified_proxies", 0, top-1))
    
    @app.route("/count")
    def count():
        return str(r.zcard("verified_proxies"))
    
    if __name__ == "__main__":
        app.run(host="0.0.0.0", port=5555)
    

    5. Docker-Compose 一键起

    version: '3'
    services:
      redis:
        image: redis:7.0
        restart: always
        command: --appendonly yes
        ports: ["6379:6379"]
    
      fetcher:
        build: .
        command: python fetcher.py
        depends_on: [redis]
    
      validator:
        build: .
        command: python validator.py
        depends_on: [redis]
    
      api:
        build: .
        command: python api.py
        ports: ["5555:5555"]
        depends_on: [redis]
    

    Dockerfile 如下

    FROM python:3.10-slim
    WORKDIR /app
    COPY . .
    RUN pip install aiohttp flask redis
    

    docker-compose up -d 即可全部跑起来。


    四、进阶优化

    1. 代理高质量化
      • 接入收费 IP 池 API (Luminati, BrightData, Abuyun)
      • 根据业务目标站实时打分,做“站点适配”

    2. 调度与扩缩容
      • Kubernetes + CronJob 定时抓取
      • 使用 Celery/RabbitMQ 把“验证任务”拆散,提高并发

    3. 灰度剔除策略
      • 连续失败 3 次 → 减分,低于阈值踢出
      • 响应时间 > 8s 自动下架

    4. 安全 & 合规
      • 确认目标站点的 Robots 协议和当地法律
      • 严禁利用代理从事违法活动

    5. 监控可视化
      • Prometheus Exporter 暴露 count、success_rate
      • Grafana 画 Dashboard,一目了然


    五、常见坑 & FAQ

    Q1: 免费代理不稳定怎么办?
    A1: 免费池只能“量大摊平”,同时加重校验频率;生产业务建议接入付费渠道。

    Q2: 为什么用了代理还是被封?
    A2: 目标站一般会启用指纹检测、Cookie、UA 关联,请结合随机 Header、Session 池、Selenium/Playwright 真浏览器等手段。

    Q3: Redis 内存暴涨?
    A3: 设置 maxmemory-policy allkeys-lru;定期持久化到磁盘;或用 Bloom Filter 去重再入库。

    Q4: HTTPS 验证失败?
    A4: aiohttp 需加 proxy="http://IP:PORT" 但自动识别 HTTPS;如果代理只支持 CONNECT,需要专门测试。


    🎉 现在你已经拥有一个可用的代理池雏形!根据实际业务可继续打磨:
    • 替换为 FastAPI + Uvicorn 提升 QPS
    • 模块化多源抓取 (plugins/)
    • 加入 IP 地理位置信息、匿名级别筛选
    • 在 GitHub Actions 做 CI/CD 自动部署

    希望这份指南能帮你快速起飞 🚀,祝你爬虫 / 测试 / 逆向之旅一路顺风!