Skip to content
The Chat Archive
o3-2025-04-16· OpenAI LMArena Human Preference 140K

用KV来解决

  1. User

    用KV来解决

  2. Assistant

    下面给你一个「用 KV 做全局状态」的版本:
    每次请求先到 Workers KV 里取一个全局计数器,递增后再写回,实现“伪原子”轮询。
    虽然 KV 不是强一致,但在绝大多数场景里已经能把多个实例的请求均匀地摊到各个 key 上;
    如果你对并发写冲突非常敏感,可以改成 Durable Objects(强一致),不过题目说“用 KV”那就先这么来 👇

    ⚠️ 要点先说

    1. KV 读写是 Eventually Consistent,偶尔会有重复使用同一个 key 的情况,但整体仍趋于平均。
    2. 单次读-改-写存在竞态;若要绝对安全请用 Durable Objects。
    3. API_KEYS 可以在 KV 里配置,也可以直接写在代码里;下面示例写在代码里,计数器放 KV。

    ┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
    ┃ 1. wrangler.toml 绑定 KV
    ┗━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━

    name = "gemini-proxy"
    main = "src/worker.js"
    compatibility_date = "2023-12-01"
    
    [[kv_namespaces]]
    binding = "GLOBAL_STATE"   # 代码里用这个名字
    id      = "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"   # 生产环境 namespaceId
    
    # 若有 dev/preview,可继续配 preview_id
    

    ┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
    ┃ 2. worker.js
    ┗━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━

    export default {
      async fetch(request, env, ctx) {
        // 处理 CORS 预检
        if (request.method === 'OPTIONS') {
          return new Response(null, {
            headers: corsHeaders()
          })
        }
    
        // 仅支持 GET/POST/PUT/PATCH/DELETE -> 其余 405
        if (!['GET', 'POST', 'PUT', 'PATCH', 'DELETE'].includes(request.method)) {
          return new Response('Method Not Allowed', { status: 405 })
        }
    
        try {
          // ① 取得下一枚可用 key
          const apiKey = await getNextApiKey(env.GLOBAL_STATE)
    
          // ② 拼目标 URL(把原始 path 与 query 全带过去)
          const srcUrl  = new URL(request.url)
          const target  = new URL(`https://generativelanguage.googleapis.com${srcUrl.pathname}${srcUrl.search}`)
          target.searchParams.set('key', apiKey)  // 插入 key
    
          // ③ 克隆请求 & 透传
          const init = {
            method: request.method,
            headers: new Headers(request.headers),
            body:   ['GET', 'HEAD'].includes(request.method) ? undefined : await request.clone().arrayBuffer(),
          }
    
          const resp = await fetch(target.toString(), init)
    
          // ④ 回写响应(附带 CORS)
          const newHdrs = new Headers(resp.headers)
          newHdrs.set('Access-Control-Allow-Origin', '*')
    
          return new Response(resp.body, {
            status: resp.status,
            statusText: resp.statusText,
            headers: newHdrs
          })
        } catch (err) {
          return new Response(JSON.stringify({ error: err.message }), {
            status: 500,
            headers: { 'Content-Type': 'application/json', ...corsHeaders() }
          })
        }
      }
    }
    
    /* ---------------- 工具函数分割线 ---------------- */
    
    // 轮询获取下一个 key(KV 里放一个自增指针)
    const API_KEYS = [
      'YOUR_API_KEY_1',
      'YOUR_API_KEY_2',
      'YOUR_API_KEY_3'
    ]
    
    // KV key 名可随意定义
    const POINTER_KEY = 'gemini_pointer'
    
    async function getNextApiKey(kv) {
      // step1. 读取指针;没有的话默认为 0
      let idx = await kv.get(POINTER_KEY)
      idx = idx ? parseInt(idx) : 0
    
      // step2. 计算下一个
      const nextIdx = (idx + 1) % API_KEYS.length
    
      // step3. 写回(不等待写入完成,加速响应)
      kv.put(POINTER_KEY, nextIdx.toString(), { expirationTtl: 60 * 60 * 24 * 30 }) // ttl 30天
      // ⚠️ 不 await,可以用 ctx.waitUntil 让后台写:
      // ctx.waitUntil(kv.put(...))
    
      // step4. 返回这一次要用的 key
      return API_KEYS[idx]
    }
    
    function corsHeaders() {
      return {
        'Access-Control-Allow-Origin': '*',
        'Access-Control-Allow-Methods': 'GET,POST,PUT,PATCH,DELETE,OPTIONS',
        'Access-Control-Allow-Headers': '*',
        'Access-Control-Max-Age': '86400'
      }
    }
    

    ┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
    ┃ 3. 思路解释
    ┗━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━

    1. KV 里只保存一个指针 gemini_pointer

      • 第一次没值 → 赋 0。
      • 每来一次请求 → 取值 idx → 计算 (idx+1) % N → 写回。
      • 本次请求就用 API_KEYS[idx]。
    2. 因为 KV 写入是异步且最终一致,在极高 QPS 下可能两个实例都拿到同一个 idx,导致某些 key 被多用几次,用久了又会慢慢均匀——对多数场景够用了。

    3. 写回时我们没有 await kv.put(),而是放到 ctx.waitUntil 或直接 fire-and-forget;这样主链路更快。

    4. 如果之后要动态增减 key

      • 直接改 API_KEYS 数组即可;下次部署生效。
      • 指针超过新数组长度时,因为取模 %,自动归零到 0 起。
    5. 想要更精细的「计数统计」「限速」「熔断」

      • 在 KV 里存一份 JSON:{ key1: 123, key2: 456 };每用一次就 +1。
      • 完整示例见下面扩展代码块。

    ┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
    ┃ 4. (可选)最少使用策略 Least-Used + KV JSON
    ┗━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━

    const USAGE_KEY = 'gemini_usage'
    
    // 调用前:
    const apiKey = await getLeastUsedKey(env.GLOBAL_STATE)
    
    async function getLeastUsedKey(kv) {
      // 取计数表,没有就初始化
      let usage = await kv.get(USAGE_KEY, { type: 'json' })
      if (!usage) {
        usage = Object.fromEntries(API_KEYS.map(k => [k, 0]))
      }
    
      // 找最小值的 key
      const minKey = Object.entries(usage).sort((a, b) => a[1] - b[1])[0][0]
    
      // 自增并写回(同样可 fire-and-forget)
      usage[minKey]++
      kv.put(USAGE_KEY, JSON.stringify(usage), { expirationTtl: 60 * 60 * 24 * 30 })
    
      return minKey
    }
    

    这会让「用量最少」的 key 优先被选,但写 KV 的并发冲突更容易出现(因为一份 JSON 同时被多个实例覆盖)。如果需要强一致、没法接受覆盖丢失,请升级到 Durable Objects👇

    ┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
    ┃ 5. 真·强一致轮转?→ Durable Objects
    ┗━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━

    Durable Objects 单例 + 原子存储,天然适合干这种“全局计数器”事。
    如果你后面遇到「KV 并发丢写」导致 key 使用不均,就把 getNextApiKey 搬进 DO 即可。示例略。

    ––––––––––––––––––––––––––––––––––––
    以上,就是「用 KV 做全局计数 + Cloudflare Workers 反代 Gemini API 并轮询 key」的完整方案。
    有别的需求(限速、熔断、监控)再吱声 🙌

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.