用KV来解决
- User
用KV来解决
- Assistant
下面给你一个「用 KV 做全局状态」的版本:
每次请求先到 Workers KV 里取一个全局计数器,递增后再写回,实现“伪原子”轮询。
虽然 KV 不是强一致,但在绝大多数场景里已经能把多个实例的请求均匀地摊到各个 key 上;
如果你对并发写冲突非常敏感,可以改成 Durable Objects(强一致),不过题目说“用 KV”那就先这么来 👇⚠️ 要点先说
- KV 读写是 Eventually Consistent,偶尔会有重复使用同一个 key 的情况,但整体仍趋于平均。
- 单次读-改-写存在竞态;若要绝对安全请用 Durable Objects。
- API_KEYS 可以在 KV 里配置,也可以直接写在代码里;下面示例写在代码里,计数器放 KV。
┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
┃ 1. wrangler.toml 绑定 KV
┗━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━name = "gemini-proxy" main = "src/worker.js" compatibility_date = "2023-12-01" [[kv_namespaces]] binding = "GLOBAL_STATE" # 代码里用这个名字 id = "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx" # 生产环境 namespaceId # 若有 dev/preview,可继续配 preview_id┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
┃ 2. worker.js
┗━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━export default { async fetch(request, env, ctx) { // 处理 CORS 预检 if (request.method === 'OPTIONS') { return new Response(null, { headers: corsHeaders() }) } // 仅支持 GET/POST/PUT/PATCH/DELETE -> 其余 405 if (!['GET', 'POST', 'PUT', 'PATCH', 'DELETE'].includes(request.method)) { return new Response('Method Not Allowed', { status: 405 }) } try { // ① 取得下一枚可用 key const apiKey = await getNextApiKey(env.GLOBAL_STATE) // ② 拼目标 URL(把原始 path 与 query 全带过去) const srcUrl = new URL(request.url) const target = new URL(`https://generativelanguage.googleapis.com${srcUrl.pathname}${srcUrl.search}`) target.searchParams.set('key', apiKey) // 插入 key // ③ 克隆请求 & 透传 const init = { method: request.method, headers: new Headers(request.headers), body: ['GET', 'HEAD'].includes(request.method) ? undefined : await request.clone().arrayBuffer(), } const resp = await fetch(target.toString(), init) // ④ 回写响应(附带 CORS) const newHdrs = new Headers(resp.headers) newHdrs.set('Access-Control-Allow-Origin', '*') return new Response(resp.body, { status: resp.status, statusText: resp.statusText, headers: newHdrs }) } catch (err) { return new Response(JSON.stringify({ error: err.message }), { status: 500, headers: { 'Content-Type': 'application/json', ...corsHeaders() } }) } } } /* ---------------- 工具函数分割线 ---------------- */ // 轮询获取下一个 key(KV 里放一个自增指针) const API_KEYS = [ 'YOUR_API_KEY_1', 'YOUR_API_KEY_2', 'YOUR_API_KEY_3' ] // KV key 名可随意定义 const POINTER_KEY = 'gemini_pointer' async function getNextApiKey(kv) { // step1. 读取指针;没有的话默认为 0 let idx = await kv.get(POINTER_KEY) idx = idx ? parseInt(idx) : 0 // step2. 计算下一个 const nextIdx = (idx + 1) % API_KEYS.length // step3. 写回(不等待写入完成,加速响应) kv.put(POINTER_KEY, nextIdx.toString(), { expirationTtl: 60 * 60 * 24 * 30 }) // ttl 30天 // ⚠️ 不 await,可以用 ctx.waitUntil 让后台写: // ctx.waitUntil(kv.put(...)) // step4. 返回这一次要用的 key return API_KEYS[idx] } function corsHeaders() { return { 'Access-Control-Allow-Origin': '*', 'Access-Control-Allow-Methods': 'GET,POST,PUT,PATCH,DELETE,OPTIONS', 'Access-Control-Allow-Headers': '*', 'Access-Control-Max-Age': '86400' } }┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
┃ 3. 思路解释
┗━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━-
KV 里只保存一个指针
gemini_pointer- 第一次没值 → 赋 0。
- 每来一次请求 → 取值 idx → 计算
(idx+1) % N→ 写回。 - 本次请求就用
API_KEYS[idx]。
-
因为 KV 写入是异步且最终一致,在极高 QPS 下可能两个实例都拿到同一个 idx,导致某些 key 被多用几次,用久了又会慢慢均匀——对多数场景够用了。
-
写回时我们没有
await kv.put(),而是放到ctx.waitUntil或直接 fire-and-forget;这样主链路更快。 -
如果之后要动态增减 key
- 直接改
API_KEYS数组即可;下次部署生效。 - 指针超过新数组长度时,因为取模
%,自动归零到 0 起。
- 直接改
-
想要更精细的「计数统计」「限速」「熔断」
- 在 KV 里存一份 JSON:
{ key1: 123, key2: 456 };每用一次就 +1。 - 完整示例见下面扩展代码块。
- 在 KV 里存一份 JSON:
┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
┃ 4. (可选)最少使用策略 Least-Used + KV JSON
┗━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━const USAGE_KEY = 'gemini_usage' // 调用前: const apiKey = await getLeastUsedKey(env.GLOBAL_STATE) async function getLeastUsedKey(kv) { // 取计数表,没有就初始化 let usage = await kv.get(USAGE_KEY, { type: 'json' }) if (!usage) { usage = Object.fromEntries(API_KEYS.map(k => [k, 0])) } // 找最小值的 key const minKey = Object.entries(usage).sort((a, b) => a[1] - b[1])[0][0] // 自增并写回(同样可 fire-and-forget) usage[minKey]++ kv.put(USAGE_KEY, JSON.stringify(usage), { expirationTtl: 60 * 60 * 24 * 30 }) return minKey }这会让「用量最少」的 key 优先被选,但写 KV 的并发冲突更容易出现(因为一份 JSON 同时被多个实例覆盖)。如果需要强一致、没法接受覆盖丢失,请升级到 Durable Objects👇
┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
┃ 5. 真·强一致轮转?→ Durable Objects
┗━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━Durable Objects 单例 + 原子存储,天然适合干这种“全局计数器”事。
如果你后面遇到「KV 并发丢写」导致 key 使用不均,就把getNextApiKey搬进 DO 即可。示例略。––––––––––––––––––––––––––––––––––––
以上,就是「用 KV 做全局计数 + Cloudflare Workers 反代 Gemini API 并轮询 key」的完整方案。
有别的需求(限速、熔断、监控)再吱声 🙌
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.