不过 wokers应该是无状态的,如何保证均匀负载keys
- User
不过 wokers应该是无状态的,如何保证均匀负载keys
Assistant
在 Cloudflare Workers 这种无状态环境中,使用全局计数器轮转密钥确实无法保证均匀负载,因为:
- 多实例隔离:每个请求可能被不同 Worker 实例处理,各实例的计数器相互独立
- 无状态性:无法通过全局变量跟踪密钥使用次数
- 请求突发性:突发流量会导致密钥使用不均
以下是改进方案:基于请求特征的确定性哈希分配,确保相同特征的请求固定使用同一密钥,整体实现概率上的均匀分布:
// 配置多个 API 密钥 const API_KEYS = [ 'YOUR_API_KEY_1', 'YOUR_API_KEY_2', 'YOUR_API_KEY_3' ] async function handleRequest(request) { // 处理 CORS 预检请求 const corsResponse = handleCors(request) if (corsResponse) return corsResponse try { // 获取请求特征用于密钥选择 const apiKey = await getWeightedApiKey(request) // 构建目标 URL const url = new URL(request.url) const targetUrl = `${GEMINI_BASE_URL}${url.pathname}?key=${apiKey}` // 转发请求 const response = await fetch(targetUrl, { method: request.method, headers: request.headers, body: ['POST', 'PUT', 'PATCH'].includes(request.method) ? await request.clone().arrayBuffer() : undefined }) return new Response(response.body, { status: response.status, headers: { ...Object.fromEntries(response.headers), 'Access-Control-Allow-Origin': '*' } }) } catch (error) { return new Response(JSON.stringify({ error: error.message }), { status: 500, headers: { 'Content-Type': 'application/json' } }) } } // 基于请求特征加权选择密钥 async function getWeightedApiKey(request) { // 组合请求特征 const features = [ request.url, // 请求路径 request.method, // HTTP 方法 request.headers.get('cf-connecting-ipv4') || '', // 客户端 IP request.headers.get('user-agent') || '' // 用户代理 ].join('|') // 计算哈希值 const hash = await computeHash(features) // 根据哈希值选择密钥 return API_KEYS[hash % API_KEYS.length] } // 简单哈希函数(可替换为更复杂的算法) async function computeHash(str) { const encoder = new TextEncoder() const data = encoder.encode(str) const hashBuffer = await crypto.subtle.digest('SHA-256', data) const hashArray = Array.from(new Uint8Array(hashBuffer)) return hashArray.reduce((a, b) => a + b, 0) } // CORS 处理函数 function handleCors(request) { const headers = { 'Access-Control-Allow-Origin': '*', 'Access-Control-Allow-Methods': 'GET, POST, PUT, DELETE, OPTIONS', 'Access-Control-Allow-Headers': '*' } if (request.method === 'OPTIONS') { return new Response(null, { headers }) } return null }改进要点说明:
- 确定性哈希分配:
- 使用请求特征(URL、IP、UserAgent)的哈希值
- 通过 SHA-256 计算唯一特征值
- 哈希取模分配密钥,保证相同特征请求固定使用同一密钥
- 概率均匀分布:
- 不同特征的请求会自然分散到不同密钥
- 大量请求时各密钥使用量趋于均衡
- 避免单密钥过载导致的 429 错误
- 无状态实现:
- 不依赖全局计数器
- 每个请求独立计算密钥
- 适合 Cloudflare Workers 的分布式架构
- 扩展性增强:
- 可通过添加更多请求特征字段提高分布均匀性
- 支持动态添加/移除密钥(修改 API_KEYS 数组即可)
补充建议:
- 监控需求:建议添加密钥使用统计(通过 Workers KV 记录)
- 熔断机制:可结合响应状态码实现自动熔断故障密钥
- 权重分配:如需非均匀分配,可修改哈希算法实现加权轮询
需要我进一步解释哈希算法细节或者补充监控统计功能吗?