Skip to content
TheChatArchiveThe Chat Archive
MiniMaxminimax-m1· MiniMaxHugging Face LMArena Human Preference 140K

不过 wokers应该是无状态的,如何保证均匀负载keys

  1. User

    不过 wokers应该是无状态的,如何保证均匀负载keys

  2. MiniMax Assistant

    在 Cloudflare Workers 这种无状态环境中,使用全局计数器轮转密钥确实无法保证均匀负载,因为:

    1. 多实例隔离:每个请求可能被不同 Worker 实例处理,各实例的计数器相互独立
    2. 无状态性:无法通过全局变量跟踪密钥使用次数
    3. 请求突发性:突发流量会导致密钥使用不均

    以下是改进方案:基于请求特征的确定性哈希分配,确保相同特征的请求固定使用同一密钥,整体实现概率上的均匀分布:

    // 配置多个 API 密钥
    const API_KEYS = [
      'YOUR_API_KEY_1',
      'YOUR_API_KEY_2', 
      'YOUR_API_KEY_3'
    ]
    
    async function handleRequest(request) {
      // 处理 CORS 预检请求
      const corsResponse = handleCors(request)
      if (corsResponse) return corsResponse
      
      try {
        // 获取请求特征用于密钥选择
        const apiKey = await getWeightedApiKey(request)
        
        // 构建目标 URL
        const url = new URL(request.url)
        const targetUrl = `${GEMINI_BASE_URL}${url.pathname}?key=${apiKey}`
        
        // 转发请求
        const response = await fetch(targetUrl, {
          method: request.method,
          headers: request.headers,
          body: ['POST', 'PUT', 'PATCH'].includes(request.method) 
                 ? await request.clone().arrayBuffer() 
                 : undefined
        })
        
        return new Response(response.body, {
          status: response.status,
          headers: {
            ...Object.fromEntries(response.headers),
            'Access-Control-Allow-Origin': '*'
          }
        })
      } catch (error) {
        return new Response(JSON.stringify({ error: error.message }), { 
          status: 500,
          headers: { 'Content-Type': 'application/json' }
        })
      }
    }
    
    // 基于请求特征加权选择密钥
    async function getWeightedApiKey(request) {
      // 组合请求特征
      const features = [
        request.url,               // 请求路径
        request.method,            // HTTP 方法
        request.headers.get('cf-connecting-ipv4') || '', // 客户端 IP
        request.headers.get('user-agent') || ''         // 用户代理
      ].join('|')
    
      // 计算哈希值
      const hash = await computeHash(features)
      
      // 根据哈希值选择密钥
      return API_KEYS[hash % API_KEYS.length]
    }
    
    // 简单哈希函数(可替换为更复杂的算法)
    async function computeHash(str) {
      const encoder = new TextEncoder()
      const data = encoder.encode(str)
      const hashBuffer = await crypto.subtle.digest('SHA-256', data)
      const hashArray = Array.from(new Uint8Array(hashBuffer))
      return hashArray.reduce((a, b) => a + b, 0)
    }
    
    // CORS 处理函数
    function handleCors(request) {
      const headers = {
        'Access-Control-Allow-Origin': '*',
        'Access-Control-Allow-Methods': 'GET, POST, PUT, DELETE, OPTIONS',
        'Access-Control-Allow-Headers': '*'
      }
      
      if (request.method === 'OPTIONS') {
        return new Response(null, { headers })
      }
      return null
    }
    

    改进要点说明:

    1. 确定性哈希分配:
    • 使用请求特征(URL、IP、UserAgent)的哈希值
    • 通过 SHA-256 计算唯一特征值
    • 哈希取模分配密钥,保证相同特征请求固定使用同一密钥
    1. 概率均匀分布:
    • 不同特征的请求会自然分散到不同密钥
    • 大量请求时各密钥使用量趋于均衡
    • 避免单密钥过载导致的 429 错误
    1. 无状态实现:
    • 不依赖全局计数器
    • 每个请求独立计算密钥
    • 适合 Cloudflare Workers 的分布式架构
    1. 扩展性增强:
    • 可通过添加更多请求特征字段提高分布均匀性
    • 支持动态添加/移除密钥(修改 API_KEYS 数组即可)

    补充建议:

    1. 监控需求:建议添加密钥使用统计(通过 Workers KV 记录)
    2. 熔断机制:可结合响应状态码实现自动熔断故障密钥
    3. 权重分配:如需非均匀分配,可修改哈希算法实现加权轮询

    需要我进一步解释哈希算法细节或者补充监控统计功能吗?