下面代码中的LocalBucket 是什么? package com.aia.tss.aitool.service.impl; import…
- User
下面代码中的LocalBucket 是什么? package com.aia.tss.aitool.service.impl;
import com.aia.tss.aitool.config.AIModelConfig; import com.aia.tss.aitool.entity.AIModel; import com.aia.tss.aitool.service.AIService; import io.github.bucket4j.Bandwidth; import io.github.bucket4j.Bucket; import io.github.bucket4j.Refill; import io.github.bucket4j.local.LocalBucket; import lombok.extern.slf4j.Slf4j; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.beans.factory.config.ConfigurableBeanFactory; import org.springframework.context.annotation.Bean; import org.springframework.context.annotation.Scope; import org.springframework.stereotype.Service;
import java.time.Duration; import java.util.ArrayList; import java.util.List; import java.util.stream.Collectors;
@Service @Slf4j public class AIServiceImpl implements AIService {
@Autowired private AIModelConfig aiModelConfig; public List<AIModel> getModels() { return models; } public List<AIModel> getDocumentModels() { return documentModels; } @Override public AIModel tryConsume() { for (AIModel model : models) { if (model.getBucket().tryConsume(1)) { log.debug("{} model remain tokens:{}", model.getName(), model.getBucket().getAvailableTokens()); return model; } } return null; } @Override public AIModel tryDocumentConsume() { for (AIModel model : documentModels) { if (model.getBucket().tryConsume(1)) { log.debug("{} model remain tokens:{}", model.getName(), model.getBucket().getAvailableTokens()); return model; } } return null; } @Override public AIModel tryConsume(String usage) { for (AIModel model : models) { var usages = model.getTargetUsage(); if (usages.contains(usage) && model.getBucket().tryConsume(1)) { log.debug("usage {} model remain tokens:{}", model.getName(), model.getBucket().getAvailableTokens()); return model; } } return null; } private List<AIModel> models; private List<AIModel> documentModels; @Bean @Scope(value = ConfigurableBeanFactory.SCOPE_SINGLETON) public AIService aiService() { AIServiceImpl aiService = new AIServiceImpl(); // only use deepseekv2. aiService.models = this.aiModelConfig.getModels().stream() .filter(model -> model.getTargetUsage().contains("code") && model.getName().equals("deepseekv2")) .collect(Collectors.toList()); aiService.models.sort((x1, x2) -> x1.getPriority() - x2.getPriority()); int refillSeconds = aiModelConfig.getTokenRefillInSeconds(); for (AIModel model : aiService.models) { int capacity = model.getCapacity(); Bandwidth limit = Bandwidth.classic(capacity, Refill.greedy(capacity, Duration.ofSeconds(refillSeconds))); LocalBucket bucket = Bucket.builder().addLimit(limit).build(); model.setBucket(bucket); } // only use llama3. aiService.documentModels = this.aiModelConfig.getModels().stream() .filter(model -> model.getTargetUsage().contains("document") && model.getName().equals("llama3")) .collect(Collectors.toList()); aiService.documentModels.sort((x1, x2) -> x2.getPriority() - x1.getPriority()); for (AIModel model : aiService.documentModels) { int capacity = model.getCapacity(); Bandwidth limit = Bandwidth.classic(capacity, Refill.greedy(capacity, Duration.ofSeconds(refillSeconds))); LocalBucket bucket = Bucket.builder().addLimit(limit).build(); model.setBucket(bucket); } return aiService; } AIServiceImpl() { }}
- Assistant
在您提供的代码中,
LocalBucket是用于限制访问频率的一个类,它来自于bucket4j这个库。bucket4j是一个 Java 的流量控制库,允许您实现令牌桶算法(Token Bucket Algorithm),用于限制某一资源的使用频率。在具体的实现中,
LocalBucket是一个在本地内存中存储的桶,它可以用于单个 JVM 进程的流量控制。以下是代码中关于LocalBucket的使用情况的简要分析:-
桶的创建:在代码中,当初始化
AIModel的bucket时,创建了一个LocalBucket实例。代码片段如下:LocalBucket bucket = Bucket.builder().addLimit(limit).build(); model.setBucket(bucket);这里使用的
Bucket.builder()方法用于构造一个桶,并通过addLimit(limit)方法添加流量限制条件,这里是以Bandwidth作为限制的依据。 -
流量限制:流量限制的方式是通过
tryConsume(int permits)方法来实现的。这个方法检查当前的桶是否可以允许消费指定数量的令牌(这里是 1 个令牌),如果可以,则消费令牌并返回true,否则返回false。 -
令牌填充:使用
Refill.greedy(capacity, Duration.ofSeconds(refillSeconds))设定令牌的填充策略,意味着每过refillSeconds秒,就会填充最多capacity个令牌。这样有效地管理了对资源的访问频率。
总结来说,
LocalBucket在这段代码中被用于对各种 AI 模型的请求进行频率控制,确保每个模型在一定时间内的请求数量不超过设定的限制。这是实现动态流量管理和防止过载的一个有效方式。 -
- User
上面的LocalBucket是怎么存储桶的?
- Assistant
LocalBucket是bucket4j库中的一个类,它在内存中存储桶的状态。具体来说,LocalBucket是一个专门为单个 JVM 实例设计的桶实现,适用于在单线程或多线程环境中进行流量控制。在LocalBucket中,桶的状态主要通过几个重要的属性来进行管理和维护:-
令牌计数器:
LocalBucket内部使用一个计数器来跟踪剩余的令牌数量。初始化时,桶的容量会根据设定的Bandwidth(带宽)进行填充。桶的容量通常是通过Capacity和Refill策略定义的。 -
令牌填充逻辑:
LocalBucket根据设定的Refill策略定期填充令牌。Refill定义了如何和何时向桶中添加令牌,包括填充的速率和最大数量。这种填充通常是基于时间的,例如每隔一定的秒数填充一定数量的令牌。 -
时间戳:
LocalBucket还维持着一个时间戳,根据这个时间戳来决定何时需要进行令牌填充。通过检查当前时间和最后填充时间之间的差距,LocalBucket可以确定是否需要添加令牌。 -
并发控制:在多线程环境中,
LocalBucket可以通过内部的同步机制确保线程安全。当多个线程同时访问tryConsume或其他方法时,会使用适当的锁或其他并发控制机制来保护令牌计数器和填充逻辑,以避免出现竞争条件。
具体而言,存储桶的实现和操作可以概括为以下几个简化步骤:
- 在创建
LocalBucket时,设置初始令牌数量和填充策略。 - 每次调用
tryConsume(int permits)时,检查当前可用的令牌数量。- 如果可用令牌大于或等于请求的
permits,则消费相应的令牌,并更新当前令牌数。 - 如果可用令牌不足,则拒绝消费并返回
false。
- 如果可用令牌大于或等于请求的
- 定期(按设定的时间间隔)检查并填充令牌,更新桶的状态。
通过上述机制,
LocalBucket可以有效地管理请求和流量,从而实现对资源的控制。因为它是在内存中维护状态,所以性能较高,但是在多 JVM 环境(如微服务架构)中,可能需要使用其他方式(如分布式桶)来实现更复杂的流量控制。 -
- User
可以用其他的数据库来存储桶吗?
- Assistant
是的,您可以使用其他数据库或持久化存储来管理流量控制桶的状态,而不仅仅依赖于内存中的
LocalBucket实现。这种做法在分布式系统或需要跨多个 JVM 实例共享流量控制状态的情形中特别有用。以下是一些常见的策略和考虑事项,以便使用数据库存储桶:
1. 使用关系数据库(如 MySQL, PostgreSQL 等)
- 表设计:可以创建一个包含桶状态的表,其中包括令牌计数、上次填充时间、桶容量等字段。
- 更新操作:在
tryConsume()方法中,使用数据库事务来确保原子性。在消费令牌的同时,更新桶的状态。- 例如,查询当前令牌数,判断可用性,然后更新令牌数和时间戳。
- 性能考虑:关注读取和写入延迟。如果流量很大,频繁的数据库访问可能会成为瓶颈。
2. 使用 NoSQL 数据库(如 Redis, MongoDB 等)
-
Redis:Redis 是一种适合实时存储桶状态的内存数据库,支持高并发。
- 使用 Redis 的数据结构,可以用简单的操作来设置和获取令牌数量。
- 可以利用 Redis 的 TTL 功能自动管理令牌的过期。
-
MongoDB:文档数据库可以用来存储桶的状态,但相比有效的内存操作,它的延迟可能会更高。
3. 分布式存储框架
- 如果您的应用规模较大,可以考虑使用 Apache Zookeeper 或 etcd 这样的分布式配置和协调系统来管理流量控制。
4. 实现方法概述
无论选择哪种数据库,您都需要注意以下事项:
- 原子性:确保在尝试消费令牌时,读取和更新操作是原子性的,以免出现竞态条件。
- 锁机制:在高并发情况下,可以使用悲观锁或乐观锁来管理对共享状态的访问。
- 网络延迟:远程数据库访问可能会引入延迟,因此要考虑此因素对性能的影响。
- 故障恢复:使用持久化存储时,确保在故障发生时能够恢复当前的流量控制状态。
5. 示例代码片段
以下是一个伪代码示例,展示如何在 Redis 中实现桶的存储:
import redis.clients.jedis.Jedis; public class RedisBucket { private Jedis jedis; private String bucketKey; private int capacity; private int refillRate; public RedisBucket(String bucketKey, int capacity, int refillRate) { this.jedis = new Jedis("localhost"); this.bucketKey = bucketKey; this.capacity = capacity; this.refillRate = refillRate; // 初始化桶 if (jedis.get(bucketKey) == null) { jedis.set(bucketKey, String.valueOf(capacity)); } } public boolean tryConsume(int permits) { int availableTokens = Integer.parseInt(jedis.get(bucketKey)); if (availableTokens >= permits) { jedis.decrBy(bucketKey, permits); return true; } return false; } public void refill() { // 商定的填充逻辑 // 可以定期调用此方法来填充令牌 jedis.incrBy(bucketKey, refillRate); } }通过这种方式,您可以将流量控制与现有的数据库或存储解决方案结合在一起,实现更灵活和高效的控制机制。