这个是bfcl主页,https://github.com/ShishirPatil/gorilla/tree/main/berkeley-function-call-leader…
- User
Assistant
你好!你提供的链接是 Berkeley Function-Call Leaderboard (BFCL) 的主页,这是由 Berkeley 和 Gorilla 团队联合发起的一个基准测试,专门用于评估大语言模型在 函数调用(Function Calling) 场景下的能力。这个测试集主要聚焦于:
- 模型是否能正确理解用户的请求;
- 是否能正确调用合适的工具(函数);
- 是否能正确构造参数;
- 是否能处理多个函数调用的组合。
🧪 如何测试你训练的模型?
✅ 步骤一:准备你的模型接口
你需要提供一个接口,可以接受输入(用户请求 + 工具描述),并输出模型生成的函数调用结果。BFCL 支持以下几种方式接入模型:
- 本地模型服务(例如:通过 FastAPI、Gradio、vLLM、llama.cpp、Ollama 等部署的模型)
- API 接口(如你自己的模型 API、OpenAI API、Anthropic API、阿里云、腾讯云等)
- HuggingFace Hub 模型(支持
transformers的模型)
✅ 步骤二:克隆 BFCL 项目
git clone https://github.com/ShishirPatil/gorilla.git cd gorilla/berkeley-function-call-leaderboard
✅ 步骤三:安装依赖
pip install -r requirements.txt
✅ 步骤四:准备模型接口函数
你需要写一个函数,接收如下输入:
def model_query(user_query: str, tools: list) -> str: # user_query: 用户的自然语言请求 # tools: 工具列表,格式为 OpenAPI/Swagger 风格的 JSON # 返回值:模型输出的函数调用 JSON 字符串例如:
def model_query(user_query, tools): prompt = f"User: {user_query}\nAvailable tools: {tools}\nPlease output the function call in JSON format." response = call_your_model(prompt) # 你自己的模型调用逻辑 return response
✅ 步骤五:运行评估脚本
BFCL 提供了统一的评估脚本,你可以运行如下命令来测试你的模型:
python main.py \ --model YOUR_MODEL_NAME \ --mode test \ --output_path results/YOUR_MODEL_NAME.json你也可以指定特定的测试集(如只测试 REST API、数据库查询、多工具组合等):
python main.py \ --model YOUR_MODEL_NAME \ --mode test \ --test_category rest_api \ --output_path results/YOUR_MODEL_NAME_rest_api.json
✅ 步骤六:查看评估结果
运行完成后,结果会保存在指定的
results/文件夹下,你可以:- 查看准确率(是否正确调用函数);
- 查看参数是否正确;
- 查看是否遗漏工具;
- 查看是否误调用不存在的函数等。
你也可以将结果上传到 BFCL Leaderboard 页面(如果开放)来参与排名。
🧠 补充建议
- 如果你的模型是闭源模型(如通义千问、讯飞星火),你可以通过它们的 API 接口接入;
- 如果是开源模型(如 Llama3、ChatGLM),你可以使用
transformers或vLLM快速部署; - 注意:BFCL 的工具描述格式是 OpenAPI 风格的 JSON,确保你的模型能理解这种格式;
- 如果你希望模型输出结构化的 JSON,可以加入一些提示词(prompt engineering)来增强输出格式的稳定性。
📚 示例参考
你可以参考官方提供的模型接口示例:
如果你能告诉我你模型的部署方式(比如本地部署、API、HuggingFace、还是某个平台的模型),我可以帮你写一个具体的
model_query函数模板。是否需要我帮你写一个适配你模型的接口模板?欢迎提供更多信息 😊
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.