Skip to content
TheChatArchiveThe Chat Archive
Qwenqwen3-235b-a22b-no-thinking· Alibaba (Qwen)Hugging Face LMArena Human Preference 140K

这个是bfcl主页,https://github.com/ShishirPatil/gorilla/tree/main/berkeley-function-call-leader…

From a Chatbot Arena battleThe same person sent this prompt to two anonymous models at once. Compare it with Mistralmistral-small-2506’s answer.
  1. User
  2. Qwen Assistant

    你好!你提供的链接是 Berkeley Function-Call Leaderboard (BFCL) 的主页,这是由 Berkeley 和 Gorilla 团队联合发起的一个基准测试,专门用于评估大语言模型在 函数调用(Function Calling) 场景下的能力。这个测试集主要聚焦于:

    • 模型是否能正确理解用户的请求;
    • 是否能正确调用合适的工具(函数);
    • 是否能正确构造参数;
    • 是否能处理多个函数调用的组合。

    🧪 如何测试你训练的模型?

    ✅ 步骤一:准备你的模型接口

    你需要提供一个接口,可以接受输入(用户请求 + 工具描述),并输出模型生成的函数调用结果。BFCL 支持以下几种方式接入模型:

    1. 本地模型服务(例如:通过 FastAPI、Gradio、vLLM、llama.cpp、Ollama 等部署的模型)
    2. API 接口(如你自己的模型 API、OpenAI API、Anthropic API、阿里云、腾讯云等)
    3. HuggingFace Hub 模型(支持 transformers 的模型)

    ✅ 步骤二:克隆 BFCL 项目

    git clone https://github.com/ShishirPatil/gorilla.git
    cd gorilla/berkeley-function-call-leaderboard
    

    ✅ 步骤三:安装依赖

    pip install -r requirements.txt
    

    ✅ 步骤四:准备模型接口函数

    你需要写一个函数,接收如下输入:

    def model_query(user_query: str, tools: list) -> str:
        # user_query: 用户的自然语言请求
        # tools: 工具列表,格式为 OpenAPI/Swagger 风格的 JSON
        # 返回值:模型输出的函数调用 JSON 字符串
    

    例如:

    def model_query(user_query, tools):
        prompt = f"User: {user_query}\nAvailable tools: {tools}\nPlease output the function call in JSON format."
        response = call_your_model(prompt)  # 你自己的模型调用逻辑
        return response
    

    ✅ 步骤五:运行评估脚本

    BFCL 提供了统一的评估脚本,你可以运行如下命令来测试你的模型:

    python main.py \
      --model YOUR_MODEL_NAME \
      --mode test \
      --output_path results/YOUR_MODEL_NAME.json
    

    你也可以指定特定的测试集(如只测试 REST API、数据库查询、多工具组合等):

    python main.py \
      --model YOUR_MODEL_NAME \
      --mode test \
      --test_category rest_api \
      --output_path results/YOUR_MODEL_NAME_rest_api.json
    

    ✅ 步骤六:查看评估结果

    运行完成后,结果会保存在指定的 results/ 文件夹下,你可以:

    • 查看准确率(是否正确调用函数);
    • 查看参数是否正确;
    • 查看是否遗漏工具;
    • 查看是否误调用不存在的函数等。

    你也可以将结果上传到 BFCL Leaderboard 页面(如果开放)来参与排名。


    🧠 补充建议

    • 如果你的模型是闭源模型(如通义千问、讯飞星火),你可以通过它们的 API 接口接入;
    • 如果是开源模型(如 Llama3、ChatGLM),你可以使用 transformers 或 vLLM 快速部署;
    • 注意:BFCL 的工具描述格式是 OpenAPI 风格的 JSON,确保你的模型能理解这种格式;
    • 如果你希望模型输出结构化的 JSON,可以加入一些提示词(prompt engineering)来增强输出格式的稳定性。

    📚 示例参考

    你可以参考官方提供的模型接口示例:


    如果你能告诉我你模型的部署方式(比如本地部署、API、HuggingFace、还是某个平台的模型),我可以帮你写一个具体的 model_query 函数模板。

    是否需要我帮你写一个适配你模型的接口模板?欢迎提供更多信息 😊

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.