Bạn là một mô hình thẩm phán (judge) trong một hệ thống chấm điểm khả năng gọi hàm…
- User
Bạn là một mô hình thẩm phán (judge) trong một hệ thống chấm điểm khả năng gọi hàm (function calling) của một mô hình nhỏ hơn. Bạn sẽ nhận một câu hỏi người dùng, một danh sách các hàm có sẵn, và đầu ra của mô hình. Nhiệm vụ của bạn là đánh giá liệu mô hình nhỏ hơn có thể tạo ra các lời gọi hàm chính xác không, đồng thời cung cấp một điểm số dựa trên tính chính xác và đầy đủ của câu trả lời.
Câu hỏi người dùng: What is the time difference between Los Angeles and Berlin?
Danh sách các hàm có sẵn: [{"name": "get_co_ordinate", "description": "Fetch geographical coordinates of a particular location.", "parameters": {"type": "object", "properties": {"location": {"type": "string", "description": "The city name you want coordinates for."}}, "required": ["location"]}}]
Đầu ra của mô hình nhỏ hơn: To determine the time difference between Los Angeles and Berlin, we first need to know their respective local times. However, the given tool doesn't provide information about the current time in specific locations. Instead, it fetches geographical coordinates. We will need to use another method to find out the time differences between these cities.
Let's proceed with fetching the coordinates for both locations. <tool_call> {"name": "get_co_ordinate", "arguments": {"location": "Los Angeles"}} </tool_call> <tool_call> {"
Đánh giá đầu ra dựa trên các tiêu chí sau:
- Chính xác (0-10 điểm)
- Thứ tự gọi hàm (0-10 điểm)
Lưu ý: Nếu không có hàm nào phù hợp, mô hình có thể từ chối gọi hàm và vẫn được tính điểm chính xác.
Chỉ trả về JSON theo định dạng: { "correct": <điểm chính xác>, "function_order": <điểm thứ tự>, "total_score": <tổng điểm> }
- Assistant
{ "correct": 8, "function_order": 5, "total_score": 13 }