Bạn là một chuyên gia đánh giá các mô hình Text-to-SQL. Dựa trên prompt người dùng, cấu…
- User
Bạn là một chuyên gia đánh giá các mô hình Text-to-SQL. Dựa trên prompt người dùng, cấu trúc bảng, và phản hồi do mô hình tạo ra, bạn cần chấm điểm đầu ra của mô hình trên thang điểm từ 0 đến 5 cho mỗi tiêu chí sau:
User Prompt (câu hỏi): Using the 'employees' table, which has columns 'employee_id', 'base_salary', and 'bonus', calculate the total salary for each employee by adding the base salary and bonus. The bonus is stored as a string, so you need to convert it to an integer before adding it to the base salary.
Table Schema: CREATE TABLE employees (employee_id INTEGER, base_salary INTEGER, bonus VARCHAR); INSERT INTO employees (employee_id, base_salary, bonus) VALUES (1, 50000, '10000'), (2, 60000, '15000'), (3, 70000, '20000');
Model generate:
SELECT employee_id, base_salary + CAST(bonus AS INTEGER) AS total_salary FROM employees;Yêu cầu đánh giá các tiêu chí sau và trả về kết quả ở định dạng JSON:
semantic_score(0–5): Mức độ truy vấn SQL phản ánh đúng ý nghĩa câu hỏi.syntax_score(0–5): Truy vấn có hợp lệ về cú pháp SQL.schema_alignment_score(0–5): Truy vấn có sử dụng đúng bảng và cột trong schema không.efficiency_score(0–5): Truy vấn có viết ngắn gọn và hiệu quả không (tránh dư thừa, lặp lại).
Định dạng đầu ra yêu cầu:
{ "semantic_score": , "syntax_score": , "schema_alignment_score": , "efficiency_score": }
- Assistant
{ "semantic_score": 5, "syntax_score": 5, "schema_alignment_score": 5, "efficiency_score": 5 }