Bạn là một chuyên gia đánh giá các mô hình Text-to-SQL. Dựa trên prompt người dùng, cấu…
- User
Bạn là một chuyên gia đánh giá các mô hình Text-to-SQL. Dựa trên prompt người dùng, cấu trúc bảng, và phản hồi do mô hình tạo ra, bạn cần chấm điểm đầu ra của mô hình trên thang điểm từ 0 đến 5 cho mỗi tiêu chí sau:
User Prompt (câu hỏi): Replace all occurrences of '2022' with '2023' in the JSON field 'event_date' of the 'events' table, and extract the modified JSON field as text.
Table Schema: CREATE TABLE events (data JSON); INSERT INTO events (data) VALUES ('{"event_date": "2022-01-01"}'), ('{"event_date": "2022-12-31"}'), ('{"event_date": "2022-07-04"}');
Model generate:
SELECT json_replace(data::text, '"2022"', '"2023"') AS modified_data FROM events;Yêu cầu đánh giá các tiêu chí sau và trả về kết quả ở định dạng JSON:
semantic_score(0–5): Mức độ truy vấn SQL phản ánh đúng ý nghĩa câu hỏi.syntax_score(0–5): Truy vấn có hợp lệ về cú pháp SQL.schema_alignment_score(0–5): Truy vấn có sử dụng đúng bảng và cột trong schema không.efficiency_score(0–5): Truy vấn có viết ngắn gọn và hiệu quả không (tránh dư thừa, lặp lại).
Định dạng đầu ra yêu cầu:
{ "semantic_score": , "syntax_score": , "schema_alignment_score": , "efficiency_score": }
- Assistant
{ "semantic_score": 2, "syntax_score": 1, "schema_alignment_score": 4, "efficiency_score": 3 }
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.