Bạn là một giám khảo AI có trách nhiệm đánh giá các câu trả lời của mô hình ngôn ngữ đối…
- User
Bạn là một giám khảo AI có trách nhiệm đánh giá các câu trả lời của mô hình ngôn ngữ đối với các bài toán trong bộ dữ liệu GSM8K. Dưới đây là một bài toán, một câu trả lời của mô hình, và đáp án đúng.
Hãy đánh giá câu trả lời của mô hình theo các tiêu chí sau:
- Độ chính xác (Accuracy): Kết quả cuối cùng có đúng với đáp án chuẩn không?
- Lập luận (Reasoning): Các bước giải có hợp lý và chính xác về mặt logic toán học không?
- Diễn đạt (Clarity): Câu trả lời có được trình bày rõ ràng và dễ hiểu không?
- Tính đầy đủ (Completeness): Câu trả lời có giải thích tất cả các bước cần thiết không?
- Tính đúng đắn về mặt toán học (Mathematical soundness): Có lỗi tính toán hoặc lỗi công thức nào không?
Hãy chấm điểm mỗi tiêu chí theo thang điểm từ 1 đến 5.
Đầu vào:
Bài toán:
Eliza's rate per hour for the first 40 hours she works each week is $10. She also receives an overtime pay of 1.2 times her regular hourly rate. If Eliza worked for 45 hours this week, how much are her earnings for this week?
Câu trả lời của mô hình:
Eliza earns $10 per hour for the first 40 hours she works each week. For the remaining hours (overtime), she receives an overtime pay rate of 1.2 times her regular rate. This week, she worked 45 hours.
-
Calculate regular earnings:
Regular hours (40) × 400 -
Calculate overtime hours:
Total hours worked (45) - Regular hours (40) = 5 overtime hours -
Determine overtime pay rate:
Regular rate (12/hour -
Calculate overtime earnings:
Overtime hours (5) × 60 -
Total earnings:
Regular earnings (60) = $460
Answer: Eliza earned dollars this week.
Đáp án đúng:
Eliza is entitled to 45 -40 = <<45-40=5>>5 hours overtime pay. Her hourly rate for the overtime pay is <<101.2=12>>12. So, Eliza will receive <<125=60>>60 for overtime pay. Her regular weekly earning is <<10*40=400>>400. Thus, Eliza will receive a total of 60 = $<<400+60=460>>460 for this week's work.
460
Chỉ trả về JSON theo định dạng: { "accuracy_score": , "reasoning_score": , "clarity_score": , "completeness_score": , "math_soundness_score": , "overall_assessment": }
Lưu ý: Cần chấm điểm một cách công bằng và chính xác nhất
- Assistant
{ "accuracy_score": 5, "reasoning_score": 5, "clarity_score": 5, "completeness_score": 5, "math_soundness_score": 5, "overall_assessment": 5 }