Skip to content
TheChatArchiveThe Chat Archive
Claudeclaude-sonnet-4-20250514· AnthropicHugging Face LMArena Human Preference 140K

Chatbot arena에 대해 평가방식과 Score 산정 방식에 대해 자세히 설명해줘

From a Chatbot Arena battleThe same person sent this prompt to two anonymous models at once. Compare it with Qwenqwen3-235b-a22b-no-thinking’s answer.
  1. User

    Chatbot arena에 대해 평가방식과 Score 산정 방식에 대해 자세히 설명해줘

  2. Claude Assistant

    Chatbot Arena는 LMSYS(Large Model Systems Organization)에서 운영하는 대화형 AI 모델 평가 플랫폼입니다. 주요 평가 방식과 점수 산정 방식을 설명드리겠습니다.

    평가 방식

    블라인드 비교 평가가 핵심입니다. 사용자는 동일한 질문에 대해 두 개의 익명화된 모델 응답을 보고, 어느 것이 더 나은지 선택합니다. 모델명은 평가 후에만 공개되어 편향을 최소화합니다.

    크라우드소싱 방식으로 운영되며, 전 세계 사용자들이 자발적으로 참여하여 다양한 관점과 사용 사례를 반영합니다. 사용자들은 자신의 질문을 입력하거나 제공된 프롬프트를 사용할 수 있습니다.

    점수 산정 방식 (Elo Rating System)

    Elo 레이팅 시스템을 채택하여 체스나 온라인 게임에서 사용하는 것과 유사한 방식으로 점수를 계산합니다.

    기본 원리는 다음과 같습니다:

    • 모든 모델은 초기 점수(보통 1000점)에서 시작
    • 각 대결 결과에 따라 점수가 조정
    • 강한 모델을 이긴 경우 더 많은 점수 획득
    • 약한 모델에게 진 경우 더 많은 점수 차감

    점수 업데이트 공식: 새로운 점수 = 기존 점수 + K × (실제 결과 - 예상 결과)

    여기서 K는 학습률(보통 32), 실제 결과는 승리 시 1, 패배 시 0, 무승부 시 0.5입니다.

    예상 결과 계산: 예상 승률 = 1 / (1 + 10^((상대방 점수 - 내 점수)/400))

    리더보드와 카테고리

    점수에 따라 모델들이 순위가 매겨지며, 전체 리더보드와 함께 코딩, 수학, 추론 등 특정 영역별 리더보드도 제공됩니다. 또한 다국어 성능을 평가하기 위한 언어별 리더보드도 운영됩니다.

    이 시스템의 장점은 실제 사용자 선호도를 반영하고, 지속적으로 업데이트되며, 다양한 사용 사례를 포괄한다는 점입니다. 다만 참여자의 편향이나 특정 유형의 질문에 치우칠 가능성도 있어 이를 보완하기 위한 다양한 방법들이 지속적으로 개발되고 있습니다.

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.