Skip to content
TheChatArchiveThe Chat Archive
Perplexitysonar-pro-high· PerplexityHugging Face LMArena Search Arena 24K

MMLU-Pro и другие бенчмарки открытые страдают тем, что на датасетах этих бенчмарков…

From a Chatbot Arena battleThe same person sent this prompt to two anonymous models at once. Compare it with Perplexitysonar-reasoning’s answer.
  1. User

    MMLU-Pro и другие бенчмарки открытые страдают тем, что на датасетах этих бенчмарков тренируют мобели, читерят ради высоких скоров.

    Какие научные статьи описывают положение дел с этим читерством и какие статьи описывают методы противодействия. Как нужно атаковать вопросы в датасетах, чтобы методично выявлять училась ли модель на этом тесте или не попал в трейн этот тест

  2. Perplexity Assistant

    Проблема "читерства" на открытых бенчмарках для оценки языковых моделей действительно является актуальной. Вот несколько ключевых моментов по этой теме:

    1. Проблема переобучения на тестовых данных:

    Многие исследователи отмечают, что модели часто показывают завышенные результаты на популярных бенчмарках из-за того, что эти данные попадают в тренировочные наборы. Это приводит к переоцениванию реальных возможностей моделей.

    1. Методы противодействия:
    • Использование закрытых тестовых наборов, недоступных разработчикам моделей.
    • Динамическое обновление тестовых заданий.
    • Применение техник дифференциальной приватности при обучении, чтобы ограничить запоминание конкретных примеров.
    1. Выявление переобучения:
    • Анализ поведения модели на похожих, но слегка измененных вопросах.
    • Проверка на "каноничных" формулировках vs перефразированных версиях.
    • Оценка обобщающей способности на совершенно новых типах задач.
    1. Новые подходы к оценке:
    • Использование генеративных метрик вместо классификационных.
    • Оценка способности к рассуждениям и выводам, а не просто запоминанию фактов.
    • Тестирование на реальных прикладных задачах вместо синтетических бенчмарков.

    Ключевые статьи по теме:

    • "On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?" (Bender et al., 2021)
    • "Measuring Massive Multitask Language Understanding" (Hendrycks et al., 2021)
    • "True Few-Shot Learning with Language Models" (Perez et al., 2021)

    В целом, исследователи призывают к более тщательной и многосторонней оценке языковых моделей, выходящей за рамки простого достижения высоких показателей на стандартных бенчмарках.

  3. User

    MMLU-Pro и другие бенчмарки открытые страдают тем, что на датасетах этих бенчмарков тренируют мобели, читерят ради высоких скоров.

    Какие научные статьи описывают положение дел с этим читерством и какие статьи описывают методы противодействия. Как нужно атаковать вопросы в датасетах, чтобы методично выявлять училась ли модель на этом тесте или не попал в трейн этот тест

    думай на англ, отвечай на рус

  4. Perplexity Assistant

    Проблема "читерства" на открытых бенчмарках для оценки языковых моделей действительно является актуальной темой исследований. Вот ключевые моменты по этой теме:

    1. Описание проблемы:

    Статья "Cheating Automatic LLM Benchmarks: Null Models Achieve High Win Rates" (Zheng et al., 2025) демонстрирует, как даже простые "нулевые модели", выдающие одинаковый ответ на все вопросы, могут достигать высоких результатов на популярных бенчмарках[1][2]. Это указывает на серьезные недостатки в существующих методах оценки.

    1. Методы читерства:
    • Переобучение на тестовых данных
    • Использование LLM для перефразирования тестовых вопросов
    • Подмена моделей при оценке
    • Манипуляции с ELO-рейтингами в чат-аренах[3]
    1. Методы противодействия:
    • Использование закрытых тестовых наборов (Private Benchmarking)[10]
    • Динамическое обновление бенчмарков (например, LiveXiv)[5]
    • Применение статистических методов для выявления переобучения[8]
    1. Выявление переобучения:
    • Анализ точности предсказания n-грамм из тестового набора[8]
    • Сравнение производительности на оригинальных и перефразированных вопросах
    • Использование метрик, учитывающих возможное переформатирование данных (ROUGE-L, edit distance)[8]
    1. Рекомендации:
    • Разработка античитерских механизмов для автоматических бенчмарков[1]
    • Использование реальных прикладных задач вместо синтетических тестов[4]
    • Повышение прозрачности процесса обучения моделей[8]

    Для методичного выявления переобучения рекомендуется:

    1. Проверять точность модели на слегка измененных версиях вопросов
    2. Анализировать распределение ответов модели на похожих, но новых задачах
    3. Использовать статистические методы для выявления аномально высокой точности на определенных подмножествах данных
    4. Сравнивать производительность модели на публичных и приватных тестовых наборах

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.