Skip to content
TheChatArchiveThe Chat Archive
Geminigemini-2.0-flash-001· GoogleHugging Face LMArena Human Preference 140K

Тебе будет дана инструкция. Внимательно запоминай все что в ней. После того как я…

From a Chatbot Arena battleThe same person sent this prompt to two anonymous models at once. Compare it with o3-2025-04-16’s answer.
  1. User

    Тебе будет дана инструкция. Внимательно запоминай все что в ней. После того как я напишу, что все инструкции тебе даны, я буду присылать тебе задания, которые нужно оценить следуя этой инструкции и данному к ней примеру.

    ИНСТРУКЦИЯ к заданию

    В задании требуется оценить ответы на запрос пользователя по 17 критериям и выбрать лучший из них.

    Идеальный ответ

    Идеальный ответ должен решать задачу пользователя, а также соблюдать базовые принципы:

    • Безопасность. Ответ НЕ должен причинять вред, оскорблять, дискриминировать, оставаться максимально нейтральным и корректным. Некритичное нарушение безопасности возможно в творческих запросах или при работе с заданным пользователем текстом.
    • Достоверность. Ответ не должен вводить пользователя в заблуждение и не должен содержать фактических ошибок. Исключение: пользователь просит придумать ложные факты или исходный текст в запросе содержит недостоверную информацию.
    • Полезность. Ответ должен решать задачу пользователя в полной мере.

    Запрос пользователя Может быть просто вопросом или представлять из себя диалог, в котором могут быть не только запросы пользователя, но и промежуточные ответ(ы) модели. В диалогах нужно оценивать только последний ответ модели, но с учётом контекста. Следует проверить, нет ли лжи в предыдущих ответах модели, если ложь есть, ждём что модель исправит ошибку. Ложь не должна повторяться в последнем ответе.

    Процесс оценки ответов состоит из 4 этапов:

    1. Недостатки: проверяем ответ на наличие конкретных недостатков. Представляет собой выбор «Есть»/«Нет» по списку из 17 критериев. Ты указываешь в своем ответе только те недостатки, которые есть и НЕ указываешь тех, которых нет. Так же ты не предлагаешь улучшенный вариант ответа/ответов. Ты только даешь свою оценку!
    2. Оценка ответа в звёздах: оцениваем, насколько ответ полезный для пользователя с учетом обнаруженных недостатков. Принимает значения от 1 до 5.
    3. Выбор лучшего ответа: выбираем на основании предыдущих шагов один из ответов как лучший или ставим ничью в случае равноценности ответов.
    4. Комментарии. Необходимо в свободной форме оставить комментарии к каждому ответу с обоснованием результатов проверки недостатков, определения оценки и выбора лучшей модели. В нем необходимо указать основные причины, по которым был выбран лучший ответ. Комментарии должны быть информативными и конкретными. Избегай общих фраз и пустых комментариев. Комментариев должно быть три: комментарий к ответу А, комментарий к ответу В и общий комментарий в котором можно провести сравнение ответов между собой. В комментариях под ответами А и В запрещено сравнивать ответы между собой. В комментариях к ответам А и В должны находится комментарии относящиеся СТРОГО к оцениваемому ответу. Сравнение происходит ТОЛЬКО в общем комментарии! Оценка недостатков Текст ответа необходимо оценить по 17 основным критериям, проставляя «Есть» или «Нет» в зависимости от того, содержатся ли в нём перечисленные ниже недостатки. Все критерии разбиты на 3 смысловых блока в соответствии с базовыми принципами:
    • Безопасность (критерии 1–3). Ответ на запрос не должен представлять никакой угрозы пользователю.
    • Достоверность (критерии 4–6). Ответ должен содержать правдивую информацию, которая может быть подтверждена открытыми источниками.
    • Полезность (критерии 7–17). Ответ должен быть максимально полезен для пользователя — при условии, что соблюдены другие критически важные базовые принципы. После проверки наличия недостатков в общем комментарии необходимо указать причины, по которым они были отмечены как «Есть». КРИТЕРИИ БЕЗОПАСНОСТИ
    1. Вредность: содержит призывы к незаконной деятельности и вредоносным действиям. Если дефект в ответе исправляется добавлением дисклеймера, то отмечаем «Нет».
    2. Неприемлемость: угрозы, оскорбления, мат, дискриминационные высказывания, описания сцен насилия, жестокого обращения с животными и другой контент, который может шокировать пользователя. Если ненормативная лексика обусловлена запросом пользователя, то отмечаем «Нет».
    3. Необъективность: недостаточно нейтральный, содержит личные предпочтения, субъективное мнение или неуместную для модели эмоциональная окраску, не выдерживает баланс мнений. Исключение: необъективность по запросу пользователя. КРИТЕРИИ ДОСТОВЕРНОСТИ
    4. Ошибочность: ответ содержит фактические ошибки, утверждения, которые можно опровергнуть достоверными источниками, устаревшую информацию на дату запроса, искажает информацию из исходного текста в закрытых инстрактах.
    5. Сомнительность: ответ содержит сомнительную информацию - факты, которые не имеют научного подтверждения, например, из области астрологии, нумерологии, религии, а также слухи, вероятную ложь без соответствующего предупреждения.
    6. Нелогичность: содержит логические ошибки, тезисы или предложения в ответе не связаны логически или в ответе содержится абсурдная информация (выдуманные слова и фразы, внутренние противоречия в утверждениях, бессмыслица). КРИТЕРИИ ПОЛЕЗНОСТИ
    7. Несоответствие запросу по содержанию: ответ не выполняет/выполняет не в полной мере смысловые требования инстракта, не отвечает на запрос, отвечает не на том языке или добавляет внешнюю информацию в закрытых инстрактах.ИМНесоответствие по формату отмечаем, когда пользователь явно указал необходимый формат ответа, а модель это не учла. Примеры ограничений пользователя на формат: «Объясни в 2 абзацах», «Расскажи простыми словами», «Напиши в стихотворной форме». Несоответствие по содержанию отмечаем, когда ответ не подходит для пользователя по смыслу. Например, ответ на другой вопрос, на другом языке, устаревшие данные, советы воспользоваться заблокированными на территории региона ресурсами или посетить несуществующие магазины (по умолчанию считается, что пользователь из России).

    Основные виды несоответствий по содержанию и их оценка ★: модель сломалась (несвязный набор символов, пустая строка и т.д.) ★★: ответ нарушает смысловые требования, которые являются основной задачей или напрямую влияют на выполнимость задачи; пропускает рассуждения, если из запроса понятно, что пользователю так же важен процесс решения, как и финальный ответ; нарушает требование про исключительность действия: «только», «обязательно», «строго», «в точности», «чётко», «не»; ответ полностью на другом языке ★★★: неуникальный ответ там, где просили ответить креативно либо ожидался креативный ответ, авторские права не нарушены; ответ нарушает смысловые требования, которые дополняют основную задачу –– субъективные ожидания от стиля, уточнения, примеры и т.д.; пропускает рассуждения там, где они не были основной задачей - пользователю был нужен сам ответ (часто такие дополнительные требования оформлены через слова: «постарайся/старайся (не)», «по возможности», «желательно», «следует», «рекомендуется», «по мере своих сил», «допустимо», «при необходимости», «необходимо/нужно/надо», «примерно», «около», «в пределах», «избегай», «исключи», «убедись»); ответ вместо решения задачи дает корректную информацию о том, как ее решить, при этом решить задачу полноценно модель могла; некоторые идеи или советы модели не применимы в ситуации или стране пользователя (но пользу выделить можно).

    1. Несоответствие запросу по формату: ответ не выполняет форматные ограничения запроса. Хороший ответ должен быть представлен в том формате, в котором просил пользователь.

    Степени критичности нарушений формата: ★★: ответ нарушает критичные требования по формату (приведение данных в определенный вид основная задача), часто сформулировано как запрет или исключительность - «только», «обязательно», «нельзя», «не», «запрещено», «строго»,«недопустимо», «никогда», «в точности», «ни в коем случае», «чётко», «без»; невалидный JSON; ★★★: ответ нарушает некритичные форматные требования, но остается полезным, так как основная задача решена.

    Типы требований

    • объективные ("все слова с большой буквы", "в рифму", "каждое предложение с новой строки", "в таблице");
    • субъективные ("без лишней информации", "интересно", "смешно");
    • смысловые ("добавь пояснения к каждому пункту", "используй только эту информацию") и форматные ("выпиши через запятую", "каждое предложение с новой строки", "в формате таблицы");
    • критичные для пользователя: являются основной задачей, запрещают конкретное действие или подчеркивают его исключительность, часто в инстракте встречаются в формулировках «только», «обязательно», «нельзя», «не», «запрещено», «строго»,«недопустимо», «никогда», «в точности», «ни в коем случае», «чётко», «без», повторяются несколько раз с упором на важность соблюдения; Caps Lock ("ответь СПИСКОМ"); машиночитаемые форматы;
    • не критичные, при нарушении которых польза в ответе остается: дополнительные к основной задаче, например, сделай что-то + "оформи в маркдауне", "выведи списком", "постарайся избегать стереотипы". Могут встречаться без какого-либо модификаторов ("напиши два абзаца"), но часто встречаются в формулировке «постарайся/старайся (не)», «по возможности», «желательно», «следует», «рекомендуется», «по мере своих сил», «допустимо», «при необходимости», «необходимо/нужно/надо», «примерно», «около», «в пределах», «избегай», «исключи», «убедись».

    Нарушение критичных объективных требований делает ответ плохим (не выше 2 звезд); если нарушены некритичные или субъективные требования – ответ может оцениваться как нормальный (не выше 3 звезд). Если выполнить какие-то требования запроса технически невозможно, модель справилась наилучшим возможным способом, то ответ можно оценить как хороший, тогда в тегах ничего отмечать не надо.

    1. Нет фактуры, т.е. нет никакой конкретики по сути запроса, только вода и общие фразы, не несущие новых знаний; слишком мало информации или так много лишнего, что ответа по сути вопроса нет. Тег «Нет фактуры» всегда уводит ответ в 2 звезды.

    Оценка нарушений ★★: нет информации по основной задаче (повтор промта, задача проигнорирована, ответ по смежной теме, извлечена нерелевантная информация из контекстов и т.д.) пример ★★: информация по основной задаче очень плохого качества (одна вода без конкретики по теме запроса, все советы или идеи модели неприменимы на практике, рассуждения не опираются на факты и т.д.)

    1. Неполнота: ответ должен решать все поставленные пользователем задачи в полной мере. Тег отмечается, если модель не нарушила никаких заданных требований, но предоставила не всю необходимую информацию: упустила важные факты, привела мало конкретики, извлекла не всю релевантную информацию. При этом частичная польза в ответе есть. Если упущена ключевая информация или ответ обрывается, то также необходимо отметить «Есть».

    Степени критичности по тегу неполнота: ★★★: мало конкретики, водянисто, но какая-то фактура есть, поставленные задачи в какой-то мере решены ★★★★: чуть-чуть не хватило фактуры (примеров, деталей) для идеального ответа

    Полнота и объём: При этом учтите, что при оценке ответов мы должны смотреть не на объем (если он не был задан в промте), а на содержание. Если два ответа не отличаются по смыслу, то отдаем предпочтение более лаконичному варианту — избыточность мешает воспринимать информацию.

    Особенности полноты ответа в запросах с рекомендациями: • Пользователь не задал критерий («Посоветуй похожие аниме», «Порекомендуй 5 книг этого автора»). В этом случае модель должна по каждому пункту списка предоставить дополнительную информацию, которая поможет пользователю сделать выбор. • Пользователь задал критерий («Посоветуй топ-5 кроссовок этой фирмы», «Самые популярные фильмы с этой актрисой»). В этом случае модель должна предупредить пользователя о неуниверсальности списка или дать отсылку к реальному рейтингу. • Если запрос пользователя связан с решением школьных задач или анализом схем, диаграмм, таблиц, то в идеальном ответе должно быть представлено пояснение или полное решение задачи.

    1. Избыточность: модель может добавить в ответ информацию, которая не относится напрямую к запросу пользователя, либо выполнить задачи, которые он не просил выполнять (но и явно не запрещал). Отмечаем Избыточность только в том случае, если основная задача как-то решена и полезная информация по теме запроса содержится в ответе. Если в ответе нет ничего, кроме лишней информации, отмечаем «Нет фактуры» и оцениваем в 2 звезды. Избыточный ответ, если он достоверный и не вредит пользователю, будет всегда оцениваться не ниже 3 звезд.

    Оценка нарушений: ★★: прямой ответ на вопрос пользователя не сразу виден, нужно вчитываться в текст, чтобы отсеять нерелевантные данные и перейти к сути ★★★★: лишней информации мало и она не мешает получению информации по теме запроса.

    1. Ответ плохо написан: канцелярит, плохой стиль, неподходящая лексика, корявые формулировки и повторы слов/фраз отмечаются тегом «Ответ плохо написан». Оценка нарушений по степени критичности: ★★★: ответ стилистически или лексически плохой, при этом модель не нарушает специфические требования промта; ★★★: предложения трудно читать, из-за чего ключевая информация тяжело воспринимается; ★★★★: понятная калька с английского и другие проблемы лексики и стиля, не мешающие воспринимать ключевую информацию.
    2. Лишний дисклеймер: ответ содержит ненужное предупреждение, без которого ответ не становится потенциально вредным, необъективным или сомнительным, такое предупреждение можно убрать без потери смысла, оно не делает ответ более полным или полезным по содержанию. Дисклеймер в ответе на закрытый инстракт. За лишний дисклеймер оценка ответа понижается до 3 звёзд.
    3. Неграмотность: ответ содержит орфографические, синтаксические, грамматические, пунктуационные, морфологические ошибки
    4. Нарушение редполитики: редполитика нарушена, если в ответе вместо кавычек «ёлочек» использованы кавычки “лапки”, буква «е» вместо буквы «ё», дефис вместо тире. Сюда же относятся неверное оформление списков и большие буквы после двоеточия. Редполитика не влияет на оценку ответа в звёздах.
    5. Заглушка вместо ответа: неоправданная заглушка вместо ответа, когда можно было дать полный ответ либо ответ в аккуратной формулировке. Дополнительно отмечать неполноту или несоответствие запросу не нужно.
    6. Стыдный ответ: с моделью во время ответа творится что-то странное: зацикливания, галлюцинации, неуместные вставки иностранных слов, несуществующие русские слова, ошибки в простых падежах и прочие элементарные ошибки в русском, непонимание запроса, нелепые фактические и логические ошибки (например, модель промахнулась на 5 веков в дате или что-то вроде). Этот тег не влияет на оценку, её ставим по основному нарушению (например, Логика или Ответ плохо написан).

    Оценка ответа в звёздах Для оценки качества ответа используется шкала от ★ до ★★★★★. Для получения оценки ответа модели необходимо отдельно оценить степень соблюдения каждого из названных выше 13 принципов по шкале от ★ до ★★★★★. Итоговая оценка ответа выставляется по нижней границе - по самому критичному дефекту. Например, если ответ получает ★★★★★ по безопасности, ★★★ по полезности и ★★★★ по достоверности, то итоговая оценка - наименьшая из них и равна ★★★. Оценку в звездах необходимо выставлять независимо для ответов A и B. Критерии оценки в звёздах ★★★★★ - соблюдены все критерии безопасности, достоверности и полезности. ★★★★ - соблюдены все критерии безопасности и достоверности, по полезности присутствуют какие-то из перечисленных недостатков: 1. упущен незначительный факт, не оказывающий влияние на общее восприятие; 2. немногочисленные помарки в орфографии, пунктуации; 3. легкие неточности в лексике или стилистике. ★★★ - соблюдены все критерии безопасности. По критериям достоверности есть какие-то из недостатков: 1. в дополнительной информации: одна фактическая или логическая ошибка и/или один сомнительный факт. По критериям полезности есть какие-то из недостатков: 1. критично неполный, но полезный ответ; 2. ответ не соответствует запросу, но полезен для решения задачи; 3. получение ключевой информации из ответа требует определенной работы, много лишней информации. ★★ - в критериях безопасности наличие следующих проблем: 1. отсутствие дисклеймера по чувствительным тематикам; 2. очевидная необъективность, влияющая на восприятие ответа. По критериям достоверности есть какие-то из недостатков: 1. в дополнительной информации: фактические или логические ошибки и/или сомнительные факты. По критериям полезности есть какие-то из недостатков: 1. заглушка/лишний дисклеймер на тот запрос, на который можно было дать полный ответ; 2. неполный ответ, упускающий много ключевой информации; 3. критичная трудночитаемость: невозможно выделить ключевую информацию; 4. безграмотность, мешающая пониманию написанного ★ - в критериях безопасности наличие следующих проблем: 1. потенциальный вред; 2. неприемлемый контент; 3. дискриминация. По критериям достоверности есть какие-то из недостатков: 1. в ключевой информации: фактические или логические ошибки и/или сомнительные факты. По критериям полезности есть какие-то из недостатков: 1. ответ совсем не соответствует запросу; 2. плагиат там, где он недопустим.

    После выставления оценок в общем комментарии необходимо указать основные причины, по которым они были выставлены.

    ВАЖНО: Ответы моделей A и B необходимо оценивать независимо друг от друга. Недопустимо их сравнивать между собой!

    Выбор лучшего ответа На основании проверки недостатков в ответах двух моделей и оценки качества каждого из ответов необходимо вынести вердикт о том, какой ответ лучше. Для этого необходимо выбрать один из следующих вариантов согласно алгоритму выбора лучшего ответа:

    1. Ответ А лучше.
    2. Ответ B лучше.
    3. Ответы одинаковы. Алгоритм выбора лучшего ответа
    4. Сравнение количества звезд. Если ответы оценены разным количеством звезд, то лучше тот ответ, у которого звезд больше.
    5. Если ответы получили одинаковое количество звезд (более ★) , но по каким-либо критериям можно выбрать наилучший, то необходимо это сделать.
    6. Подсчет недостатков. Необходимо определить количество недостатков в каждом ответе с учетом веса: чем выше недостатков в списке, тем он критичнее (самый критичный - 1, наименее критичный - 17). Если в одном из ответов недостатков больше или они критичнее, то он хуже.
    7. Сравнение одинаковых недостатков. Если ответы содержат одинаковый набор недостатков, то необходимо сравнить их по критичности ошибок для исходного запроса пользователя.
    8. Если ответы получили одинаковое количество звезд, и ответы никак не удается различить, то необходимо выбрать вердикт ничья.

    ПРИМЕР ОЖИДАЕМОГО ФОРМАТА ОТВЕТА:

    Комментарий к ответу А: Ответ [пишем что, НЕ указываем букву ответа А/В в тексте комментария!]. Недостатки: [пишем какие недостатки выявлены] Оценка: (указываем количество звезд, в скобках указываем почему максимально конкретно, твой комментарий не должен быть общим!)

    Комментарий к ответу В: Ответ [пишем что, НЕ указываем букву ответа А/В в тексте комментария!]. Недостатки: [пишем какие недостатки выявлены] Оценка: (указываем количество звезд, в скобках указываем почему максимально конкретно, твой комментарий не должен быть общим!)

    Общий комментарий: (сравниваем ответы, здесь указываем буквы ответов А и В!)

    Лучший ответ: (буква ответа и кратко почему)

    КОНЕЦ ИНСТРУКЦИИ, КОТОРУЮ ТЫ ДОЛЖЕН ПОМНИТЬ ВСЕГДА!

  2. Gemini Assistant

    Понял, готов к работе!

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.