Что такое p-хакинг?
- User
Что такое p-хакинг?
- Assistant
P-хакинг (P-hacking) – это статистический метод, который используется для манипулирования искажением данных в статистических экспериментах. В процессе p-хакинга исследователь настраивает параметры анализа данных до тех пор, пока не получит желаемый результат. В результате этого часто происходит искажение статистических выводов, так как они основаны на соответствующих значениях p (уровень значимости).
Примеры p-хакинга могут включать в себя множественное тестирование гипотез и выбор двухглавой статистики, которая лучше всего подходит для получения значимого результата. Однако зачастую такие методы ведут к ложным выводам и обману, подрывая доверие к науке и исследованиям.
- User
Что-то для меня в твоём ответе сплошные загадки. «Статистический метод»? Кем и зачем был разработан такой метод? «Для манипулирования искажением данных»? Что значит «манипулирование искажением»? Я представляю, что обычно понимают под «манипулированием данными» и под «искажением данных», но «манипулирование искажением»?.. То есть кто-то искажает данные, а кто-то другой этим искажением манипулирует? Загадка… Да и вообще, о чём ты в целом говоришь? Какие «статистические эксперименты» и «двуглавые статистики»? Можно как-то сформулировать ответ, чтобы даже я мог что-то в нём понять?
- Assistant
Извините за путаницу, попробую объяснить более связно. Словом p-хакинг (p — от слова probability) неодобрительно называют некорректные методы статистического анализа, приводящие (намеренно или по незнанию) к тому, что случайные колебания («шум») в данных выдаются за нечто важное (статистически значимое). Если вы владеете основами статистики и знакомы с понятием статистической значимости, то будет достаточно сказать, что p-хакинг — это любые способы искусственно занизить p-уровень значимости (особенно когда это приводит к выдачи незначимого результата за значимый). (В этом случае дальше вам читать не нужно!) Если же вы далеки от статистики, то будет лучше пояснить на примере. (К сожалению, предчувствую, что объяснение получится затянутым, так что крепитесь!)
Чудесная картинка
Предположим, что вы (с помощью гениального промпта к T2I-модели) создали изображение, просмотр которого предположительно позволяет увеличить результативность какой-нибудь деятельности — скажем, скорость бега. Теперь вам нужно проверить, что метод работает, и убедить в этом других. Как это сделать? В соответствии с лучшими практиками РКИ, вы берёте группу испытуемых, случайно делите её на экспериментальную и контрольную группу, даёте экспериментальной группе смотреть на ваше изображение, а контрольной — на обои WinXP (это плацебо), а потом устраиваете забег, фиксируя результаты каждого испытуемого. Что теперь? Наивный ответ: если в среднем результат в экспериментальной группе лучше, чем в контрольной, значит, метод действует. Но вы интуитивно чувствуете, что что-то здесь не так…
Что не так?
Дело в том, что результаты замеров в двух группах всегда будут разными, даже если не подвергать их никаким воздействиям. Если вы случайно разделили людей на две группы, то интуитивно ясно, что любой параметр (например, средняя скорость бега) будет выше с равной вероятностью в одной из групп. Так что даже если ваша картинка не действует, у вас всё ещё есть отличные шансы («пятьдесят на пятьдесят»), что именно в экспериментальной группе результат окажется лучше. Поэтому любой критик (в том числе вы сами — как самый строгий критик собственных гипотез) скажет, что результат неубедителен: с большой вероятностью победа одной из «команд» — результат чистой случайности, не имеющей отношения к экспериментальному воздействию (предъявлению изображения).
Проверка гипотез
Такой критический образ мышления соответствует методологии статистической проверки гипотез. В данном случае проверяемая гипотеза — «картинка повышает скорость бега». Ей противопоставляется так называемая нулевая гипотеза, которая всегда состоит в том, что «ничего необычного не происходит, всё в рамках случайных отклонений». В данном случае, каким бы ни был результат, вам не удастся отвергнуть нуль-гипотезу, поскольку её вполне достаточно для убедительного объяснения победы любой из команд. (Если вы утверждаете, что картинка увеличивает скорость бега, то нуль-гипотеза оценивает вероятность «успеха» в 50%; если же вы утверждаете, что картинка влияет на скорость бега, но не указываете, в каком направлении, то вас устроит любой результат, так что здесь вероятность «успеха» в рамках нуль-гипотезы равна 100%).
Как проверять лучше?
Как вам сделать проверку гипотезы более эффективной? Для этого нужно получить необычный результат, то есть результат, маловероятный в случае, если нуль-гипотеза верна. Тут есть большой простор для вариантов. Например, если средняя скорость в экспериментальной группе оказалась вдвое больше, чем в контрольной — это трудно объяснить простой случаяностью. Так же дело обстоит, если результаты различаются не слишком сильно, но все члены экспериментальной группы пришли к финишу раньше всех членов контрольной (то есть худший результат в первой группе оказался лучше, чем лучший результат во второй). Ещё вариант: вы можете ограничиться простой победой, но проверить гипотезу, многократно повторив эксперимент (на разных испытуемых или по-разному разделяя группу на тест и контроль). Если каждый (или почти каждый) раз среднее в группе, вдохновлявшейся вашей картинкой, оказывается лучше, то нулевую гипотезу придётся отвергнуть, ведь она предсказывает, что ваша группа будет побеждать лишь примерно в половине случаев, и с каждой новой победой вероятность такого совпадения в рамках нуль-гипотезы будет (экспоненциально!) уменьшаться.
Загадочная буква p
Если вы уловили суть сказанного выше, то вы уже примерно представляете, как происходит проверка гипотез, и сможете понять, что такое статистическая значимость: «В статистике величину (значение) переменной называют статистически значимой, если мала вероятность случайного возникновения этой или ещё более крайних величин. Здесь под крайностью понимается степень отклонения тестовой статистики от нуль-гипотезы». В нашем примере упоминаемой здесь переменной может служить, например, разность средних скоростей в двух группах. Статистические методы позволяют (исследовав распределение скоростей испытуемых) оценить вероятность того, что эта разность превысит определённое значение (чем больше разность, тем меньше вероятность). Эта вероятность (вы ещё помните про «p — от слова probability»?) называется p-уровнем значимости или p-value. Чем меньше это p, тем менее убедительным становится объяснение в рамках нуль-гипотезы — «ничего необычного не происходит, всё в рамках чистой случайности».
И наконец — p-хакинг!
Вот мы и добрались наконец до вашего вопроса. (Какова вероятность, что вы всё ещё читаете и при этом не материте меня?) Грубо говоря, p-хакинг — это любой способ вычислить p-уровень таким образом, чтобы он оказался меньше реального (то есть результат выглядел более значимым, чем он есть на самом деле). Очень грубый пример такого «хакинга» — это отбор только тех результатов, которые подтверждают вашу гипотезу. Например, вы можете устраивать забеги до тех пор, пока не наберёте десять побед «вашей» команды, а потом сделать вид, что никаких забегов, кроме этих десяти, не проводилось, во всех забегах победили группы, вдохновлённые магической картинкой, что явно тянет если не на научное открытие, то как минимум на инвестиции в перспективный проект.
И ещё p-хакинг
Другой вариант: вы можете генерировать разные картинки до тех пор, пока при проверке одной из них результат случайно не превысит порог значимости. Ведь редкие события тоже происходят, причём регулярно! Если вероятность нужного вам исхода испытаний (в рамках нуль-гипотезы) равна 1/100, то в длинной серии результатов вы будете получать этот маловероятный результат примерно один раз на сотню испытаний. То есть, хотя результат одного испытания необычен (маловероятен), получение его в множественных испытаниях вполне ожидаемо (вероятность с каждым повторением растёт).
Постойте, но…
Обратите внимание, что выше повторение забегов приводилось в качестве хорошей практики, ведь там речь шла о том, что гипотеза «подтверждается» (почти) в каждом испытании (вероятность в рамках нуль-гипотезы стремительно снижается), а здесь — хотя бы в одном испытании из многих (вероятность быстро возрастает). Ну и конечно, как и в примере выше, вам не стоит упоминать о множестве неудачных картинок — ведь отрицательные результаты никому не интересны, а важно, что в конце концов вы сделали великое открытие! (Надеюсь, к этому моменту вы понимаете этот сарказм.)
Эпилог
Разнообразных способов «хакнуть» p-уровень много, и не все они так очевидны, как приведённые выше. Хотя, увы, до сих пор не все профессиональные учёные хорошо понимают даже эти элементарные ошибки. Исследование вероятностей — не только сложная область, но также очень контринтуитивная, то есть обыденная интуиция в вопросах вероятности часто подводит. Как же так? — восклицает исследователь, — я же получил статистически значимый результат! Ну какое отношение к делу имеют предыдущие попытки? Ведь в них я исследовал совершенно другие гипотезы! Те гипотезы были неверными, я их отверг и забыл, но ведь на этот раз я очевидно оказался прав, и статистика это подтверждает! И что вы ему ответите с высоты ваших теперешних знаний? :)
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.
Identical first prompt
- Human-written demonstration (OpenAssistant volunteers)Compare side by side →
- Human-written demonstration (OpenAssistant volunteers)Compare side by side →
- Human-written demonstration (OpenAssistant volunteers)Compare side by side →
- Human-written demonstration (OpenAssistant volunteers)Compare side by side →
- Human-written demonstration (OpenAssistant volunteers)Compare side by side →
- Human-written demonstration (OpenAssistant volunteers)Compare side by side →
- Human-written demonstration (OpenAssistant volunteers)Compare side by side →
- Human-written demonstration (OpenAssistant volunteers)Compare side by side →