Aleph Alpha показала, как загрязнение данных искажает оценки моделей
Aleph Alpha проверила обучающие данные на совпадения с бенчмарками и обнаружила, что утечки способны заметно завышать результаты. Компания также выявила ограничения собственной очистки данных.
Aleph Alpha опубликовала исследование о влиянии загрязнённых обучающих данных на оценки языковых моделей. Компания проверила 8,3 млрд документов из набора для промежуточного обучения на совпадения с каждым бенчмарком из своей программы оценки и удалила 1,5 млн документов, почти дословно цитировавших задания.
В описанном компанией пробном запуске возврат этих документов повысил результат HumanEval на 45 пунктов, а MMLU — на 28. При этом эффект проявился даже на вопросах, которые напрямую не были найдены в обучающих данных. Это означает, что высокий результат может отражать не только обобщение навыка, но и запоминание или связанные с ним эффекты.
Исследование также показывает ограничения автоматического контроля. Детектор обнаружил выше порога не более 60% загрязнённых вопросов MMLU и 13% загрязнённых вопросов TriviaQA. Остальные документы удалили из-за того, что они находились в тех же файлах. По описанию Aleph Alpha, очистка промежуточного обучения не решила проблему полностью: модель продолжала воспроизводить решения HumanEval, усвоенные во время предварительного обучения, данные которого не очищались.
Почему это важно
Работа показывает, что сравнивать модели по опубликованным бенчмаркам недостаточно без проверки пересечений с обучающими данными. Иначе рост оценки может отражать утечку тестовых примеров, а не улучшение способности решать новые задачи.
