Apple Research: LLM пока ненадёжно оценивают качество перевода
12 октября 2026 года Apple Research опубликовала исследование оценки машинного перевода. Авторы сравнили разметку языковых моделей с человеческой и обнаружили существенные ограничения у обоих подходов.
Apple Research изучила, насколько языковые модели могут заменить людей при оценке качества машинного перевода. Авторы сравнили результаты LLM и людей по двум схемам: Multidimensional Quality Metrics, или MQM, и Error Span Annotation, или ESA. В первой оцениваются разные параметры качества, а во второй отмечаются фрагменты с ошибками.
Исследование охватило длинноконтекстный тестовый набор с 70 языковыми парами, а также открытые данные WMT23 и WMT25. Проверка учитывала разные языковые пары, предметные области и уровни детализации разметки. По данным авторов, в отдельных задачах согласие LLM с людьми было выше, чем согласие между самими людьми. Однако результаты заметно менялись в зависимости от схемы, языка и области применения, поэтому в большинстве условий автоматическая оценка оставалась ненадёжной.
Авторы отдельно описали слабые места обеих сторон. Людям особенно сложно выполнять детальную MQM-разметку и работать с малоресурсными языковыми парами. Языковые модели хуже справлялись с небольшими ошибками, неверными языковыми вариантами и указанием точных границ ошибочных фрагментов.
В качестве направления дальнейшей работы исследование называет совместные конвейеры, в которых люди и LLM дополняют друг друга. Такой подход должен учитывать выявленные проблемы надёжности, а не считать автоматическую оценку полноценной заменой человеческой.
Почему это важно
Результаты предупреждают, что автоматическая проверка переводов не универсальна: качество зависит от языка, типа ошибки и выбранной схемы разметки. Для практических систем это поддерживает смешанный процесс с проверкой человеком.