MWS AI открыла RESON для оценки русскоязычных ASR-моделей
MWS AI опубликовала инструмент RESON и бенчмарк RESON OSD для анализа качества распознавания речи в телефонном канале. Набор дополняет обычную оценку WER разбором ошибок и сравнением моделей.
1 октября 2026 года MWS AI представила в открытом доступе RESON — инструмент для анализа качества ASR-моделей — и RESON OSD, бенчмарк для русскоязычного распознавания речи. RESON умеет считать метрики, разбирать ошибки на уровне отдельных слов, проверять статистически значимые улучшения и формировать интерактивные HTML-отчёты.
Бенчмарк содержит 12 114 аудиозаписей общей длительностью около 37 часов 52 минут. Записи сделаны в телефонном канале 8 кГц. В наборе есть данные для разных акустических условий, включая чистые и шумные версии. Такой формат позволяет оценивать не только итоговый WER, но и то, какие именно слова и типы ошибок влияют на качество системы.
Почему это важно
RESON переносит оценку ASR от одной сводной метрики к анализу конкретных ошибок и статистической проверке улучшений. Это помогает сравнивать модели в условиях, близких к телефонным голосовым сервисам.
