MTS AI описала автоматическую оценку ботов поддержки
Команда Customer Support NLP рассказала, как заменила ручную проверку диалогов системой оценки на базе больших языковых моделей.
В материале, опубликованном 29 сентября, команда Customer Support NLP из MTS AI описывает автоматизацию оценки клиентских ботов. Авторы сначала ввели метрику GCR, которая должна показывать, решил ли бот проблему клиента, а затем расширили её до GCR 2.0: вместо жёсткого бинарного результата появилась шкала и теги причин неудачи. Параллельно команда построила пайплайн, который оценивает сессии с помощью больших языковых моделей. Практический эффект подхода — более быстрая обратная связь о качестве бота без ожидания полной ручной разметки.
Почему это важно
Подход переводит контроль качества поддержки из периодической ручной проверки в более оперативный автоматизированный процесс.
