MTS AI добавила антифрод-тест в бенчмарк мультимодальных моделей
MTS AI обновила MWS AI Vision Bench — бенчмарк для мультимодальных моделей на русскоязычных документах. В него добавили Anti-fraud: модели должны определить, является ли документ оригиналом, ручной правкой или полностью синтетическим изображением, и объяснить решение.
MTS AI рассказала об обновлении MWS AI Vision Bench — открытого бенчмарка для оценки мультимодальных моделей на русскоязычных документах. Главным изменением стал набор заданий Anti-fraud, предназначенный для проверки того, замечает ли универсальная мультимодальная модель очевидные подделки и может ли объяснить, какие элементы вызвали подозрение.
Датасет состоит из 430 изображений. В нём представлены 200 исходных документов, 130 документов с ручными изменениями в графических редакторах и 100 документов, полностью пересозданных генеративной моделью. Для каждого изображения модель должна вернуть JSON с одним из классов — original, edited или ai_gen — и перечислить подозрительные реквизиты или визуальные признаки. Для исходного документа поле с аргументами должно оставаться пустым.
Оценка учитывает правильность классификации и качество объяснения. Для ручных правок проверяется, указала ли модель изменённое поле. MTS AI подчёркивает, что такой тест не заменяет профессиональную антифрод-систему: в практических решениях используются специализированные модели, правила, проверка реквизитов и внешние источники.
У Anti-fraud отдельная лицензия research-only. Датасет разрешено применять для исследований и сравнения моделей, но не для создания инструментов подделки документов или обучения генераторов подделок.
Почему это важно
Обновление переводит оценку мультимодальных моделей от общего распознавания документов к более прикладной задаче — обнаружению ручных и генеративных подделок с объяснением результата. При этом лицензия и оговорки MTS AI ограничивают использование набора исследовательскими сценариями.
