Cohere описала модель, которая рассуждает на языке запроса
Cohere представила Tiny Aya L2-Thinker — модель, обученную рассуждать на языке пользователя, а не только формулировать на нём финальный ответ. По описанию компании, она делает это более чем в 93% случаев в 60 языках.
Cohere опубликовала исследование подхода к рассуждению на языке запроса и представила модель Tiny Aya L2-Thinker. По описанию компании, модель рассуждает на языке пользователя более чем в 93% случаев в 60 языках. Cohere также сообщила о выпуске весов модели и мультиязычных данных рассуждений для дальнейших исследований.
Компания называет подход in-language reasoning, или L2 reasoning. В современных reasoning-моделях ответ может быть переведён на язык пользователя, тогда как промежуточная цепочка рассуждений остаётся на английском. По мнению Cohere, рассуждение на языке запроса позволяет пользователю лучше проверять шаги ответа и учитывать языковой и культурный контекст.
Метод основан на смешивании данных из трёх компонентов. Более широкий охват языков в данных рассуждений должен помогать переносить способность на языки без собственных примеров рассуждений. Небольшая доля мультиязычных данных без цепочек рассуждений, по описанию Cohere, повышает точность и долю рассуждений на нужном языке. Англоязычные данные рассуждений используются как основа для решения задач.
Tiny Aya L2-Thinker построена на базовой модели Tiny Aya с контекстом длиной 32 тысячи токенов и поддерживает 45 языков в обучении. Cohere проверяла модель на математическом рассуждении, здравом смысле, культурных задачах, открытом письме и следовании инструкциям. Компания утверждает, что подход сохраняет близкую к рассуждению на английском точность, за исключением задач соревновательного уровня по математике.
Почему это важно
Работа Cohere показывает способ сделать промежуточное рассуждение более доступным для пользователей, которые не читают по-английски. Практическая ценность материала — в опубликованных весах и данных, которые можно использовать для дальнейших исследований.
