Apple предложила метод поиска смешения языков прямо в речи
Исследователи Apple описали лёгкий способ обнаруживать переключение между языками без обязательной предварительной транскрипции аудио.
В октябре 2026 года Apple опубликовала исследовательскую работу о выявлении code-switching — переключения между языками внутри одного высказывания. Такая особенность часто встречается в многоязычной речи, но недостаточно представлена в корпусах, на которых обучаются речевые модели.
Авторы предлагают искать смешение языков непосредственно в аудиосигнале. Метод использует предобученный речевой энкодер и информацию о языке на уровне отдельных фреймов. Исследователи выделяют языково-селективные измерения скрытых состояний на мономоноязычных записях, а затем объединяют их активации для получения предсказания о переключении языков. Для настройки правила решения используется небольшой набор примеров.
В эксперименте энкодер Whisper-small показал средний F1 0,798 на 14 языковых парах в наборе CS-FLEURS. Для сравнения, CNN получил 0,776, а линейная базовая модель HuBERT, обученная для мономонолингвальной идентификации языка, — 0,751. По описанию Apple, результат указывает, что предобученные речевые энкодеры уже содержат информацию, необходимую для обнаружения таких высказываний.
Практическое назначение метода — находить подходящие фрагменты в больших речевых коллекциях и включать их в более репрезентативные многоязычные обучающие корпуса.
Почему это важно
Метод может упростить подготовку данных для многоязычных речевых систем: сначала искать в аудиоколлекциях высказывания со смешением языков, а затем использовать их для формирования обучающих корпусов. Это особенно важно для языковых сочетаний, которые редко представлены в стандартных наборах данных.
Источник: Apple Machine Learning Research · По данным страницы Apple Machine Learning Research, где опубликована работа об обнаружении переключения языков в речевых foundation-моделях.
