Apple: смешивание языков оказалось эффективнее настройки гиперпараметров
В исследовании Apple смешивание данных на малоресурсном языке с данными на английском дало больший выигрыш, чем агрессивная настройка гиперпараметров. Эксперименты проведены на моделях разных масштабов и примерно в 1000 запусках.
Apple опубликовала исследование о предварительном обучении языковых моделей в условиях ограниченного объёма данных. В качестве целевого языка авторы использовали арабский, а английский — как вспомогательный. Они сопоставили два подхода: настройку гиперпараметров, включая усиленную регуляризацию, и добавление в обучение данных на высокоресурсном языке.
Эксперименты охватили четыре масштаба моделей — от 150M до 1.43B параметров — и примерно 1000 запусков предварительного обучения. По описанию Apple, смешивание данных обеспечило больший прирост и по ошибке на валидации, и по точности последующих задач. Разрыв в пользу смешивания увеличивался с ростом модели.
Авторы оценили выигрыш как эквивалентный 2–3-кратному объёму уникальных целевых данных по валидационной ошибке и 2–13-кратному — по точности downstream-задач. При этом обычная ошибка на целевом языке, как утверждается в работе, недооценивает пользу смешивания: она учитывает разнообразие обучающего сигнала, но не весь объём знаний, который добавляет вспомогательный язык.
Практическая рекомендация Apple — сначала выбирать соотношение языков в обучающей смеси, а не тратить основные усилия на поиск гиперпараметров. Для переноса настроек на крупную модель авторы также предлагают использовать небольшую прокси-модель и μP.
Почему это важно
Работа предлагает командам, обучающим модели для языков с ограниченными данными, менять состав обучающей выборки, а не полагаться только на настройку гиперпараметров.