Amazon описала способ менять архитектуру ИИ-моделей без обучения с нуля
Amazon представила метод priming: он переиспользует веса предварительно обученных Transformer-моделей для создания более эффективных гибридных архитектур.
В материале Amazon Science от 12 октября компания описала метод priming для исследования гибридных архитектур языковых моделей. Подход использует веса уже обученного Transformer в качестве отправной точки, поэтому разработчикам не нужно заново обучать каждую новую архитектуру на полном наборе данных. По описанию Amazon, это снижает стоимость предварительного обучения более чем на 99%.\n\nКомпания рассматривает сочетания обычного внимания со state space-модулями, которые хранят компактное состояние вместо растущего кэша всех предыдущих токенов. Такой дизайн должен сохранить доступ к важной информации контекста и одновременно уменьшить затраты памяти. В сравнении Amazon модель на базе Gated KalmaNet достигала сопоставимой точности с исходной Transformer-моделью и декодировала до двух раз быстрее.\n\nAmazon также сообщила о публикации набора primed-моделей для рассуждений в длинном контексте и следования инструкциям. Вместе с ними доступны код обучения, оптимизированные ядра и плагин для сервинга через vLLM под лицензией Apache 2.0. Практический результат для разработчиков — возможность сравнивать варианты архитектур и проверять компромисс между скоростью и качеством с меньшими затратами.
Почему это важно
Метод снижает порог для экспериментов с архитектурами, которые раньше требовали отдельного дорогостоящего обучения, а опубликованные инструменты позволяют воспроизводить такие проверки.