Apple исследовала три-модальные masked diffusion models
Apple опубликовала исследование архитектуры, объединяющей генерацию текста, изображений и аудио. Авторы обучили предварительную модель с нуля и изучили влияние ключевых параметров мультимодального обучения.
14 октября 2026 года Apple опубликовала на странице Machine Learning Research работу «The Design Space of Tri-Modal Masked Diffusion Models». Исследование посвящено дискретным diffusion-моделям, которые рассматриваются как альтернатива авторегрессионным языковым моделям.
Авторы описывают первый, по их формулировке, tri-modal Masked Diffusion Model, предварительно обученный с нуля на текстовых данных, парах изображение–текст и аудио–текст. В работе систематически изучаются законы мультимодального масштабирования, соотношение модальностей при смешивании данных, расписания шума и влияние размера батча. Также предложены настройки для сэмплирования при выводе.
Отдельный результат касается размера батча. Исследователи предлагают параметризацию на основе стохастического дифференциального уравнения, которая разделяет физический размер батча, зависящий от вычислительной инфраструктуры, и логический размер, связанный с дисперсией градиентов. По описанию Apple, это устраняет необходимость подбирать оптимальный размер батча.
Предварительная модель достигла сильных результатов при масштабе 3B и обучении на 6,4 трлн токенов в задачах генерации текста, text-to-image и text-to-speech. Конкретные метрики на странице не приведены.
Почему это важно
Работа предлагает исследовательскую основу для моделей, которые обрабатывают текст, изображения и аудио в единой системе. На практике её ценность пока ограничена: источник не приводит численных сравнений, открытых весов или сведений о доступности модели.
Источник: Apple Machine Learning Research · По данным официальной страницы Apple Machine Learning Research, опубликованной 14 октября 2026 года.
