Иллюстрация
Ai2 представила открытую инфраструктуру Olmo-core 3 для обучения MoE-моделей
Ai2 выпустила Olmo-core 3 — обновлённый открытый стек для обучения разреженных MoE-моделей. По описанию компании, инфраструктура рассчитана на масштабирование до триллиона параметров при сохранении вычислительной эффективности.