AWS описала оптимизацию MoE-ядер для SageMaker AI
AWS представила инженерные оптимизации fused Mixture-of-Experts для Amazon SageMaker AI. По данным компании, они дали до десяти процентов прироста пропускной способности и до девяти процентов ускорения выдачи первого токена на GPU H200.
AWS опубликовала технический разбор оптимизации fused Mixture-of-Experts-ядер в Amazon SageMaker AI 13 октября 2026 года. Речь идёт о нагрузках, где маршрутизация токенов и вычисления для отдельных экспертов занимают значительную часть времени обработки, повышая задержку и стоимость запросов.
Инженеры AWS описали несколько изменений в реализации ядер. Swap-AB перестраивает операцию умножения матриц так, чтобы лучше использовать инструкцию WGMMA на архитектуре NVIDIA Hopper. Для FP8-квантизации применяется маршрутизация через backend Triton, а устранение повторной JIT-компиляции Triton сокращает лишние накладные расходы.
По данным AWS, вместе эти приёмы обеспечили до десяти процентов более высокую пропускную способность и до девяти процентов более быстрое Time to First Token на GPU H200. Компания объясняет эффект особенностями MoE-инференса: во время декодирования система обрабатывает небольшое число токенов, тогда как вычисления с экспертами формируют значительно более крупные матричные операции. Поэтому выравнивание программной структуры с ограничениями GPU становится важным для загрузки вычислительных блоков.
Почему это важно
Оптимизация затрагивает не саму архитектуру модели, а эффективность её выполнения. Для команд, запускающих MoE-инференс в SageMaker AI, описанные приёмы могут уменьшить задержку обработки и повысить отдачу от GPU H200.