NVIDIA представила ReplaySSM для ускорения декодирования гибридных моделей
NVIDIA описала ReplaySSM — метод хранения состояния для моделей, где слои state-space чередуются со слоями внимания. Подход должен снизить обмен данными с памятью и упростить откат при speculative decoding.
В публикации от 12 октября 2026 года NVIDIA рассказала о ReplaySSM — совместной разработке с Dao AI Lab Принстонского университета. Метод меняет способ хранения состояния в слоях state-space model: вместо постоянной записи полного состояния он использует контрольную точку и буфер последних входов.
По описанию NVIDIA, такой подход разделяет вычисление выхода и обновление состояния. Это сокращает трафик между вычислительными ядрами и памятью, который может становиться узким местом при декодировании гибридных моделей. Компания также связывает ReplaySSM с более простым откатом при speculative decoding: новые входы добавляются в буфер, а не требуют сохранения отдельного снимка состояния для каждого шага.
Отдельная часть метода посвящена вычислениям с низкой точностью. NVIDIA предлагает использовать высокоточную контрольную точку для рекуррентного обновления и копию с низкой точностью для чтения. По утверждению компании, это ограничивает накопление ошибки квантования.
ReplaySSM уже интегрирован в TensorRT-LLM, vLLM и FlashInfer. NVIDIA также указывает на доступность статьи и исходного кода, чтобы разработчики могли изучить реализацию и использовать её при обслуживании гибридных моделей.
Почему это важно
Для разработчиков инференса ReplaySSM предлагает способ уменьшить стоимость хранения состояния SSM и совместить такие модели с оптимизациями, которые уже применяются при декодировании трансформеров.