Vercel добавила в AI Gateway fallback по уверенности ответа
Vercel обновила AI Gateway: теперь разработчик может повторно отправить decision-запрос другой модели, если ответ основной модели не достигает заданного уровня уверенности. Функция доступна в beta.
6 октября 2026 года Vercel сообщила о добавлении в AI Gateway условных fallback-моделей. Если ответ основной модели не проходит заданное условие уверенности, Gateway запускает повторное decision-рассуждение с указанной моделью. Условия можно комбинировать и привязывать к конкретному вопросу; для вопросов Choice и Score используется порог уверенности, а для Boolean — диапазон вероятности. Настройка передаётся через providerOptions.gateway.models. При срабатывании fallback оплачиваются оба этапа обработки. По описанию Vercel, обычные fallback-модели для явных ошибок продолжают работать по-прежнему.
Почему это важно
Разработчики могут направлять сомнительные классификационные ответы на дополнительную проверку моделью с fallback-логикой, но должны учитывать оплату обоих этапов.
