Together AI, IBM и NVIDIA запустили выделенный инференс-кластер на B300
Together AI сообщила о запуске выделенного кластера NVIDIA B300 в IBM Cloud для корпоративного инференса открытых моделей. Компания называет его первым крупномасштабным кластером такого типа в IBM Cloud.
Together AI 6 октября сообщила о сотрудничестве с IBM и NVIDIA, направленном на масштабирование корпоративного инференса. В основе проекта — выделенный кластер GPU NVIDIA B300, размещённый в IBM Cloud и предназначенный специально для инференса.
По описанию Together AI, NVIDIA поставляет вычислительные ускорители B300 и сетевую технологию Spectrum-X Ethernet, IBM отвечает за облачную инфраструктуру, а Together AI управляет слоем инференса. Компания называет этот проект первым выделенным крупномасштабным инференс-кластером такого типа в IBM Cloud и сообщает, что стала его первым клиентом.
Практический смысл инициативы — предоставить предприятиям инфраструктуру для запуска открытых моделей в производственном масштабе. В публикации Together AI также говорится о вариантах использования, где организации сохраняют контроль над данными и инфраструктурой, включая развёртывание в частном облаке и других контролируемых средах. Эти возможности описаны компанией как часть сотрудничества, а не как независимая оценка его результатов.
Почему это важно
Проект показывает, как поставщики моделей, облачной инфраструктуры и ускорителей объединяют ресурсы для корпоративного инференса открытых моделей на выделенных мощностях.
