NVIDIA показала, как AI-агенты создают симуляции в Omniverse
NVIDIA описала проекты, где агенты на базе frontier-моделей собирают симуляции для роботов, автономного транспорта и цифровых двойников с помощью библиотек Omniverse.
NVIDIA опубликовала серию примеров применения AI-агентов для создания и проверки симуляций. По описанию компании, разработчик задаёт агенту задачу на естественном языке, проверяет результат и направляет дальнейшие изменения, а библиотеки Omniverse обеспечивают физику, рендеринг и симуляцию сенсоров.
В одном из проектов агент Astra собрал интерактивный симулятор склада с гуманоидным роботом. Для этого использовались библиотеки Omniverse для физики, обновления сцены, рендеринга и интерфейса. В другом примере Astra помогла соединить сцену улицы Market Street в Сан-Франциско с рабочим процессом тестирования автономного вождения. NVIDIA также описала эксперимент, где разные погодные условия и освещение применялись к записанным симуляционным видео для сравнения ответов модели в одном сценарии.
Отдельное направление — цифровые двойники. Агенты Astra и Claude Fable 5 сравнивали изображения камеры и данные LiDAR из симуляции с записями реальных сенсоров, затем создавали или исправляли сцены OpenUSD. По данным NVIDIA, этот процесс занял около трёх дней и включал измерение расхождений, изменение геометрии и материалов и повторную проверку.
В проекте Robo Olympics агент Astra помогал тестировать движения виртуальных Unitree G1. В одном эксперименте робот преодолел одиночное препятствие в 64 из 100 симуляционных испытаний. Компания представляет такие сценарии как способ получать обратную связь для настройки управления и подготовки робототехнических приложений.
Почему это важно
Материал показывает практический сценарий для разработчиков: агент может не только генерировать код, но и связывать сцену, физику, сенсоры и повторную проверку в одном цикле симуляции.