Компания Robbyant, входящая в Ant Group и специализирующаяся на воплощённом искусственном интеллекте, объявила о выпуске LingBot-VA 2.0 — первой в отрасли модели «видео-действие», созданной нативно для физического мира. Этот релиз знаменует ключевой переход в фундаментальных моделях робототехники: от перепрофилирования моделей цифрового мира к их проектированию нативно для физического мира.

Вместо того чтобы полагаться на доработанные модели генерации цифрового контента, LingBot-VA 2.0 создана с нуля для удовлетворения исходных требований динамического моделирования, каузального прогнозирования и выполнения в реальном времени в физических средах. Интеграция мировых моделей с воплощённым ИИ была одним из основных направлений развития ИИ-индустрии. Однако большинство подходов полагаются на модели генерации видео, предназначенные для цифрового контента, которые затем донастраиваются для управления роботами. Поскольку создание контента ставит во главу угла визуальное качество и креативность, а управление роботами требует эффективности выполнения и физической точности, такая вынужденная адаптация часто приводит к потере знаний и снижению обобщающей способности.

LingBot-VA 2.0 предлагает иной подход. Модель предварительно обучена с нуля с использованием авторегрессионной архитектуры и предназначена для понимания того, как действие изменит среду, и принятия следующего решения на основе этого каузального прогноза. Архитектурные инновации включают семантический визуально-действенный токенизатор, строгое каузальное предварительное обучение, архитектуру Mixture of Experts и улучшенный асинхронный логический вывод. Эти решения решают распространённую отраслевую проблему низкой эффективности выполнения в воплощённых мировых моделях, обеспечивая скорость логического вывода в реальном времени 150 Гц на одном GPU. Модель может обобщаться на новые задачи, используя всего 20 демонстраций через контекстное обучение без обновления параметров.