Сбер представил семейство генеративных моделей Kandinsky WM 1.0, которые обучены генерировать видео, более точно соответствующие законам физики и пригодные для обучения систем Physical AI.

Physical AI, или физический искусственный интеллект, — это класс систем, которые способны воспринимать физический мир, понимать его динамику и управлять реальными устройствами. В отличие от языковых моделей, для физического ИИ просто нет открытых обучающих данных в достаточном масштабе. Собирать такие данные очень сложно и дорого: нужны устройства, датчики, операторы, контролируемая среда.

В основе моделей — нейросеть Kandinsky 5.0 Video Lite, дополнительно обученная на видео с камер роботов, беспилотных автомобилей и записях промышленных процессов. Особенно ценны модели будут там, где реальные съёмки невозможны или сильно затруднены: они могут генерировать видео редких, сложных или опасных сценариев для тренировки роботов и беспилотного транспорта.

Создаваемые моделями Kandinsky WM видео длятся около 5 секунд и отражают отдельные действия: манипуляции с предметами (взял, положил, разрезал), дорожные ситуации (перестроение, проезд перекрёстка), этапы производственных процессов — базовые «кирпичики», из которых складывается обучение автономных систем. Это первое поколение нейросетей на пути к полноценным моделям мира — системам, способным моделировать развитие сцены во времени и служить симуляторами для обучения и тестирования роботов.

Код и веса нейросетей опубликованы под лицензией MIT и доступны всем разработчикам мира бесплатно. По оценке Яна Лекуна, лауреата премии Тьюринга и одного из «отцов» глубокого обучения, четырёхлетний ребёнок только через зрение получает больше информации, чем содержится во всех текстах, на которых обучены крупнейшие языковые модели. Поэтому следующий рубеж физического ИИ — обучение на видео, а синтетические данные становятся ключевым способом закрыть разрыв в объёмах.