Когда человек входит в комнату, он сразу понимает, где находятся предметы, замечает препятствия и изменения вокруг. Для робота это сложный процесс: ему нужно не только распознать объект, но и определить его положение, движение и связь с окружающим пространством, чтобы ориентироваться и действовать в меняющейся среде. Решение таких задач — один из ключевых элементов развития воплощенного искусственного интеллекта. 

Воплощенный искусственный интеллект (англ. embodied artificial intelligence, embodied AI) — подход, при котором ИИ работает не только с цифровыми данными, но и взаимодействует с физическим миром через роботов и другие устройства. Такая система воспринимает окружающую среду, анализирует происходящее, принимает решения и выполняет действия, учитывая изменения вокруг. В отличие от классических ИИ-систем, которые могут работать исключительно с цифровой информацией, воплощенный ИИ способен получать данные непосредственно из физического мира и учиться на взаимодействии с ним. 

Embodied AI — основной фокус лаборатории «Воплощенного интеллекта и робототехники» ИТМО. Под руководством Сергея Колюбина, профессора и заместителя директора мегафакультета компьютерных технологий и управления, она объединяет специалистов по алгоритмам и системам управления и принятия решений, компьютерному зрению, машинному обучению и генеративному проектированию. Ее исследователи работают с разными роботизированными системами — от манипуляторов и шагающих роботов до квадрокоптеров и подводных аппаратов. 

Три новые работы лаборатории «Воплощенного интеллекта и робототехники», подготовленные в соавторстве с партнерами и представленные на международной конференции по компьютерному зрению ECCV 2026, описывают компоненты единой системы пространственного интеллекта. Они решают разные, но связанные части одной задачи по «очувствлению» роботов. Первая разработка FastR-4DGS отвечает за динамику: помогает роботу представить сцену в объеме и во времени, а не в виде неподвижного кадра. Вторая модель QUORUM делает это представление семантически понятным и согласованным между разными точками обзора. Третья модель Obj3R создает объектную пространственную память и позволяет учитывать изменения в уже построенной карте.

Три уровня пространственного интеллекта

Модель FastR-4DGS учит робота распознавать объекты не только в пространстве, но и во времени. Алгоритм учитывает, как объекты перемещаются и как будет выглядеть сцена в последующие моменты. В основе разработки лежит принцип распознавания объектов через гауссианы вместо точек. 

Когда робот наблюдает за движущимся объектом через камеру, системе нужно постоянно отслеживать, как меняется его положение. Один из способов — представить объект как набор из десятков тысяч точек. FastR-4DGS предлагает более компактное представление с помощью гауссиан — объемных элементов, которые описывают геометрию, цвет и другие свойства объекта.

В экспериментах для представления одного объекта было достаточно 9–12 гауссиан вместо примерно 40 тысяч точек. Это сокращает объем данных, которые системе нужно обрабатывать для отслеживания движения. По перемещению и повороту гауссиан алгоритм определяет, как меняется положение всего объекта в пространстве и во времени.

«Эта разработка подходит для реконструкции динамических сцен, в том числе в системах дополненной реальности, где важно быстро и реалистично отображать пространство с движущимися объектами. Кроме того, технология позволяет создавать синтетические данные для обучения и проверки алгоритмов, например стратегий управления роботами-манипуляторами или системами автономного транспорта. За счет того, что модель учитывает не только геометрию сцены, но и изменения во времени, такие данные могут точнее воспроизводить реальные ситуации: движение людей, транспорта, предметов и изменения обстановки», — рассказал Сергей Колюбин, руководитель лаборатории «Воплощенного интеллекта и робототехники» ИТМО. 

Модель QUORUM помогает роботу понимать, что находится вокруг него, даже если один и тот же объект выглядит по-разному с разных ракурсов. В традиционных системах робот распознает объекты либо постфактум, после завершения съемки, либо по заранее заданным разработчиками категориям. 

QUORUM учит систему работать с открытым словарем в режиме онлайн — то есть с запросами, которые не были заранее перечислены разработчиками. Система объединяет наблюдения одного объекта с разных ракурсов и формирует семантическую карту динамической сцены. Она связывает визуальные признаки предмета —  форму, цвет, структуру, — с его представлением в пространстве. Это позволяет сохранять целостное понятие об объекте вне зависимости от освещения, положения объекта и ракурса обзора. 

Разработка объединяет несколько наблюдений в плотное поле визуально-языковых признаков. Благодаря этому система может сохранять связь между геометрией сцены и смыслом того, что в ней находится. Когда предмет появляется в поле зрения робота, машина «вспоминает» признаки, которые уже успела проанализировать, и опознает его. Благодаря QUORUM робот сможет найти предмет не только по названию, но и по описанию. 

Модель Obj3R позволяет запоминать динамические сцены. Обычная трехмерная карта может выглядеть как совокупность геометрических точек — такую можно увидеть в приложении робота-пылесоса. Она полезна для обхода препятствий, но не всегда удобна для осмысленного действия. Obj3R переводит пространственную память робота на объектный уровень. Вместо безымянного препятствия система учится понимать, что перед ним «стол» или «стул», которые могут перемещаться.

Благодаря этому машине не нужно каждый раз выстраивать новую карту помещения, она обновляет только ту часть сцены, которая поменялась. В сочетании с языковым запросом и навигацией объектная карта становится основой для инструкций вроде: «найди коробку у двери, которая раньше стояла у двери», «подъедь к столу, где до этого лежала книга» или «возьми предмет, который лежит слева от принесенного вчера ноутбука».

«Вместе все три разработки прокачивают пространственный интеллект автономных семантических агентов. Семантические представления позволят общаться с машиной на естественном языке. Еще один практический сценарий — создание реалистичных синтетических данных Это позволяет быстрее и дешевле проводить обучение и первичную валидацию решений, прежде чем переносить их на реальных роботов, где эксперименты требуют оборудования, времени и дополнительных мер безопасности», — поделился Сергей Колюбин.

Лаборатория сотрудничает с разными индустриальными партнерами. Часть фронтирных исследований по воплощенному ИИ команда реализует в рамках совместной научной лаборатории с Центром робототехники Сбера — лаборатория участвовала в разработке систем навигации внутри помещений для колесных и шагающих мобильных роботов. Некоторые совместные разработки тестировались на антропоморфном роботе «Грин». В 2026 году накопленные наработки в области пространственного интеллекта также применяются при разработке технологий роботизации в фудтех-индустрии.