«Мы поставили перед собой амбициозную задачу: за достаточно короткий срок сделать лучшую в России магистратуру по робототехнике, — рассказывает Сергей Колюбин, профессор факультета СУиР и куратор образовательной программы Робототехника и искусственный интеллект. — И понятно, что решить эту задачу можно только совместно с сильными и дальновидными корпоративными партнерами. 

У нас сложилось замечательное взаимодействие с Лабораторией робототехники Сбера — кроме финансовой поддержки коллеги готовы инвестировать самое ценное: свое время и экспертизу. Более того, лаборатория является для нас мостиком с роботическими бизнес-подразделениями Сбера (СберАвтоТех, СберДевайсы и другие), где работают тысячи разработчиков, а наши магистранты и выпускники могут проходить стажировки и в дальнейшем трудоустраиваться. За время взаимодействия мы существенно пересмотрели наполнение учебных планов, сделав акцент на связку робототехники и ИИ. Но образовательная программа — это не только про лекции: мы даем ребятам ценный опыт проектной работы, совместно организуем всероссийские и международные образовательные мероприятия (направление “Робототехника” Олимпиады “Я-Профессионал”, Летняя школа по носимой и коллаборативной робототехнике WeCoRD и др.)».  

В течение полутора лет студенты работали над реальными кейсами в области конструирования, обучения и систем управления роботами, а также человеко-машинных интерфейсов, регулярно посещали Лабораторию в рамках командировок и получали конкурентную оплату за свой труд. Все свои наработки они могли открыто использовать при написании статей на ведущие международные конференции и в написании своей магистерской диссертации.

Студенты занимались несколькими актуальными направлениями: планирования движения, манипулирования объектами, компьютерного зрения, голосовых человеко-машинных интерфейсов и автономно управляемых наземных роботов.

В июне 2021 ребята защитили магистерские диссертации, а в июле должен состояться Демо-день проекта, где работоспособность разработок будет показана уже в «железе» для коллег из Лаборатории робототехники и других подразделений группы Сбер.

«В рамках программы индустриальных стажировок магистры и аспиранты ИТМО работали над реальными и сложными проектами Лаборатории Робототехники Сбера. Студенты решали задачи доработки конструкции и захвата объектов антропоморфным роботом iCub, управления шагающими роботами, задачи навигации и распознавания окружения для мобильных роботов, задачи управления манипуляционными роботами. Все участвующие ребята показывают высокий уровень подготовки и мотивации к работе, — комментирует руководитель Лаборатории робототехники группы Сбер Алексей Гонноченко. — Программа стажировок является важным аспектом деятельности Лаборатории, поскольку дает возможность увеличить скоуп исследований, проверять дополнительные гипотезы, а также расширить кадровую воронку».

Корреспондент ITMO.NEWS попросил — уже выпускников — рассказать о том, над чем они работали все эти полтора года, чего смогли добиться и что им еще предстоит реализовать в сотрудничестве со Сбером.

Евгений Хомутов

выпускник образовательной программа «Робототехника», специализация «Биомехатроника»

Мой проект был связан с проектированием кисти для антропоморфного робота iCub. Это человекоподобный робот, который имеет пропорции восьмилетнего ребенка. Многие лаборатории используют его в качестве платформы для исследования алгоритмов машинного обучения, компьютерного зрения, навигации, а также для изучения когнитивных способностей человека. Главное преимущество этого робота в том, что производители интегрировали в него все возможные системы управления — и поэтому на нем можно проводить исследования в любой сфере. В индустрии таких роботов не используют — он производится специально для робототехнических лабораторий и используется исключительно для научных исследований.

За время работы над проектом я спроектировал новую кисть для этого робота с превосходящими характеристиками по грузоподъемности и повторяемости движений. Недостатком оригинальной руки является то, что в ней используется система тросов — в процессе эксплуатации они растягиваются и изнашиваются, и их необходимо постоянно регулировать. Из-за чего кисть обладает низкой повторяемостью движений. В один момент она может сгибаться определенным образом, а в следующий момент — уже по-другому.

Нашу кисть мы проектировали по принципам морфологического расчета — это значит, что часть функции управления мы интегрировали в саму механику. Также в конструкции мы используем множество эластичных элементов, что позволит управлять всей кистью с помощью всего четырех двигателей. В оригинальной же кисти iCub используется девять приводов.

В ближайший месяц мы планируем эту конструкцию доработать, собрать и установить непосредственно на самого робота — во время нашей очередной рабочей командировки.

Дмитрий Иволга

выпускник образовательной программы «Робототехника», специализация «Интеллектуальная робототехника»

Мы работаем в команде с Евгением — он разрабатывает механику и конструкцию руки, я занимаюсь разработкой программного и аппаратного обеспечения для нее. Моя задача — оживить уникальную механику руки, заставить ее выполнять адаптивные захваты и соединить ее с iCub, чтобы она заработала.

Челлендж моей задачи, во-первых, в миниатюрности руки — она соответствует руке восьмилетнего ребенка,  во-вторых, в сложной экосистеме и внутреннего устройства самого робота — из-за этого к нему сложно присоединить кисть.

В нашей руке больше сенсоров: например, y самого iCub отсутствуют проксимальные фаланговые сенсоры для восприятия усилия, а мы их добавили. Но в целом наша разработка больше нацелена на надежность, на повторяемость движений. Потому что iCub — хорошая робототехническая платформа, но, к сожалению, у нее низкая надежность. Например, был случай, когда у него вышла из строя рука, потому что тросы передавились и лопнули. И из-за того, что у него достаточно сложная начинка, быстро заменить отдельные элементы не всегда получается.

Илья Довгополик

выпускник образовательной программы «Робототехника», специализация «Мехатронные системы и технологии»

Я занимался проектом по исследованию алгоритмов захвата, перемещения и манипулирования объектами. Конкретно я делал планирование движения для робота и перемещения его в пространстве с препятствиями. Этот алгоритм может применяться не только на данном роботе и не только для захвата руки, но и для любой части робота, например, ног.

Я предложил новый алгоритм, который до этого никто еще не делал. Он быстрее работает, использует меньше памяти, и в целом более оптимальный. Те алгоритмы, на которые мы опирались, имели существенный недостаток: в памяти робота оказывается сохранено большое количество данных о пространстве, в котором никогда не будет происходить поиск траектории. Я придумал, как сделать так, чтобы эти незадействованные куски пространства не принимались в учет. При том, что сам алгоритм имеет в основе случайную выборку, то есть он случайным образом анализирует части пространства. Это дает скорость и позволяет не хранить данные, которые не нужны.

Роман Защитин

выпускник образовательной программы «Робототехника», специализация Биомехатроника

Я занимаюсь обучением галопирующих четвероногих роботов. Моя задача — научить робота правильно бегать, то есть чтобы он не просто передвигался по прямой, а делал это еще быстро и эффективно. И все это реализуется при помощи машинного обучения.

Конечно, походку можно воспроизводить вручную: говорить двигателям на ноге, насколько градусов нужно повернуть ногу в определенный момент времени. Но это очень долгий и ресурсозатратный процесс. Можно решать эту проблему при помощи математики и сложного управления — но это также занимает много времени и ресурсов. А можно дать это на откуп машинному обучению, которое позволяет «генерировать» походку, основываясь на каких-то условных показателях, которые мы задаем этой системе.

По сути, мы хотим упростить задачу и работу инженерам, которые работают над походкой двух- и четырехногих роботов. Конечно, сейчас есть множество готовых вариантов, в которых используются либо достаточно простые методы управления, либо mpc-контроллеры (model predictive), но эти решения требуют сильного математического аппарата и достаточно много вычислений на самом борту робота. То есть, чтобы робот бегал корректно, ему приходится делать множество расчетов внутри себя и таскать с собой груз в виде компьютера для этих расчетов.

Проект находится на финальной стадии, осталось подкорректировать походку, чтобы она стала немного реалистичнее — это один из показателей, по которому оценивается правильность работы сгенерированной нейросетью походки.

Елена Соколова

выпускница образовательной программы «Робототехника», специализация «Интеллектуальная робототехника»

Моя задача — это разработка модуля автоматической генерации текста на естественном языке, а также разработка голосового интерфейса — чтобы продемонстрировать, как это все работает.

Системы автоматической генерации текстов на естественном языке могут служить в качестве способа моделирования когнитивных способностей человека. Мы провели параллель между тем, как взаимодействуют мышление и речь у человека, и на основе этого смоделировали общение человека и робота. Подразумевалось, что наш модуль будет универсальным — его можно использовать как дополнительную функцию для голосового ассистента вроде SIRI. Мы использовали нейросеть GPT-3, но дообучали ее конкретно под наши задачи.

Более узкая задача, которая перед нами стояла, — это генерация историй на русском языке с использованием объектов, с которыми робот взаимодействует или просто видит. Начало сценария задает пользователь — эта история продолжается алгоритмом, зачитывается вслух. При этом в рассказе участвуют те объекты, которые робот распознал при помощи машинного зрения. С роботом можно поговорить о погоде, о делах, можно использовать его в общении с детьми — чтобы он рассказывал им сказки. Также в процессе диалога робот предлагает поиграть в Акинатора.

Наш проект в целом уникальный, потому что в России мало кто занимается автоматической генерацией текстов. Часто это все представляется как любительская забава, а научные публикации на эту тему редко встречаются. И нам хотелось вынести эту область в науку.