SMARR (smart manufacturer augmented reality robot) — мобильная роботизированная платформа для обеспечения удаленного присутствия человека. Ключевая особенность робота, которая отличает его от других предложений на рынке — совмещение технологий VR и AR. Человек управляет системой с помощью очков виртуальной реальности Oculus Rift. Вместе с видеопотоком с камеры человек получает получает слой дополненной реальности, которую компьютер накладывает на специальные маркеры в пространстве. Сами маркеры система распознает с помощью компьютерного зрения. Дополненная реальность состоит из таблиц и другой важной информации.
Кроме того, робот может самостоятельно ориентироваться в пространстве. SMARR попадает в незнакомую среду и использует различные вероятностные методы, чтобы создать карту помещения. Затем он автоматически определяет, где сам находится на этой карте.
Благодаря слою дополненной реальности и возможности ориентироваться робот будет полезным на крупных производствах. Одна из возможных областей его применения — работы на нефтяных вышках. С роботом, который ездит и смотрит показатели в опасных условиях, компании снизят нагрузку на персонал и сэкономят. Другая область применения робота — туризм. С помощью робота человек может отправиться гулять по Барселоне, сидя дома в очках виртуальной реальности.
Проект осуществлялся в рамках практико-ориентированного НИОКР — специального конкурса для студентов технических специальностей. Университет выбирает среди студенческих проектов и поддерживает лучшие: студенты получают финансовую поддержку и помочь научного консультанта-сотрудника университета.
Создатели и трудности при разработке
Создатели SMARR — бакалавры, магистры и аспиранты самых разных направлений Университета ИТМО: программисты, конструкторы, электронщики. Для каждого из них SMARR — это первый настоящий проект. По словам руководителя проекта Алексея Щеколдина, все участники столкнулись с неожиданными трудностями, но вызовы их только вдохновляли.
«Мы столкнулись с огромным количеством преград и препятствий, о которых раньше и не задумывались, — рассказывает Алексей. — Для колесной базы мы очень долго разбирались с работой драйверов, потому что взяли колеса от гироскутера. Для системы работы с видеопотоком мы полгода изучали работу экспериментальной камеры ZED. Наложить слой дополненной реальности на ее видеопоток, чтобы робот не вылетел посередине работы с фразой “Ой, простите, я устал” — сложная задача. Нам пришлось писать свои библиотеки с нуля, чтобы дополненная реальность накладывалась ровно и изображение не трясло. Зато написали свой патент».
Оценка проекта и первые успехи
Получение настоящего практического опыта — главная задача практико-ориентированного НИОКР. В процессе работы студенты получают уникальные навыки: как работать с документацией, создавать технические предложения и обсуждать его с заказчиком (в его роли выступает Университет ИТМО).
Основная идея практико-ориентированных НИОКР в том, что это должна быть не просто идея, заканчивающаяся презентацией, а продуманный процесс разработки технологии или продукта, имеющих свое физическое воплощение и четкое понимание решаемой проблемы и практического использования результатов, рассказывает заместитель директора мегафакультета компьютерных технологий и управления и научный консультант команды Сергей Колюбин.
«С момента подачи заявки на конкурс ребятам нужно было держать в голове бизнес-аспекты, конкурентное окружение, просчитывать стоимость, трудоемкость, потребительские характеристики. Пока проект не трансформировался в стартап, но при соответствующей проработке его результаты можно успешно коммерциализовать», — говорит он.
Как научный консультант Сергей Колюбин помогал команде не выпускать из внимания важные технические проблемы.
«Интеграция таких технологически сложных решений, как система автономной навигации и удаленного управления, стриминга видео, интерфейса на базе AR, в единую систему может занимать львиную долю времени на разработку и провалится, если о каких-то нюансах автор проекта не подумал в самом начале. Я бы поставил участникам команды четверку за реализацию проекта. Многое удалось, сделан сам прототип с заявленным функционалом, но еще стоит отладить узкие места и сделать более плотную интеграцию между аппаратными и программными компонентами, чтобы все работало как часы и заводилось с нажатия кнопки. Надеюсь, ребята продолжат работу над проектом и за рамками практико-ориентированного НИОКР».
На данный момент команда пока не выпустила робота на рынок, но уже презентовала первый прототип в рамках международной конференции MMAR и несколько раз — в рамках мероприятий Университета ИТМО.
