О передовой технологии AR-очков, роли когнитивных наук в разработке шлема и актуальных потребностях нефтегазовой индустрии мы поговорили с сооснователями стартапа — ведущими научными сотрудниками научно-образовательного центра фотоники и оптоинформатики ИТМО, лауреатами ITMO Fellowship Program, Арсением Алексеевым и Евгением Алексеевым.

Как пришла идея разработки шлема: вы опирались на совершенствование уже существующих устройств или на потребность индустрии?

Арсений: В первую очередь мы исходили из потребности российской нефтегазовой отрасли — наша страна имеет большую территорию, а месторождения в основном располагаются в труднодоступных местах. Чтобы эффективно выполнять инженерные задачи, специалистам на точках часто не хватает технической экспертизы. Аналоги подобных устройств уже существуют в мире, но в других странах они не так необходимы. Наша задача — сделать так, чтобы шлем работал в большом температурном диапазоне, в суровых климатических условиях и использовал локальную сеть для передачи информации.

Расскажите подробнее, как работает шлем и какие главные проблемы решает?

Евгений: Наиболее близким продуктом к нашему является канадская разработка RealWear. Это устройство вспомогательной реальности также предназначено для вывода инструкций и удаленной связи с экспертом, но оно имеет непрозрачный дисплей, находящийся на периферии зрения. Мы же хотим максимально оптимизировать вывод информации, поэтому ключевым элементом нашего шлема является прозрачный дисплей дополненной реальности в виде очков. На него выводятся инструкции, проецируемые на настоящие объекты.

Арсений: Этот дисплей — инновационный компонент, вокруг которого строится все устройство. В отличие от разработок других компаний, наша технология позволяет производить плоские, тонкие, яркие и четкие дисплеи на широко доступном оборудовании.

Евгений: Еще один важный элемент, который мы хотим встроить в шлем, — это искусственный интеллект. Работа инженера проходит в тяжелых условиях, а иногда в состоянии стресса, как в случае поломки или аварии. Искусственный интеллект будет подстраивать шлем под когнитивное поведение пользователя. Например, человек совершил ошибку, и вам надо его остановить, но при этом не напугать и не помешать выполнять необходимые действия.

Арсений: У разных людей — разный подход к восприятию информации. Бывают аудиалы, визуалы, кинестетики. Чтобы оптимизировать устройство под каждого работника, нам необходимо, чтобы ИИ собирал данные о его когнитивном поведении и, исходя из этого, настраивал шлем нужным образом.

Евгений: В случае устройств дополненной реальности такие исследования только начинают проводиться в мире. Существует множество трудностей, с которыми сталкиваются разработчики. Так, самая известная проблема — это конфликт вергенции и аккомодации. То есть противоречие между тем, каким образом ваши глаза смотрят на объект, и тем, где они фокусируются. От эффекта полного погружения в трехмерный цифровой мир голова начинает уставать, так как для нее это неестественный способ восприятия объемных изображений. Как снизить эту утомляемость от работы с очками — еще один вопрос, над которым мы работаем с помощью когнитивистики.

А как происходит коммуникация между пользователем и экспертом?

Арсений: У нас есть два помощника. Один из них — искусственный интеллект. Он похож на GigaChat, Алису и любой другой ИИ, с которым можно взаимодействовать голосом или жестами. Камера на шлеме распознает ваши движения и понимает, что необходимо вызвать виртуального помощника. Появляется его визуализация, а затем взаимодействие с ИИ происходит по уже привычному для любого современного человека сценарию. Разница только в том, что ИИ обычно тренируется на открытой базе знаний из общедоступных источников, а наш виртуальный помощник будет обучаться на основе закрытых корпоративных данных, чтобы выдать пользователю конкретную и актуальную информацию.

Второй помощник — реальный. Если вам не хватило данных от виртуального ассистента, можно связаться по видео с удаленным экспертом. Это человек с большим опытом, который сидит в офисе и видит изображение с камеры шлема. Он может показать инструкции наложением на реальные объекты. Например, перед вами вентиль трубы. Необходимо подсветить его определенный участок, чтобы показать, что именно там кроется проблема. Эксперт видит картинку на своем экране, обводит его инструментом или символом, а у инженера отображается не просто картинка, а цифровая подсказка, закрепленная на объекте. Даже перемещаясь вокруг вентиля, вы увидите точную подсказку на нужном месте.

Чем привлекательна индустрия нефти и газа для исследований в вашей области?

Арсений: Очень важный аспект в разработке подобных устройств — стратегия применения продукта. Вообще отрасли использования такого шлема могут быть различными: от железных дорог и строительства до медицины. Однако нефтегазовая отрасль наиболее перспективна, потому что в России, где она является одной из основных, есть крупные компании, нуждающиеся в нашей технологии.

Евгений: Еще важный момент — это стоимость простоя. В других отраслях время, потраченное на прибытие живого специалиста, не так критично. Стоимость же простоя буровых установок в нефтедобывающих местах настолько огромная, что мы действительно можем принести максимальную пользу своим устройством. Для сравнения — стоимость разработки нашего шлема сопоставима с парой дней отсутствия работ на буровой станции.

У вас мультидисциплинарная команда, есть даже специалисты по когнитивным наукам. Как вы нашли друг друга и начали работать вместе?

Арсений: Мы с Евгением пришли в ИТМО по программе привлечения зарубежных талантов ITMO FellowShip, и начали работать здесь совсем недавно. У меня роль CEO, у Евгения — технический директор. Мы оба занимались нанофотоникой и наноэлектроникой, а в последние годы деятельности основной фокус был на оптику. Я специализируюсь больше на интеграции новых разработок в производство и выпуске коммерческой продукции.

Евгений: Область, которой занимаюсь я, — это построение оптической части самого устройства и создание технологии его тестирования и оценки качества. Почти всегда  на ранних стадиях разработки результат не соответствует ожиданиям. Моя задача — понять, почему.

Арсений: Работая в ИТМО, мы начали расширять сеть контактов. К нашей команде присоединился Сергей Константинович Стафеев, доктор технических наук и профессор прикладной оптики ИТМО. А через него мы познакомились с Татьяной Владимировной Черниговской — известным российским ученым, профессором нейронаук Института когнитивных исследований СПбГУ. Ее заинтересовал наш проект, и мы начали сотрудничать. Мы изготавливали и тестировали шлем как технические специалисты, однако нам не хватало экспертизы в вопросе взаимодействия человека с нашим устройством. Татьяна Владимировна же заинтересовалась дополненной реальностью как новым способом восприятия информации и тем, насколько он влияет на поведение и когнитивные функции. Еще один член нашей команды — специалист по искусственному интеллекту и машинному обучению, IT-предприниматель Дмитрий Москалёв. Именно благодаря ему наш шлем обретет виртуального помощника и «научится» распознавать когнитивный профиль пользователя.

Как вы узнали о программе Sber500?  

Арсений: Из общедоступных источников. В моем представлении это самый масштабный и интенсивный акселератор в нашей стране. Мы подали заявку и прошли первый этап. В этом году было более 1500 команд, а в финал прошли только 25. Наша разработка была отобрана из-за существенной DeepTech-составляющей, которой мы очень гордимся.

Евгений: Нам даже сказали, что мы «играем на повышенном уровне сложности». DeepTech-проекты отличаются потребностью в крупных финансовых вложениях и более долгими сроками реализации проектов.

Арсений: На втором этапе стартовала акселерационная программа. Сбер организовал целый курс тренингов, лекций и воркшопов, по результатам которых определились финалисты — тот самый топ-25, в который мы тоже вошли. Третий этап такой же по формату, но еще более интенсивный. На нем нас уже готовили к финальному Demo Day — помогали подготовить презентацию проекта с точки зрения бизнес-модели, стратегии поиска инвестиций и партнеров. Это огромный стимул для команд, чтобы помимо самой технологии проработать важные аспекты для коммерческой реализации продукта.

Как прошла презентация вашего проекта на Demo Day?

Евгений: Финальный отрезок нашего пути на акселераторе был очень интенсивным, мы много работали, чтобы довести нашу презентацию до того вида, в котором она нам нравится. Одно из ярких позитивных впечатлений — это знакомство с другими финалистами. Это очень вдохновляет — видеть, сколько талантливых и амбициозных команд есть в нашей стране, и для нас очень приятно, что мы вошли в их число.

Арсений: И хочется отметить работу менторов и команды акселератора, которые действительно помогли нам представить свой проект наилучшим образом. В жюри были представители венчурных фондов, ведущих российских компаний и госорганизаций. Очень ценно было получить от них комментарии.

Кто из них проявил интерес к вашему стартапу?

Евгений: Это три венчурных фонда, у каждого из которых одно из главных направлений — DeepTech-разработки. И мы рады, что нам удается продвигать подобный проект и получать обратную связь от инвесторов.

Арсений: Сейчас мы рады, что выступление удалось, а завтра уже вернемся к работе и будем продумывать следующие шаги.

Какие совершенствования ждут шлем? 

Арсений: Сейчас шлем на стадии MVP (Minimum Viable Product) — ранней версии, показывающей свой функционал и потенциал. После демонстрации всех доступных возможностей, мы будем доводить проект до полноценного коммерческого продукта. Ключевая технология у нас есть. Теперь нам предстоит воплотить часть с ИИ, когнитивным поведением и построением оптимальной архитектуры устройства вокруг ключевого компонента. Фокус на конкретной отрасли поможет нам рационально использовать ресурсы и сделать наилучший продукт именно для работников нефтегазовой индустрии.

Евгений: Оказалось, что сделать универсальное устройство довольно сложно из-за разных требований отраслей. Конечно, мы надеемся, что у компаний из других сфер тоже возникнет интерес к подобному шлему, и тогда мы будем адаптировать устройство под их задачи.

То есть можно будет персонализировать разные модели под отдельные отрасли?

Арсений: В перспективе — да. Но мы считаем принципиально важным сначала сделать наилучшее устройство для одной области, а после этого уже расширяться на другие.