TAU Tracker: интуитивно-понятный VR без контроллеров и джойстиков
Существующие сегодня контроллеры не всегда являются комфортными для взаимодействия с объектами виртуальной реальности. Управление кнопками не дает пользователю ощущения полного погружения, необходимо время для приобретения навыков управления. Чтобы решить эту проблему, стартап TAU Tracker разрабатывает технологию отслеживания объектов реального мира, и одним из первых будет интерфейс взаимодействия с 3D объектами при помощи специальных перчаток. Такие перчатки позволяют управлять 3D объектами интуитивно понятным способом, видя в VR шлеме свои руки.
Особенность продукта TAU Tracker заключается в разработке собственного метода определения положения предметов в пространстве. Как рассказывают в компании, с помощью запатентованной технологии магнитно-инерциального трекинга достигается точность до десятой доли миллиметра. Датчики располагаются на теле человека и предметах, система определяет положение и ориентацию датчиков в объеме, в котором создается слабое магнитное поле. Далее информация передается в систему визуализации.
Разработчики отмечают, что технология не требует использования камер, не имеет проблемы слепых зон и накапливаемой ошибки и способна обеспечить максимальное погружение пользователя в виртуальную реальность, а также интуитивно понятное взаимодействие. На текущий момент компания представила прототип версии для двух рук, а в 2019 году планирует разработать версию для всего тела. Помимо движений тела, TAU Tracker можно использовать на предметах, для них разработаны специальные крепления.
Сотрудничество с Университетом ИТМО
В прошлом году TAU Tracker представил разработку на нескольких крупных выставках и фестивалях, в том числе на Science Fest в Петербурге. Именно здесь сотрудники Университета ИТМО лично познакомились с командой стартапа и генеральным директором компании Ильей Котовым, рассказывает Андрей Карсаков, старший преподаватель Института дизайна и урбанистики Университета ИТМО. В результате возникла идея объединить усилия. На тот момент у команды TAU Tracker уже был прототип устройства, но не было возможностей ярко и интересно представить технологию аудитории. В Университете ИТМО, в свою очередь, до этого не работали с перчатками для захвата движений, поэтому заинтересовались возможностью попробовать силы в чем-то новом.
«Мы подумали, что можно сделать с перчатками, с помощью которых полностью захватываются движения рук. Главная задача здесь — показать с сильной стороны тот факт, что у нас полностью отслеживаются все движения пальцев, что дает возможность сделать управление жестами. В итоге мы пришли к достаточно логичной идее: в свое время была такая игра Питера Молинье, которая называется Black and White, где пользователь играл, по сути, за бога: курсор мышки представлял собой большую руку, а персонажей можно было перемещать по острову, кидаться камнями и прочим. Мы подумали: отлично, в нашем случае технология позволяет вместо мышки хватать предметы прямо собственными руками. Это очень наглядно и быстро. Отсюда и появилась та самая концепция с “симулятором бога”», — рассказывает Андрей Карсаков.
Shadow Samurai
В процессе проработки идеи остров и крестьяне сначала трансформировались в крепости с рыцарями. Потом рыцари превратились в самураев. Но в итоге авторы игры решили сохранить концепцию небольших островов, что позволяет пользователю действовать на ограниченном пространстве.
Сюжет игры строится вокруг острова с алтарями с энергией Инь, которую пытаются похитить тёмные самураи, приходящие в мир игрока из порталов. Задача пользователя, который может взаимодействовать с светлыми самураями, — защитить энергию и уничтожить порталы.
«Чтобы включиться в игру, пользователю необходимо надеть перчатки и шлем виртуальной реальности. Основной особенностью игры является прямое взаимодействие игрока с внутриигровыми объектами. Также важной технологической особенностью является возможность игры распознавать жесты игрока. Например, нужно собственными руками брать и расставлять своих бойцов по территории в наиболее выгодных точках для защиты алтарей, при этом, если вы возьмете виртуального человечка не очень аккуратно, то есть шанс раздавить его — это событие детектируется с помощью “распознавателя” жестов. Другой пример использования жестов: если игрок показывает большой палец вверх, то все светлые самураи радуются вашему одобрению и начинают восстанавливать свое здоровье. Чтобы закрыть портал, нужно сначала поймать рукой души побежденных темных самураев, а затем бросить их в портал», — рассказывает Александр Хорошавин, один из главных разработчиков игры, отвечавший за геймдизайн и арт-дирекшн.
Главные сложности, с которыми столкнулись разработчики игры, — отсутствие готовых универсальных решений для разработчиков по работе с жестами рук. Необходимо было разработать систему, которая позволила бы из точек, отслеживаемых технологией, восстановить всю руку с естественными движениями суставов, а уже потом работать с жестами этой руки.
«Мы работали с достаточно сырой технологией, которая еще находится в стадии активной разработки, и это наложило отпечаток на наш подход к разработке. Но в итоге Александр Гутриц (студент 2-го года нашей магистратуры) сделал систему, которая позволяет, используя шесть точек (не важно, с какого устройства захвата движений они получены), по инверсной кинематике восстановить биомеханику всей руки, из чего уже была сделана система, позволяющая записывать и кастомизировать жесты для взаимодействия с игровым миром. Таким образом, сейчас можно прямо внутри, в движке, записать набор жестов и назначить им определенные действия, — говорит Андрей Карсаков. — У нас получилось сделать достаточно универсальную систему, которая позволяет работать с TAU Tracker и Leap Motion, в плане мы также хотим подключить к ней SDK Magic Leap, где также есть распознавание рук. Возможно, даже выпустим этот инструментарий для комьюнити разработчиков».
Демоуровень игры, который демонстрирует сильные стороны технологии, уже был представлен в январе на крупнейшей в мире выставке потребительской электроники CES в Лас-Вегасе. Но пока TAU Tracker находится в разработке, поэтому в том виде, в котором игра задумывалась, в ближайшее время обычный пользователь поиграть в нее не сможет, говорит Андрей Карсаков. Сейчас команда проекта думает над перспективами расширения игры, в том числе над возможностью использовать другие технологии и платформы с сохранением общей идеи и механик. В будущем возможна разработка игры в двух вариантах: первый — изначальный, предполагающий взаимодействие с игровой средой руками, и второй, позволяющий управлять героями с помощью контроллеров и играть, например, в мобильном VR. Однако есть и возможность того, что это будет эксклюзивная техно-демка для перчаток TAU Tracker, поставляемая вместе с ними.
Перспективы технологии
Ближайшие перспективы развития технологии TAU Tracker ее разработчики видят не столько в потребительском секторе, сколько в сотрудничестве с разработчиками b2b решений. В частности, TAU Tracker может быть интегрирован в обучающие тренажеры, благодаря чему можно безопасно и эффективно обучить персонал навыкам работы в сложных и рискованных для здоровья ситуациях, например, в условиях крупного производства или сложной хирургической операции.
Кроме того, в компании отмечают, что технологию можно использовать при разработке решений для реабилитации после травм и инсультов. В качестве преимуществ разработчики указывают возможность отслеживания мелкой моторики при упражнениях реабилитации после инсульта, а также обучения нейросети протеза.
С тем, что VR в целом пока ближе к крупным игрокам и представителям индустрии, соглашается и Андрей Карсаков.
«Даже по CES было понятно, что ближайшие перспективы массового внедрения VR пока не на потребительском рынке, а в b2b сегменте, — говорит он. — Наиболее близкая к массовому потребителю технология TAU Tracker может сработать, например, в качестве стенда в VR-парке, которые очень активно развиваются последние годы. По результатам CES у нас, кстати, уже есть предварительная заинтересованность в этой сфере и контакты со специалистами, которые занимаются такими парками. Но, в целом, вариантов, в какую сторону это можно развивать, много. В том числе такими технологиями заинтересованы в медицинской сфере, где очень важно передать механику рук и обеспечить высокую точность отслеживания, например для тренировки хирургов».
Добавим, что оценить технологию и попробовать поиграть в Shadow Samurai можно будет на конференции ITMO Open Science 8 февраля, где студенты и аспиранты представят собственный электронный постер и подробнее расскажут о разработке.
