Как работают устройства дополненной реальности

Поднесите телефон очень близко к глазам ― буквально на расстояние пары сантиметров ― и попробуйте прочитать текст на экране. Ничего не получается, верно? Глаза просто не могут сфокусироваться на изображении. В этом и состоит основная сложность в разработке AR-устройств. Мы не видим объекты, которые находятся настолько близко. Поэтому конструкторам необходимо создать оптический трюк, из-за которого бы наши глаза воспринимали цифровые объекты, находящиеся в нескольких сантиметрах, так, будто они расположены на расстоянии вытянутой руки или дальше. При этом из поля зрения не должны «стираться» и объекты нашей действительности. Для нас цифровые и реальные объекты должны находиться словно в одной плоскости, иначе мы не сможем сфокусироваться одновременно на реальном и виртуальном мире.

Как решить проблему с точки зрения науки. Для глаза любое изображение — это набор лучей света, отраженных или излученных каким-то объектом. И цифровые объекты ― не исключение. Человеческий глаз определяет, на каком расстоянии от него находится объект, в том числе за счет величины градуса расходимости светового пучка. Чем угол больше, тем глазу ближе кажется объект. От дальних же объектов исходят почти параллельные друг другу лучи.

Поэтому чтобы сделать цифровые объекты видимыми и как бы обмануть наше зрение, нужно поступающие от них лучи света также превратить в параллельные. Сделать это (то есть преобразовать расходящийся набор лучей в параллельный) позволяет линза. Процесс называется коллимация, а дисплеи, которые позволяют провернуть этот «трюк» на устройствах AR, — коллиматорными.

Как это воплотили в AR-устройствах. В первых очках дополненной реальности линзу совмещали с полупрозрачным зеркалом и располагали прямо перед глазом. Изображение с небольшого цифрового экрана поступало сверху, попадало на коллиматор, где лучи становились параллельными, а затем доходило до глаза. Однако устройства с таким дизайном получаются громоздкими и сложными в использовании.

После, в эпоху первой волны миниатюризации, разработчики стали использовать более сложную схему. Изображение в ней также поступает сверху (например, от экрана смартфона), затем отражается в лежащем параллельно ему изогнутом зеркале и попадает на стоящее под углом 45 градусов перед глазом полупрозрачное зеркало, а затем, наконец, от него отражается непосредственно в глаз. То есть лучи несколько раз отражаются от разных поверхностей. За счет этого удается уменьшить размер зеркала и линзы, а значит и самого устройства.

Однако настоящим прорывом в разработке коллиматорных дисплеев стало изобретение волноводов изображений. Это оптические компоненты, которые позволяют собирать, удерживать и доставлять лучи изображения «в глаз пользователю», при этом оставаясь прозрачными для окружающего мира. Внешне они похожи на линзу обычных очков. Изображение от миниатюрного проектора «падает» на стекло-волновод и «застревает» там. Параллельно сквозь это же стекло поступает изображение реального мира. Оно объединяется с уже «запечатанным» там цифровым изображением, и затем объединенная картинка попадает в глаз пользователя. Эта технология позволяет создавать AR-дисплеи, практически неотличимые от линз обычных очков. Поэтому сейчас в AR-очках лидеров рынка умных устройств используют только такие технологии.

• 1
• 2

Из чего состоят AR-устройства

Помимо оптических элементов, современные AR-устройства «начинены» сложной электроникой. Например, правильно обрабатывать информацию из окружающего мира им помогают различные датчики, которые уже умеют определять:

• Где вы? За это отвечают гироскоп, акселерометр, компас, GPS и микрофоны;
• Что вы делаете? Эта информация поступает с биометрических сенсоров, микрофонов и датчиков распознавания жестов;
• Куда вы смотрите? За этим следят датчики движения глаза и освещенности;
• Что вы видите? Это считывают стерео-датчики, ToF и SL-камеры, LIDAR, инфракрасные датчик и датчик близости.

Также очки дополненной реальности оснащены системой распознавания пространства вокруг. Задача решается через два подхода:

• Маркеры объектов. Для этого строят 3D-модель пространства и на часть объектов «наносят» специальный маркер, напоминающий QR-код. Устройство считывает информацию с этих маркеров и понимает, как именно в данный момент выглядит мир вокруг него. Главный минус этой системы — необходимость создания 3D-модели пространства заранее. Поэтому такой подход используют в основном на производстве.
• Структурированный свет. Здесь устройство само в реальном времени создает 3D-модель пространства. Прибор проецирует сетку инфракрасных точек на окружающее пространство и анализирует изменения их размера и взаимного расположения. Такой способ распознавания действительности больше подходит для индивидуальных пользовательских устройств. Однако этот подход требует большей вычислительной мощности, что усложняет, утяжеляет и повышает цену конечного продукта.

Где сейчас используют устройства дополненной реальности

Промышленное производство. С помощью AR-шлема специалист из любой точки планеты может помочь устранить поломку на конкретной установке. В режиме реального времени он отправляет инструкцию рабочему, который находится на месте. А еще может отследить действия рабочего и скорректировать план.

Строительство. Благодаря очкам дополненной реальности конструкторы могут увидеть будущий объект в реальную величину прямо на месте. И сразу отметить расхождение с реально возводимым объектом и оперативно устранить любые ошибки.

Медицина. Одно из популярных направлений — создание для врачей очков с функцией «рентгеновского» зрения. Используя такие разработки, медики могут видеть данные томографии во время операции, наложенные прямо на тело пациента.

Образование. Один из возможных сценариев использования таких очков — экскурсии в музее с личным виртуальным гидом. Причем гидом может стать кто угодно: от Эйнштейна до Аристотеля.

Персональные устройства. В AR-очках можно играть в виртуальные шахматы прямо в воздухе или забрасывать в корзину цифровой волейбольный мяч. Очки также помогают показывать построенный навигатором маршрут, спроецированный на реальные городские постройки. Они будут полезны и людям с ограниченными возможностями. Например, такие устройства смогут предупреждать об окружающих объектах (светофорах, людях, машинах) человека с нарушениями зрения и описывать пространство с помощью голосового ИИ-помощника.

Вызовы, которые ученым еще предстоит решить

Но есть у устройств дополненной реальности и немало нерешенных проблем:

• Короткое время жизни устройства. Сейчас компактное устройство без дополнительной подзарядки работает всего пару часов, поэтому для постоянного использования, как смартфон, не подходит.
• Близорукость пользователей. Людям с плохим зрением требуется установка дополнительных линз, так как совмещать AR-очки с очками от близорукости не получится.
• Окклюзия. Добавить цифровой объект в дополнение к объектам реального мира довольно легко. А что делать, если нужно убрать объект из реального мира? Или хотя бы изменить его ― например, раскрасить в цвета здания. Решений, как это сделать для прозрачных AR-очков, пока нет.
• Конфиденциальность. AR-очки могут постоянно записывать и сохранять все действия пользователя. И к этим данным смогут получить доступ третьи лица, в том числе мошенники. Поэтому еще предстоит разработать надежные способы защиты данных в этой области.

Материал создан на основе лекции сотрудников Научно-образовательного центра фотоники и оптоинформатики ИТМО Арсения и Евгений Алексеевых «Стирая границы: как дополненная реальность меняет мир», которая прошла в рамках проекта «Большая аудитория» центрального выставочного зала «Манеж».