Первым докладчиком стал профессор Берлинского института техники и экономики HTW Berlin Юрген Сик. Спикер рассказал о проектах, которые он реализует вместе с группой коллег в Германии и Африке. Описанные проекты ярко продемонстрировали возможности VR/AR-технологий в целом спектре приложений: в виртуальных музеях и галереях, в приложениях в области культурного наследия, для культурного туризма и путешествий, в цифровых театрах, в музейном менеджменте с использованием информационно-коммуникационных технологий и т. д.
Виртуальная реальность в музейной среде
Добавление в коммуникацию между человеком и экспонатом мультимедиа технологий становится все более распространенным. По словам специалистов, это удобно и не угрожает музейным экспонатам. Яркий пример – использование голографических дисплеев. Так, коллеги Юргена Сика создали голограмму музейного экспоната – пирамиды, а стекло, отделяющее посетителя от экспоната, наделили функциями технологии Touch Screen. Этот интерактивный экран позволяет посетителям взаимодействовать с экспонатом – вращать объект на управляемом проигрывателе с помощью простых жестов. На двух экранах отображается дополнительная информация об объекте в зависимости от угла поворота.
Таким образом, различные фрагменты информации могут быть связаны с разными углами поворота одного объекта или, если несколько объектов помещены на поворотный стол, к различным объектам. Даже освещение внутри корпуса регулируется в зависимости от угла поворота экспоната, а дополнительная подсветка может использоваться для выделения деталей.
Пользователи могут взаимодействовать с экспонатом, вращая его в реальном времени и рассматривая его со всех сторон. Большой монитор в фоновом режиме позволяет встроить объект в его «естественную среду». Например, если футбольный трофей выставлен на экран, изображение полностью заполненного стадиона во время финала, поставленного на фон, создаст аутентичную атмосферу.
Также Юрген Сик рассказал о приложении-помощнике туристу, которое с помощью технологий виртуальной реальности помогает посетителю музея сориентироваться в музейной инфраструктуре и найти необходимые зоны: выход, туалет, кафе и другие.
Музыка
По словам профессора, с недавних пор в Concert Hall Berlin концертом можно насладиться из необычного места – находясь рядом с играющими музыкантами. Концерт с элементами дополненной реальности позволяет слушателю детально рассмотреть, что происходит на сцене, а всплывающие над музыкантами обозначения подскажут последовательность и интенсивность игры музыкальных инструментов. Концертный зал оснащен несколькими камерами, которые позволяют пользователям выбрать нужную точку просмотра музыкального действа, а технологии виртуальной реальности – увидеть концерт онлайн, постоять на сцене рядом с дирижером и взглянуть на зал со сцены.
Kishikishi
Kishikishi – один из специальных проектов, созданный в сотрудничестве с коллегами из Намибии. Это книга для детей Африки, которая расширяет опыт чтения тем, что включает, помимо традиционных книжных элементов, контент дополненной реальности: невидимые элементы, которые можно обнаружить с помощью смартфона. Здесь же читающий сможет встретить аудио, 2D-анимацию и интерактивные головоломки для детей. Как только пользователь подносит смартфон к книге, она оживает: на ее страницах растут деревья, передвигаются животные и детально прорисовывается африканский ландшафт. Простое меню навигации позволяет детям с легкостью ориентироваться в виртуальной книжной модели.
Digital-маркетинг
Для того, чтобы сделать рекламные буклеты для туристов, желающих посетить Намибию, более живыми и зрелищными, специалисты решили вновь внедрить digital-контент: картинки, видео и анимацию. Использование информационных технологий и новых элементов виртуальной реальности позволили усилить образ дикой жизни в Намибии и вывести маркетинг на качественно новый уровень. Подобно книге Kishikishi, буклеты включают интерактивную визуализацию африканского ландшафта: покупатель может увидеть, как с разворота на разворот перебегают слоны и перелетают бабочки, а на некоторых участках можно узнать интересные факты о животных – например, увидеть гонку животных и узнать, кто быстрее передвигается – слон или носорог.
Himba браслеты
Браслеты с национальными узорами африканского народа Химба стали еще одним африканским проектом. Украшения наглядно демонстрируют расширение функций дизайна с помощью внедрения технологий дополненной реальности: 3D-анимации и видеосканирования. Вдохновение для узоров и конструкций создатели черпали от животных, пейзажей и богатой истории Намибии. Браслеты отражают традиционное искусство региона наряду с собственным уникальным видением художников. Сканируя браслет через смартфон, на окружности украшения можно увидеть как представителя народа Химба, так и дикого зверя.
В рамках интерактивной зоны конференции каждый участник мог познакомиться со студенческими проектами в сфере VR/AR. Университет ИТМО был представлен проектом Студенки кафедры Графических технологий по программе «Компьютерные технологии в дизайне» Валерии Вагаповой. В рамках дипломного проекта студентка создала локацию для гарнитуры виртуальной реальности HTC Vive и интерпретировала часть картины Иеронима Босха «Сад земных наслаждений».
«Мы взяли один из символов картины – фонтан, который находится на одном из триптихов, и сделали авторскую трактовку этой работы для гарнитуры виртуальной реальности HTC Vive. Мы поместили фонтан в космическое пространство и сделали его интерактивным. Пользователь, находясь в космическом пространстве, видит фонтан, к которому применены различные эффекты (из фонтана льется вода и т.д.), а вокруг фонтана взору зрителя открывается система звезд, по которой он может перемещаться. Мы создали вольную интерпретацию работы художника на базе виртуальной реальности с возможностью для пользователя путешествия вокруг одного из главных объектов художественного произведения», – рассказал Артем Смолин, заведующий кафедрой графических технологий, ведущий инженер Центра дизайна и мультимедиа Университета ИТМО.
Также на конференции были представлены проекты выпускников кафедры информационных систем в искусстве СПбГУ. Юрий Булавин представил проект IT-Sound – систему автоматической генерации музыки по определенным параметрам настроения пользователя, которые можно задать в системе. За долю секунды перед пользователем появляется уникальное музыкальное произведение, у которого есть начало, кульминация и конец. Мелодия генерируется по алгоритму в соответствии с канонами теории музыки, и двух одинаковых мелодий быть не может. Кроме того, студенты СПбГУ представили стартап Timemelody – виртуальный музей музыкальных инструментов, где в музейном зале можно услышать любой из представленных инструментов, записанных специальным способом: объемный трехмерный звук меняется в зависимости от изменения положения пользователя в виртуальном пространстве. Уникальная особенность проекта - возможность перенестись в среду, которая соответствует духу инструмента и эпохе его распространения.
