Ни для кого не секрет, что удовольствие, которое мы испытываем, страх, злость и другие эмоции, напрямую связаны с работой нашего головного мозга. Однако мы редко задумываемся, как именно работает наше серое вещество при просмотре грустного фильма или чтении занимательного комикса. А ведь каждая эмоция активирует те или иные участки в голове человека, а спектр чувств можно представить в виде диаграммы работы различных участков мозга.
Именно это и продемонстрировали создатели специального выставочного проекта от «РОСФОТО» и Университета ИТМО. Первоначально выставка в формате Art&Science была представлена в ходе «Ночи музеев», однако до сих пор она демонстрируется на различных ивентах. Так, в начале зимы проект был представлен посетителям XII Всероссийского студенческого форума по связям с общественностью «PRКиТ 2019».
Увидеть свою эмоцию
Проект был реализован год назад, когда специалисты музейно-выставочного центра «РОСФОТО» обратились в Университет ИТМО с предложением поучаствовать в «Ночи музеев» с совместным проектом, который должен совместить искусство, физиологию и технологии виртуальной реальности.
«Каждый год для различных музеев города мы делаем высокотехнологичные проекты к “Ночи музеев”, — рассказывает руководитель проекта, директор Центра юзабилити и смешанной реальности, доцент факультета ПИиКТ Университета ИТМО Артем Смолин. — Коллеги из музея предложили нам совместный междисциплинарный проект, который в рамках дипломной работы реализовали два бакалавра образовательной программы «Компьютерные технологии в дизайне». В качестве первоисточника мы использовали научные статьи по исследованиям мозга, в которых говорилось о том, какие участки мозга активируются при различных эмоциях. Пообщавшись с куратором от музея мы решили совместить данные исследования с демонстрацией архивных фотоизображений».
Как рассказывает один из соавторов проекта, магистрантка Университета ИТМО Надежда Прокопенко, было предложено множество вариантов того, как можно было бы оформить идею. В итоге студенты создали виртуальную локацию с шестью фотографиями из архивов «РОСФОТО», в которой располагается полупрозрачная модель человеческого мозга.
«Были отобраны шесть фотографий: млечный путь, блокадный Петербург, мать и дочь, абстрактная фотография, игра в карты, мытье скульптуры в саду. Мы опросили группу людей и попросили выбрать, какие из восьми вариантов эмоций вызывает у них каждое изображение. Были предложены на выбор: страх, злость, печаль, радость, восхищение, удовольствие, нежность и эмпатия. Затем мы отобрали три самые популярные эмоции к каждому фотоизображению. Когда пользователь надевал гарнитуру виртуальной реальности Samsung gear VR, он погружался в пространство, где мог выбрать каждую из этих фотографий, увидеть, какие эмоции она вызвала у респондентов и где именно в мозге человека находятся центры тех или иных эмоций», — рассказывает Надежда.
Трудности разработки
Помимо отбора фотоизображений, проведения опроса и создания виртуальной визуализации, необходимо было еще интегрировать эти разработки в гарнитуру виртуальной реальности, чтобы демонстрировать посетителям. Чтобы этого добиться студентам пришлось изучить и преодолеть ряд технологических проблем.
«Сложности возникали с движком, нужно было настроить проект под гарнитуру, — поясняет Надежда. — Настроек упаковки проекта в принципе достаточно, тем не менее в официальной документации не так уж много информации. Из-за того, что основу гарнитуры составляет смартфон, мы вынуждены были адаптировать работу движка под производительность гаджета. Так, при первых тестах у нас оказалась слишком маленькая частота кадров – люди поворачивали голову, а движение пространства происходило очень медленно, из-за этого возникал эффект укачивания. Пришлось делать ретопологию, изменять текстуры и так далее. Затем мы модифицировали модель мозга, упростили ее геометрию».
Проект получил хорошие оценки посетителей «Ночи музеев» и самого руководства «РОСФОТО». Также остались довольны и в университете: на защите дипломных работ студенты получили свои заслуженные «отлично».
«В рамках дипломной работы студенты справились со своей задачей, они проявили самостоятельность и самомотивацию — поясняет Смолин. — Несмотря на все технические проблемы, которые им пришлось преодолеть, в итоге получилось интересно и креативно, коллеги из “РОСФОТО” были довольны, и мы продолжили сотрудничество».
Продолжение жизни проекта
Проект внес изменения в жизнь и интересы авторов технического исполнения.
«Это был некий толчок к участию в различных конкурсах и мероприятиях, связанных с виртуальной реальностью в том числе. Я бы не сказала, что до этого проекта я вообще была как-то связана с виртуальной реальностью, кроме специализированных учебных проектов. После этого я поняла, что мне интересна эта сфера деятельности», — поясняет Надежда Прокопенко.
Несмотря на то, что «Ночь музеев» давно прошла, проект продолжает жить и время от времени демонстрируется на разных мероприятиях. В частности, посмотреть на то, как работает мозг человека при просмотре фотоизображений, смогли участники XII Всероссийского студенческого форума по связям с общественностью «PRКиТ 2019».
«Это был разовый проект, — поясняет Артем Смолин. — Но, поскольку он получился достойным, мы продолжим периодически демонстрировать его на разных мероприятиях, пока он актуален».
