Европейские игры в Минске
Европейские игры, или Европиада, — это международные комплексные спортивные соревнования среди атлетов Европы, которые проводятся раз в четыре года под управлением Европейских олимпийских комитетов (ЕОК). В этом году они проводились в Минске, столице Беларуси. Как и в случае Олимпийских игр, в рамках Европиады проводились торжественные церемонии открытия и закрытия. Выход спортсменов, рассказ о культуре страны, принимающей Игры, и музыкальные номера — все это традиционно входит в сценарий подобных торжеств. Помимо привычных театрализованной постановки и светового шоу, зрители Европиады-2019 могли наблюдать дополнительные элементы шоу с использованием технологии дополненной реальности: огнедышащего дракона Цмока, стадо бизонов, водоворот из светлячков и другие объекты. Всего программа церемоний открытия и закрытия игр включала порядка десяти AR-эпизодов, часть из них попала в телетрансляцию, а часть можно было наблюдать только эксклюзивно, находясь непосредственно на стадионе.
Увидеть их можно в записи церемоний и в официальном приложении, о котором пойдёт речь ниже. Короткие видео от зрителей шоу со стадиона доступны здесь, здесь и здесь.
Сама идея использования объектов дополненной реальности в различных шоу не нова. Эта технология уже применялась, например, в прямых трансляциях киберспортивных соревнований по Dota2 и League of Legends, а рэпер Eminem в прошлом году выпустил приложение для смартфонов, которое предлагает посетителям его концертов новый эффект погружения. Особенность использования технологии дополненной реальности в Европейских играх состоит в комплексном подходе: AR-элементы были видны всем зрителям - и тем, кто смотрел прямую трансляцию по телевизору, и тем, кто находился на стадионе. Последние могли наблюдать дополненную картинку на информационных экранах стадиона либо скачать мобильное приложение Opening Ceremony AR Experience перед началом программы. Некоторые эпизоды, например, дракон Цмок и стадо зубров, доступны для просмотра в приложении и сейчас. Достаточно загрузить приложение из App Store или Google Play. Однако перед использованием нужно проверить, поддерживает ли смартфон работу приложения.
Лаборатория интерактивной визуализации Университета ИТМО в команде организаторов Европейских игр
Подготовкой AR-части церемоний Европиады занималась лаборатория интерактивной визуализации Университета ИТМО. Именно ее сотрудники отвечали за создание мобильного приложения и комплекса приложений для внедрения дополненной реальности в телетрансляцию. Как рассказывает Андрей Карсаков, руководитель лаборатории и магистерской программы «Технологии и разработки компьютерных игр» , сотрудник Национального центра когнитивных разработок Университета ИТМО, изначально идеей использования технологии дополненной реальности в шоу заинтересовались в Sechenov.com — компании, занимавшейся организацией и постановкой церемоний открытия и закрытия вторых Европейских игр в Минске. После встречи с сотрудниками лаборатории было принято решение вместе работать над программой с комплексным погружением в дополненную реальность.
«Никогда прежде мы не занимались шоу с элементами дополненной реальности, а мы любим пробовать новое и принимать новые вызовы, — делится Евгений Тимащук, исполнительный продюсер Sechenov.com. — Стараемся "держать нос по ветру", отслеживая тенденции, и ищем способы сделать шоу еще более насыщенными и захватывающими. Технологический прогресс, повсеместное внедрение гаджетов в жизнь человека диктуют свои правила. Опыт работы с лабораторией Университета ИТМО мы рассматриваем положительно, поэтому планируем продолжить сотрудничество. Если же говорить о более глобальном будущем, то для меня очевидно, что следующий этап развития AR – это взаимодействие зрителя с дополненной реальностью через экран гаджета, возможность повлиять на сценарий использования этой технологии».
Концепция церемонии открытия Европиады
Церемония открытия Европейских игр сюжетно была посвящена истории Беларуси, ее традициям и выдающимся людям. Так, например, в эпизоде выноса флага страны на стадион в дополненной реальности прилетала стая белых аистов – символа Беларуси, двое из них садились в гнездо, «свитое» поверх центральной сцены, и встречали детей, несших флаг. В эпизоде Легенды, в момент повествования истории о драконе Цмоке, он собственной персоной прилетел на стадион и обдал зрителей пламенем. В эпизоде, повествующем о белорусских мастерах, из экранов на сцене в небо взмывали полотна художника Бакста. А в эпизоде про Беловежскую пущу под ритмичные удары барабанов по небу пронеслось стадо зубров – еще одного неофициального символа Беларуси.
На церемонии закрытия, посвященной Беларуси современной, магии дополненной реальности достался всего лишь один эпизод, но от того не менее важный. Буквально за несколько минут до того, как пламя игр должно было потухнуть, в чаше огня распустился цветок папоротника и выпустил облако семян, которые разлетались по всему стадиону, как бы прощаясь со зрителями. Каждый обладатель смартфона мог буквально дотянуться до парящих вокруг них магических сверкающих семян. А под последние ноты песни Оксаны Волковой и Николая Баскова «Time to say goodbye» семена трогательно взмывали в небо.
За сценарий, режиссуру и частичное создание графического контента отвечала Sechenov.com, а подразделение Университета ИТМО — за всю программную реализацию обозначенных идеи, визуальную полировку AR-сценариев и техническое сопровождение во время самих шоу. В итоге, подготовка заняла семь месяцев. Большую часть времени проект делался распределенно, и специалисты работали из Петербурга, а за две недели до начала игр весь коллектив, отвечающий за церемонии, собрался на национальный стадион «Динамо» в Минске на монтаж, подготовку и репетиции.
Основные трудности реализации
В процессе работы сотрудники лаборатории интерактивной визуализации столкнулись с рядом трудностей. Одним из самых серьезных вызовов стала точная синхронизация по времени эпизодов дополненной реальности с происходящим на стадионе на всех устройствах. Если для телевещания можно было просто завести с пультовой таймкод для эпизодов AR, то с мобильными устройствами так поступить было нельзя — на стадионе присутствовало более 20 тысяч зрителей, а с учетом волонтеров, спортсменов и всех, кто был задействован в проведении, число приближалось к 30 тысячам. Создание инфраструктуры синхронизации через интернет было бы проблематичным из-за потенциальной огромной нагрузки на мобильную сеть, а аренда серверной части, способной выдержать такую пиковую нагрузку, вышла бы слишком дорогой.
Сотрудники лаборатории решили проблему оригинальным образом: сделали возможным работу приложения без подключения к интернету. Это стало возможным благодаря партнерству с компанией Cifrasoft из Ижевска. Они разрабатывают решения по синхронизации мобильных устройств по звуковой дорожке — телефон слышит аудиотрек и «понимает» его время. Сначала члены команды переживали, что могут возникнуть проблемы из-за громкого звука на стадионе, но после первых тестов стала понятно, что все опасения напрасны — технология Cifrasoft SDK стабильно работала даже в условиях сильного постороннего шума.
Еще одной сложностью стал свет. Ему всегда нужно уделять особое внимание при работе с объектами дополненной реальности, ведь он влияет на восприятие общей картинки. Программа открытия начиналась еще до захода солнца, поэтому освещение динамически менялось примерно первую четверть мероприятия. Кроме того, световая партирута церемоний включала более сотни источников по периметру стадиона. Все эти условия создавали проблемы при «посадке» картинки в реальный свет, чтобы накладываемые изображения дополненной реальности реалистично вписывались в кадр.
AR для эмоций
Андрей Карсаков предполагает, что в будущем мы увидим еще много интересных проектов с комплексным использованием дополненной реальности. В частности, и от лаборатории интерактивной визуализации Университета ИТМО. Специалист Университета ИТМО сообщил, что уже ведутся переговоры относительно следующего проекта, однако пока он не может раскрывать подробности.
«В какой-то степени применение дополненной реальности в openair-шоу — это еще эксперименты. Реальных кейсов во всем мире можно пересчитать по пальцам рук, процесс работы сейчас достаточно сырой. А если говорить о комплексном применении AR для мобильных и телевизионных платформ, то так вообще никто раньше не делал. Поэтому по мере возникновения проблем некоторые задачи приходилось решать на коленке, “с помощью скотча”. Но, с другой стороны, мы были искренне рады возможности поработать над столь масштабным проектом и в составе такой огромной команды профессионалов, занимавшихся этим шоу. После работы над Европейскими играми мы поняли, куда развивать разработанные нами решения, что полировать, как улучшить процесс производства подобного контента. Я думаю, AR будет все чаще появляться на “живых” мероприятиях. Это помогает выйти на новый уровень взаимодействия с аудиторией, добавляет эффектности шоу, это запоминается. А ведь именно для этого и ходят на подобные шоу — получить максимум эмоций», — заключает Андрей.
