Открытие фестиваля MediaIN организаторы провели совместно с открытием другого городского фестиваля GAMMA. Презентация мероприятий была подготовлена в сотрудничестве с платформой m_division в рамках совместного проекта «Артификация». Часть экспозиционной зоны фестиваля, расположившегося на Новой сцене Александринского театра, была отведена под работы Тараса Машталира, чьи интерактивные мультимедийные инсталляции участвовали в таких фестивалях, как LUMEN EX, ISEA, ZEBRA, Brooklyn International Film Festival, FIFI, Moscow International Book Festival, Electronic Literature Conference (2012-2017), E-Poetry, Interrupt II, Oslo poesifilm, Liberated Words, Tarp и других.
В одном из залов Новой сцены Александринского театра с посетителями общалась Пифия – цифровой оракул, который отвечает гостям на их самые сокровенные вопросы. Работа над Пифией продолжалась несколько лет и была проделана Тарасом Машталиром вместе с молодым программистом Львом Пановым. В России проект дебютировал в центре современного искусства МАРС Центр в Москве.
Пифия представляет собой пространство с двумя экранами, расположенными друг напротив друга, и микрофоном в центре, при помощи которого аудитория обращается к Пифии и мгновенно получает в ответ поэтическое послание. Текст послания визуализируется в реальном времени на экранах. Принцип работы Пифии заключается в анализе речи человека и создании базы данных на основе его вокабуляра в режиме реального времени. Именно из этой базы данных Пифия формирует ответы на заданные ей вопросы.
«Сейчас мы находимся в театре, поэтому у многих возникает ощущение спектакля. Я вижу, что приходит аудитория, которая предпочитает больше наблюдать за общением Пифии с кем-либо, поэтому не все могут раскованно вопрошать что-либо сокровенное. По сути же, это могут быть очень интимные взаимоотношения с алгоритмом. Речь идет о квантовом эффекте. Что мы посылаем Пифии, как мы воспринимаем этот интерфейс, так этот интерфейс с нами и общается. Если у посетителя циничное отношение, Пифия ответит ему тем же», – комментирует Тарас Машталир.
Алгоритм для Пифии написан с помощью языка программирования Python и задействует открытый Google API – очень мощный алгоритм speech to text algorithm. Именно благодаря этому алгоритму создатели накапливают базу данных, поясняет медиахудожник.
«Интерактивные технологии становятся следующей фазой развития театра, который начался с мистерии, где грань между актером и зрителем стерта. Мистерия в свое время стала театром, и теперь мы возвращаемся в интерактив, где сама аудитория и является актером, а актер – аудиторией. Пифия и Стелла беззвучны в отсутствии аудитории. Только ваше присутствие активирует их», – рассказывает Тарас Машталир.
В дальнейшем Пифию планируется усовершенствовать. Для этого медиахудожник привлек специалистов кафедры информационных систем и технологий в высокотехнологичном бизнесе Университета ИТМО. Цель дальнейшего сотрудничества – подключение к работе дополнительных ресурсов (нейросети, машинное обучение), а также усовершенствование алгоритма и его специализации для конкретных нужд.
Другой проект художника, звуковая скульптура Стелла, был представлен зрителям в главном холле театра. Стелла – результат сотрудничества медиахудожника, совместно с дизайнерами и архитекторами Петербурга (Павел Панкратов, Владимир Антощенко) и Университета ИТМО.
Этот проект разработан в рамках Арт Резиденции на базе Института Art&Science Университета ИТМО, нового нетипичного кластера, который стал наукотворческой, инновационной средой в университете, возникшей благодаря взаимодействию между специалистами из разных областей — науки и образования, культуры и искусства, инженерии и бизнеса.
Над концепцией звуковой скульптуры Тарас Машталир работает уже 7 лет, начав исследование еще в MIT Media Lab. Скульптура чутко реагирует на малейшее движение человека, создавая гармоничный звуковой ряд и цветовую палитру (так называемый аудиовизуальный портрет человека).
«Система сенсоров в реальном времени производит анализ пространства в пределах артефакта. Эти данные организуются по Пифагорейским принципам и генерируют гармоническую палитру в виде секвенции звукового тона и его цветового эквивалента по шкале электромагнитной волны, стимулируя синестетические ощущения, что определяет её целительные возможности», – объясняет медиахудожник. – «Исследования в нейропсихологии с помощью магнитно-резонансной томографии показали, что восприятие консонантов вызывает меньшую активизацию коры головного мозга, чем восприятие диссонансов, что нами воспринимается как удовольствие. Приятность пифагорейских интервалов определяется большей экономией нейронной энергии для их обработки, сравнительно с другими мелодическими соединениями. В консонантах находим мы это прекрасное единство благозвучия, простоты пропорций, выраженных малыми числами, и общности сильных обертонов. То, что благозвучие консонантных интервалов сочетается с простотой и изяществом математического выражения, было для древних знаком божественного порядка».
По словам автора, звуковое и световое наполнение может бесконечно обновляться. Например, одним из пресетов Стеллы является база данных из 99 имен бога - суфийской молитвы, которые в данном случае демонстрирует лиричность русского языка. Образы воспроизводится жестами руки человека и создают поэтическое произведение в сопровождении мелодической композиции. Этот нюанс даже заинтересовал суфийского мастера, навестившего экспозицию, где была представлена звуковая скульптура.
Сегодня Стеллой уже заинтересовались и коммерческие компании. Так, использовать интерфейс планирует одна частная клиника. Пациенты могут, например, ожидая посещения врача, вовлечь себя в интерактивное взаимодействие с устройством и создать комфортный для себя микроклимат. По прогнозам медиахудожника, совсем скоро, когда время когнитивных диссонансов достигнет своего пика, такие устройства станут необходимостью.
И Пифию, и Стеллу сегодня может приобрести любой желающий. Сейчас Тарас Машталир работает с группой программистов из Москвы, которые получили задание оптимизировать программное обеспечение обеих работ в одну аппликацию. Эта аппликация может быть загружена на персональный компьютер или смартфон и управлять сенсорами. Сенсоры Стеллы – это видеокамеры, которые используют алгоритмы машинного видения. В любом ноутбуке и большинстве мобильных устройств сегодня есть камеры, поэтому любой девайс может стать интерактивным инструментом.
«Моя задача – вывести эти скульптуры из галерейных и музейных пространств в пространства городские. Городская скульптура – важная часть архитектурного облика города. Искусство в публичном пространстве формирует и отражает культурные коннотации города и его характер. Часто мы не задумываемся, насколько травматичны звуки в городе: трафик, диалоги, шум строительства и так далее, и постоянный поток этих звуков составляют то, что мы называем «звуковое загрязнение». Собственно, предмет моего исследования — звуковая экология, то есть влияние звука как вибрации на наше сознание и организм в целом», – говорит Тарас Машталир.
В прошлом году была создана инновационная международная инициатива по формированию гармоничной звуковой эстетики в городских пространствах благодаря использованию новейших технологий — SONICOLOGY, а также прошла серия мероприятий в ЦВЗ Манеже, где дебютировала звуковая скульптура.
«Вокруг такой городской звучащей скульптуры образуется терапевтический оазис, где можно отдохнуть от хаотичного шума города, воспринимая теперь этот шум через призму звуковой скульптуры как постоянно развивающиеся музыкальное произведение. То же самое касается и света. Представители Школы светового дизайна Университета ИТМО близки мне по пониманию того, насколько важна эстетика в городском пространстве», — рассказывает медиахудожник.
По мнению Тараса Машталира, университету сегодня необходима среда, где молодые ученые со способностями смогут реализовывать свой потенциал и находить новые формы, создавая принципиально новые интерфейсы. Коллаборация с Университетом ИТМО – это инициатива создать инкубатор для молодежи, выпускников Университета ИТМО, которые, являясь одними из самых востребованных специалистов в программировании, после завершения обучения часто стремятся работать в зарубежных компаниях в силу того, что в Петербурге среда для воплощения их потенциала развита недостаточно. Реализация Стеллы – наглядный пример сотрудничества художников, архитекторов, программистов Петербурга, создающих произведение искусства на стыке профессиональных областей, говорит медиахудожник.
«В некотором смысле я подчеркиваю идею самоидентификации – активацию личности через технологические интерфейсы. Зачастую общество очень инертно, мы подвержены внешним влияниям, и требуется много усилий и силы личности, чтобы пробиться через эти внешние препятствия и сохранить внутренний диалог с собой. Технология в моей интерпретации – это инструментарий, набор интерфейсов, которые помогают человеку в этом поиске себя. И Стелла, и Пифия – это цифровые зеркала», – отмечает Тарас Машталир.
