Найти себя, развить творческий потенциал, войти в состояние гармонии и выразить свои чувства при помощи звука и образа. Все это непросто для любого человека, если же он не может видеть, то задача становится еще сложнее. Отчасти в этом могут помочь современные технологии.
Еще в 2019 году в рамках Культурного форума в Петербурге обсуждался вопрос нейротехнологий, методов человеко-компьютерного взаимодействия для адаптации детей с особенностями здоровья к полноценной жизни. В течение следующих месяцев сформировалась команда, которая объединила в себе людей из разных организаций: Университета ИТМО, школы-интерната №1 им. К.К. Грота для слепых и слабовидящих детей, Фонда образовательных проектов «Петерфонд», АНО «Цифровая молодежь», Центра социокультурной реабилитации Дианы Гурцкой.
Вместе они решили создать исследовательскую лабораторию, цель которой ― исследовать, как можно использовать цифровые интерфейсы для работы с детьми, требующими специальной адаптации. Так возник проект «Нейрокультура».
«Это один из первых реальных интердисциплинарных проектов в России, в котором и постановка задачи, и обсуждение, и реализация проводится совершенно разными специалистами. Почему ИТМО принял участие в проекте? Причина ― в задаче, которую поставил перед собой Университет ИТМО при написании стратегии на 10 лет, до 2027 года. Мы прежде всего ориентируемся на то, что мы должны работать непосредственно с человеком», — рассказал в ходе презентации ректор Университета ИТМО Владимир Васильев.
«Сказочный стол»
Летом 2020 года проект был поддержан Фондом Президентских грантов. Финансирование направлено на разработку специального устройства для того, чтобы дети с нарушениями зрения могли заниматься творчеством. В результате была создана специальная установка, получившая название «Нейротафл». Она создавалась междисциплинарной командой, в которую вошли, с одной стороны, сотрудники Центра юзабилити и смешанной реальности Университета ИТМО, а с другой ― медиахудожники. Во главе команды находится советник ректора Университета ИТМО Михаил Климовский.
Сама установка напоминает пульт управления космического корабля из фантастических фильмов. Специальная подставка содержит интерактивно-тактильную поверхность с определенным рельефом. Над ее дизайном работали студенты Художественно-промышленной академии имени А. Л. Штиглица.
«Перед студентами стояла сложная задача, ведь дизайн является переводчиком технологий в пользовательский опыт, — рассказывает заведующий кафедрой промышленного дизайна академии Сергей Хельмянов. — Преподавателям тоже пришлось много поработать со студентами ― смотреть, исследовать варианты, перебирать конечные решения. Насколько правильными оказались рабочие гипотезы, которые предложили студенты, мы можем посмотреть, только пробуя и тестируя эти решения».
Манипулируя на поверхности специальными активными элементами в виде кубиков, пользователи могут генерировать различный аудиальный контент. При этом детям не надо знать нотную грамоту или обладать идеальным слухом ― нейросеть адаптируется к каждому пользователю и настраивает звуковые ряды и саму работу установки под конкретного человека.
«Дети с самого начала дали этому столу другое название, и это для меня является наградой ― они назвали его "Сказочным столом", — рассказывает медиахудожник, архитектор проекта Юрий Дидевич, — Кубики, которые используют дети, — это активные компьютерные элементы, которые являются компьютерными аватарами. Они не только позволяют взаимодействовать ребенку с устройством, они отслеживают все пользовательские действия. Собственно говоря, главная фишка в том, что эта система способна с самого начала взаимодействия очень подробно наблюдать и анализировать все действия пользователя. В дальнейшем мы надеемся, что, когда система будет набирать этот опыт, она будет подстраиваться под пользователя и помогать взаимодействовать».
Впрочем, установка служит не только для чистого творчества. Не менее важной задачей является развитие у маленьких пользователей абстрактного мышления. Как объяснить, что такое квадрат или круг, человеку, который никогда их не видел? Фигуры можно пощупать или прочитать о них с помощью шрифта Брайля, но это не даст полной картины.
«Нейротафл» способен «присваивать» фигурам, которые чертят ученики на его поверхности, особенные звуки или ― с помощью вибромоторов ― особенное тактильное воздействие. Это должно помочь работе тех участков мозга, которые ответственны за воображение.
Также «сказочный стол», как надеются его создатели, может использоваться для совместных занятий детей и родителей, у которых нет таких же особенностей здоровья. Используя «Нейротафл» они смогут общаться на одном «языке», что должно помочь им лучше понять друг друга.
Открывая новые возможности
Пока дети, учащиеся в школе имени Грота, только начинают исследовать возможности «Нейротафла». Этот этап продлится до весны 2021 года, затем у создателей этого программно-аппаратного комплекса появится достаточно данных, чтобы сделать следующую модификацию установки, более удобную для пользователей. Всего таких опытных образцов планируется создать три.
После этого, как надеются разработчики, можно будет говорить о перспективах для массового производства таких интерфейсов, чтобы поставлять их в разные школы-интернаты по всей России. Для этого установку надо будет сделать компактнее, легче, дешевле и проще в эксплуатации.
«Помимо проектной команды, в работе приняли участие магистранты нашей образовательной программы "Мультимедиа-технологии, дизайн и юзабилити, — рассказывает директор Центра юзабилити и смешанной реальности факультета программной инженерии и компьютерной техники Артем Смолин. — Вместе с магистрантами мы анализируем специфику данного устройства, сферу его использования, применяем наши наработанные компетенции в аспекте человеко-машинного взаимодействия».
Параллельно с инженерами в работу вступят и педагоги, которые будут определять, как именно можно применять установку для обучения детей, как с ее помощью можно стимулировать активность тех или иных областей мозга. В этой работе будут также участвовать сотрудники Института физиологии им. Павлова. Все это позволит создать методические рекомендации, которые можно будет также распространять по интернатам всей страны.
«Инновации, которые рождаются в нашей школе, транслируются на регионы России. Школа выступает как федеральный ресурсный центр, как пилотная площадка министерства просвещения РФ, — рассказывает директор школы-интерната им. Грота Алексей Мухин. — Этот проект направлен на социокультурную адаптацию людей с ограниченными возможностями здоровья, он расширяет границы между наукой, технологией и искусством для особых людей. Социальная значимость этого проекта обусловлена необходимостью изменения отношения к инвалидам в нашем обществе».
Планируется расширять и спектр потенциальных пользователей таких установок. Как рассказывают создатели, в скором времени планируется опробовать один из прототипов в психоневрологическом интернате в Петергофе. Также рассматривается возможность для использования подобных установок в лечении депрессии и других нервных расстройств у взрослых людей.
Наконец, планируется создавать и другие установки, с совершенно иным принципом действия, которые также можно будет использовать в обучении и адаптации людей с особенностями здоровья. Пока же установку опробуют ученики школы-интерната имени Грота. Свое первое выступление с помощью установки они показали гостям презентации.
