Найти себя, развить творческий потенциал, войти в состояние гармонии и выразить свои чувства при помощи звука и образа. Все это непросто для любого человека, если же он не может видеть, то задача становится еще сложнее. Отчасти в этом могут помочь современные технологии.

Еще в 2019 году в рамках Культурного форума в Петербурге обсуждался вопрос нейротехнологий, методов человеко-компьютерного взаимодействия для адаптации детей с особенностями здоровья к полноценной жизни. В течение следующих месяцев сформировалась команда, которая объединила в себе людей из разных организаций: Университета ИТМО, школы-интерната №1 им. К.К. Грота для слепых и слабовидящих детей, Фонда образовательных проектов «Петерфонд», АНО «Цифровая молодежь», Центра социокультурной реабилитации Дианы Гурцкой.

Вместе они решили создать исследовательскую лабораторию, цель которой ― исследовать, как можно использовать цифровые интерфейсы для работы с детьми, требующими специальной адаптации. Так возник проект «Нейрокультура».

«Это один из первых реальных интердисциплинарных проектов в России, в котором и постановка задачи, и обсуждение, и реализация проводится совершенно разными специалистами. Почему ИТМО принял участие в проекте? Причина ― в задаче, которую поставил перед собой Университет ИТМО при написании стратегии на 10 лет, до 2027 года. Мы прежде всего ориентируемся на то, что мы должны работать непосредственно с человеком», — рассказал в ходе презентации ректор Университета ИТМО Владимир Васильев.

Владимир Васильев
Владимир Васильев

«Сказочный стол»

Летом 2020 года проект был поддержан Фондом Президентских грантов. Финансирование направлено на разработку специального устройства для того, чтобы дети с нарушениями зрения могли заниматься творчеством. В результате была создана специальная установка, получившая название «Нейротафл». Она создавалась междисциплинарной командой, в которую вошли, с одной стороны, сотрудники Центра юзабилити и смешанной реальности Университета ИТМО, а с другой ― медиахудожники. Во главе команды находится советник ректора Университета ИТМО Михаил Климовский.

Сама установка напоминает пульт управления космического корабля из фантастических фильмов. Специальная подставка содержит интерактивно-тактильную поверхность с определенным рельефом. Над ее дизайном работали студенты Художественно-промышленной академии имени А. Л. Штиглица.

«Перед студентами стояла сложная задача, ведь дизайн является переводчиком технологий в пользовательский опыт, — рассказывает заведующий кафедрой промышленного дизайна академии Сергей Хельмянов. — Преподавателям тоже пришлось много поработать со студентами ― смотреть, исследовать варианты, перебирать конечные решения. Насколько правильными оказались рабочие гипотезы, которые предложили студенты, мы можем посмотреть, только пробуя и тестируя эти решения».

«Нейротафл»
«Нейротафл»

Манипулируя на поверхности специальными активными элементами в виде кубиков, пользователи могут генерировать различный аудиальный контент. При этом детям не надо знать нотную грамоту или обладать идеальным слухом ― нейросеть адаптируется к каждому пользователю и настраивает звуковые ряды и саму работу установки под конкретного человека.

«Дети с самого начала дали этому столу другое название, и это для меня является наградой ― они назвали его "Сказочным столом", — рассказывает медиахудожник, архитектор проекта Юрий Дидевич, — Кубики, которые используют дети, это активные компьютерные элементы, которые являются компьютерными аватарами. Они не только позволяют взаимодействовать ребенку с устройством, они отслеживают все пользовательские действия. Собственно говоря, главная фишка в том, что эта система способна с самого начала взаимодействия очень подробно наблюдать и анализировать все действия пользователя. В дальнейшем мы надеемся, что, когда система будет набирать этот опыт, она будет подстраиваться под пользователя и помогать взаимодействовать».

Юрий Дидевич
Юрий Дидевич

Впрочем, установка служит не только для чистого творчества. Не менее важной задачей является развитие у маленьких пользователей абстрактного мышления. Как объяснить, что такое квадрат или круг, человеку, который никогда их не видел? Фигуры можно пощупать или прочитать о них с помощью шрифта Брайля, но это не даст полной картины.

«Нейротафл» способен «присваивать» фигурам, которые чертят ученики на его поверхности, особенные звуки или ― с помощью вибромоторов ― особенное тактильное воздействие. Это должно помочь работе тех участков мозга, которые ответственны за воображение.

Также «сказочный стол», как надеются его создатели, может использоваться для совместных занятий детей и родителей, у которых нет таких же особенностей здоровья. Используя «Нейротафл» они смогут общаться на одном «языке», что должно помочь им лучше понять друг друга.

Открывая новые возможности

Пока дети, учащиеся в школе имени Грота, только начинают исследовать возможности «Нейротафла». Этот этап продлится до весны 2021 года, затем у создателей этого программно-аппаратного комплекса появится достаточно данных, чтобы сделать следующую модификацию установки, более удобную для пользователей. Всего таких опытных образцов планируется создать три.

После этого, как надеются разработчики, можно будет говорить о перспективах для массового производства таких интерфейсов, чтобы поставлять их в разные школы-интернаты по всей России. Для этого установку надо будет сделать компактнее, легче, дешевле и проще в эксплуатации.

«Помимо проектной команды, в работе приняли участие магистранты нашей образовательной программы "Мультимедиа-технологии, дизайн и юзабилити, — рассказывает директор Центра юзабилити и смешанной реальности факультета программной инженерии и компьютерной техники Артем Смолин. — Вместе с магистрантами мы анализируем специфику данного устройства, сферу его использования, применяем наши наработанные компетенции в аспекте человеко-машинного взаимодействия».

Артём Смолин
Артём Смолин

Параллельно с инженерами в работу вступят и педагоги, которые будут определять, как именно можно применять установку для обучения детей, как с ее помощью можно стимулировать активность тех или иных областей мозга. В этой работе будут также участвовать сотрудники Института физиологии им. Павлова. Все это позволит создать методические рекомендации, которые можно будет также распространять по интернатам всей страны.

«Инновации, которые рождаются в нашей школе, транслируются на регионы России. Школа выступает как федеральный ресурсный центр, как пилотная площадка министерства просвещения РФ, — рассказывает директор школы-интерната им. Грота Алексей Мухин. — Этот проект направлен на социокультурную адаптацию людей с ограниченными возможностями здоровья, он расширяет границы между наукой, технологией и искусством для особых людей. Социальная значимость этого проекта обусловлена необходимостью изменения отношения к инвалидам в нашем обществе».

Школа-интернат им. К.К. Грота
Школа-интернат им. К.К. Грота

Планируется расширять и спектр потенциальных пользователей таких установок. Как рассказывают создатели, в скором времени планируется опробовать один из прототипов в психоневрологическом интернате в Петергофе. Также рассматривается возможность для использования подобных установок в лечении депрессии и других нервных расстройств у взрослых людей.

Наконец, планируется создавать и другие установки, с совершенно иным принципом действия, которые также можно будет использовать в обучении и адаптации людей с особенностями здоровья. Пока же установку опробуют ученики школы-интерната имени Грота. Свое первое выступление с помощью установки они показали гостям презентации.