— Артур, это не первое ваше интервью для нашего ресурса: в 2018 году вы уже рассказывали, что работаете над мессенджером для слепоглухих LifeFeel. Не могли бы рассказать, как с тех пор складывалась судьба вашей разработки?

—  Путь пройден большой. Я занимаюсь этой работой уже давно — с 9 класса, когда я подумал, что нужно сделать что-то интересное, полезное миру, пока я молодой, есть свободное время и я могу себе это позволить. Тогда я вспомнил, как в далеком 2005 году впервые встретился со слепоглухими людьми, которые передают информацию с помощью тактильной азбуки, определенным образом прикасаясь к кисти руки собеседника. Я решил облегчить этот процесс, сделав специальный мессенджер, ведь не каждый знаком с тактильной азбукой.

На создание приложения меня вдохновил фильм «Интерстеллар». Если помните, в какой-то момент главный герой передавал информацию своей дочери из черной дыры с помощью часов, используя азбуку Морзе. Тогда ко мне пришло озарение, а почему бы не оснастить смарт-часы возможностью передавать информацию слепоглухому с помощью вибраций: короткая вибрация — точка, а длинная — тире.    

В 2018 году я поступил в Университет ИТМО, переехал в Петербург и продолжил работу над этим проектом. К тому моменту у меня был прототип на смартфон и умные часы. В этом прототипе можно было передавать информацию только слепоглухому, сам он тогда еще не мог отвечать в приложении. Проект стал частью НИОКР для Фонда содействия инновациям. Тогда же я стал собирать команду, потому что понимал, что в одиночку довести работу до конца не смогу.

— Где искали членов команды?   

— Мне повезло, я учусь в Университете ИТМО, тут достаточно много IT-специалистов. Многие заинтересовались. В результате ко мне присоединились мои одногруппники Иван Мосягин и Артур Куприянов.

— Как вы думали масштабировать свою разработку? 

— Вообще я сразу подходил к этому проекту с позиции, что здесь не особо заработаешь денег. Это про помощь людям, про возможность сделать мир лучше.

Тем не менее есть структуры, которые потенциально могут быть заинтересованы в нашей работе. К примеру, компании, которые хотят нанимать слепоглухих людей. Это показывает их социальную ответственность, дает людям работу, при этом помогает снизить налоги. Я думал заинтересовать предпринимателей своим приложением, чтобы они могли общаться со своими сотрудниками. Кроме того, я  рассчитывал на интерес со стороны государственных органов, которые так или иначе работают с людьми с ограниченными возможностями здоровья.

«Напиши букву слепоглухому»

— Как вы дорабатывали прототип?

— Самая большая проблема, с которой мы столкнулись, — как дать возможность слепоглухому не только получать, но и передавать сообщения. Сначала я думал сделать передачу также за счет азбуки Морзе: когда слепоглухой нажимает на экран часов долго, то это тире, когда быстро — точка. Так получилось слишком медленно.

Потом мы решили разделить экран часов пополам: с одной стороны тире, с другой — точка. Это оказалось неудобно пользователю, который не видит часы и может допустить ошибку.

— Как же вы решили эту проблему?  

— С помощью машинного обучения. У Google есть функция — когда мы рисуем на экране смартфона буквы, которые распознаются и превращаются в печатный текст. Я уточнил у слепоглухих — смогут ли они также выводить пальцем на экране буквы? Они объяснили, что если они встречаются с человеком, который не знают тактильной азбуки, то они так и делают — берут его руку и чертят буквы у него на ладони. Так получается слово, которое они хотят передать. Все сошлось! Но возникла другая проблема.

— Какая же?

— Написать саму нейронную сеть для распознавания рукописных букв для меня несложно. Но затем ее надо тренировать. А банки данных, на которых Google и другие IT-гиганты учат свои нейросети, закрыты. К ним не получить доступ.      

Поэтому нам надо было самим собрать набор примеров написания всех букв русского алфавита. Чтобы нейросеть могла распознать букву вне зависимости от размера, почерка, наклона. Тогда я запустил социальную акцию «Нарисуй букву слепоглухому». Все желающие могли перейти на наш сайт и в специальном окошечке писать пальцем буквы. На дворе был 2020 год, пандемия. Но нам удалось собрать около 200 000 образцов написания букв кириллицы. Использовав эти данные, мы добились точности распознавания в девяносто с лишним процентов. 

S.O.S.

— Вашей разработкой заинтересовались в Министерстве по чрезвычайным ситуациям. Как это произошло?

— Еще в 2019 году я выступил на международной конференции TED в Казани, куда меня пригласили из акселератора в Иннополисе. Люди заинтересовались, Радий Хабиров, глава республики Башкортостан, написал у себя в соцсетях обо мне как о «нашем башкирском Цукерберге». Через некоторое время к нам обратились люди из МЧС. 

Тогда у нас еще не было нейронной сети для передачи сообщений от слепоглухого. Мы экспериментировали с азбукой Морзе. Мы встретились со спасателями, рассказали, что слепоглухой с помощью смарт-часов и нашего приложения может подавать сигнал бедствия: то есть зажать специальную клавишу и тем самым отправить информацию о себе в систему 112. Причем вместе с сообщением отправляется геолокация и карточка с информацией о человеке: адрес, группа крови, сопутствующие заболевания. Но тогда слепоглухой мог просто сообщить о какой-то проблеме — оператор не знал, что именно стряслось.    

Следующий контакт был уже в 2020 году, после внедрения нейросети. Мы пригласили на демонстрацию слепоглухого. Я в течение двух минут объяснил ему, как пользоваться приложением, после чего он написал и передал с помощью часов слово «Пожар». 

— То есть можно сказать, что демонстрация прошла успешно?

— Люди из МЧС были немного в шоке! Слепоглухой человек без подготовки отправил сообщение о беде, при этом уточнил, в чем именно заключается чрезвычайная ситуация.

— Что было дальше?

— Мы предварительно договорились о постепенной интеграции нашей системы в службу «112». Сейчас они заканчивают разработку своей части приложения, после чего нужно будет начать интегрировать наши приложения. Предполагается, что после завершения этого процесса, в сентябре этого года, мы уже подпишем необходимые контракты.    

— Сколько регионов будет охвачено?

— Все зависит от системы «112». Первым станет мой родной Башкортостан. Далее контрактов нет, но мы планируем до конца года подключить еще два региона.

— А дальше?

— Главная сложность здесь — заинтересовать чиновников. Но мы хотим распространить нашу систему на 45 регионов до конца 2025 года.

— Но ведь не каждый слепоглухой сможет позволить себе смарт-часы?

— Мы уже обсуждали с МЧС этот вопрос. Есть возможность, что МЧС само будет безвозмездно предоставлять каждому слепоглухому смартфон и смарт-часы с предустановленным приложением.

Тут проблема, что у нас пока не ведется учет слепоглухих. В стране их около 15-20 тысяч человек, но официально такой группы инвалидности нет. Некоторые из них формально являются глухими, некоторые — слепыми. Поэтому им, к примеру, происходят такие грустные «курьезы», когда слепоглухому дарят радио.

Цель — попасть в Пекин 

— Насколько мне известно, вашей разработкой заинтересовались не только в МЧС, но и в паралимпийском комитете.

— Да, у нас в Башкирии активно развивается паралимпийское движение, есть чемпионы Паралимпийских игр. И вот со стороны федерации возник интерес, ведь у многих спортсменов и так есть смарт-часы: они отслеживают сердцебиение, давление и так далее. Поэтому наш мессенджер можно было бы использовать для общения тренера и спортсмена.

Я сам десять лет занимался каратэ, участвовал в соревнованиях и хорошо помню, что у нас с тренером были специальные кодовые слова, которые обозначали те или иные приемы. Когда противник раскрывался, тренер кричал кодовое слово и я проводил атаку. Точно также можно действовать и во время соревнований паралимпийцев, только вместо голоса можно использовать мой мессенджер.

— А насколько конкретный интерес со стороны спортсменов? Уже были какие-то демонстрации, переговоры?

— Да, первый контакт был летом 2020 года, тогда мы просто говорили с тренерами в кабинете, я показывал возможность приложения. Этой весной я приехал на тренировочную базу в Башкортостане. Там уже были спортсмены: пловцы, байдарочники, легкоатлеты и другие. В этот раз я уже мог провести полноценные испытания.

Выяснилось, что в воде устройство работает плохо. Также не подходит оно для пинг-понга — во время партии там просто нет времени на подсказки с помощью часов. А вот легкоатлетов разработка заинтересовала больше — они и так бегают с часами. То же самое можно сказать про байдарочников.

— Есть ли шанс, что мы увидим часы с вашим приложением на руках российских спортсменов в Японии?

— К сожалению, не факт, что до олимпиады в Токио мы сможем внедрить систему: сейчас спортсмены слишком заняты подготовкой к стартам. А вот на зимней олимпиаде в Китае шансов больше. Кроме того, там больше видов спорта, которым может быть интересно наше приложение.     

«Скоро будешь?»

— Изначально вы разрабатывали приложение не как тревожную кнопку или средство коммуникации тренер-спортсмен. Вначале у вас была идея мессенджера, которым смогут пользоваться все слепоглухие. Как продвигается эта работа?

— Сейчас у нас есть патент на изобретение, но пока я не загрузили приложение в Google Play или App Store. Я хотел бы дождаться возможности выдать каждому слепоглухому умные часы бесплатно. Как я уже сказал, обсуждается возможность сделать это по линии МЧС.

— А у вашей разработки есть конкуренты?

— Главный конкурент — специальная клавиатура со шрифтом брайля, которую подключают к компьютеру, ноутбуку, телефону. Это большое устройство, которое носится в сумке, с его помощью читают книги, пишут статьи.

Преимущество нашего приложения именно в том, что оно позволяет быстро коммуницировать, не используя громоздкое и дорогое оборудование. Такая клавиатура стоит около 200 000 рублей. 

Мы же в мессенджерах не читаем книги, мы пишем «как дела?», «скоро будешь?» Именно для таких сообщений мы и собираемся работать. Я хочу заменить для слепоглухих мессенджеры вроде Telegram или WhatsApp. 

— Заменить или интегрироваться в них?

— Мы обсуждали этот вопрос и поняли, что все же лучше написать собственное приложение. Все же имеются ограничения с ботами, каналами, где есть большое количество текста. Плюс у нас более широкий функционал, который будет включать связь с МЧС.