— Сейчас вы работаете сразу над несколькими проектами, которые призваны помочь людям с ограниченными возможностями здоровья. Расскажите, пожалуйста, про них подробнее: какие задачи они решают?
— Мой основной проект — «ОповестИИтель». Это мобильное приложение на основе искусственного интеллекта, которое анализирует звуковые сигналы в окружающей среде и предупреждает пользователей о возможных опасных ситуациях: сигналах тревоги, сирене, звуках катастроф и прочем. Целевая аудитория приложения — глухие и слабослышащие. Но приложение подойдет и людям без нарушений слуха — например, тем, кто сидит в наушниках и не слышит окружающих звуков.
Чтобы распознавать угрозу, приложение сначала очищает записи от ненужных шумов с помощью фильтров, а затем передает его на обработку модели искусственного интеллекта, который распознает и классифицирует звуки опасности. В результате на телефон пользователя приходит уведомление в виде текста, звука и уникального виброотклика, который для каждого сигнала свой.
Следующий проект — Quick-Alert. С его помощью я хочу помочь людям, которые из-за проблем со здоровьем (нарушений слуха или других заболеваний) не могут вызвать экстренные службы самостоятельно. Сначала я хотел создать продукт, который позволит написать текстовый запрос и озвучит его экстренной службе с помощью синтезатора речи. Позже я понял, что при плохом самочувствии у человека нет времени на то, чтобы печатать что-то на клавиатуре, и тогда решил разработать более простое решение, в котором сеанс вызова службы должен тратить не больше минуты.
Мобильное приложение основано на контекстных командах, а все элементы меню озвучиваются скринридерами. Внешне оно очень простое и представляет собой меню из плиточек, каждая из которых — это определенная служба: полиция, пожарная служба, газовая служба, скорая помощь. После выбора службы открывается следующее меню, в котором нужно выбрать запрос — и так до тех пор, пока он не будет максимально точным. Если человек хочет вызвать скорую, он формулирует, что именно случилось: болит сердце, голова, живот и так далее. После этого он попадает в меню с контекстными командами уже по конкретной тематике, где тоже нужно сделать выбор: «высокое давление», «внутреннее кровотечение» и так далее. Все эти параметры позволяют за несколько секунд «натапать» полную картину происходящего. В конце привязывается геолокация пользователя (также человек может сам указать более точный адрес) и его идентификатор с Госуслуг, чтобы предотвратить ложные вызовы. Готовая заявка отправляется в экстренную службу, где специалист расшифровывает сообщение и направляет вызов бригаде помощи.
Третий проект, Keypoint, — тренажер печати на клавиатуре для слепых и слабовидящих. Мы с командой начали разрабатывать его совсем недавно, в октябре. Наш тренажер учит пользоваться клавиатурой, повышая скорость печати и уменьшая количество ошибок. Даже если человек абсолютно ничего не видит, то с помощью нашего приложения может запомнить расположение клавиш на клавиатуре и уверенно печатать без каких-либо ограничений. В приложении есть разные режимы: можно писать как слова и предложения, так и случайные символы, буквы, комбинации клавиш и другое. Программа работает в связке со встроенным синтезатором речи, который озвучивает задание (что нужно написать) и результат (что получилось, правильно или неправильно).
Изображение из личного архива Дмитрия Васильева
— Какие результаты вам уже удалось получить?
— Проект «ОповестИИтель» уже использует Ресурсный учебно-методический центр Северо-Западного федерального округа при Череповецком государственном университете — любой желающий может прийти к ним и установить приложение. По статистике, его скачали уже около 600 человек. Кроме того, у приложения есть постоянные тестеры — команда из примерно 20 человек. Программой пользуются как люди с нарушениями слуха, так и без них — например, студенты, которые работают в наушниках или в лаборатории, где есть звукоизоляция и ограничен доступ, а потому во время каких-то опасных ситуаций их никто не сможет оповестить.
Второе приложение находится на стадии MVP, его тестировали несколько человек. С технической стороны оно уже почти готово для использования, но пока у нас нет договоренностей с экстренными службами.
Третье приложение Keypoint тоже на стадии MVP: мы прошли больше половины пути по его созданию, но пока есть несколько нерешенных задач. Сейчас мы разрабатываем графический интерфейс. Мои одногруппники, полностью потерявшие зрение, проходили первую волну тестирования — они проверяли, как работает приложение, давали свои рекомендации.
— А с чего началась разработка проектов ― почему вы в принципе решили заниматься этой тематикой?
— Как и у целевой аудитории моих приложений, у меня тоже есть некоторые ограничения по здоровью — у меня глазной альбинизм и потому слабое зрение. Еще с детства я стал замечать несправедливость и сам испытывал некоторые трудности. Например, еще в школе я заметил, что некоторые не очень хорошо относятся к людям с инвалидностью. Из-за проблем со зрением даже с первой парты я не видел доску — приходилось фотографировать и рассматривать в приближении. Я привык, и сейчас мне не нужны какие-то дополнительные средства, кроме собственной техники.
Но в нашей стране есть много других социально незащищенных групп населения с ограничениями здоровья — причем незащищенных не только с точки зрения каких-то государственных программ реабилитации. Чтобы жить комфортно, им не хватает повседневных технологий и нужны специальные цифровые решения.
Прочитайте также:
— Вам кто-то помогал с разработкой?
— Вообще я разработчик-одиночка. Но с внедрением первого приложения мне сильно помог центр сопровождения лиц с инвалидностью РУМЦ СЗФО: организация предоставляла данные для проектирования программного обеспечения, площадку для тестирования и демонстрации продукта. Там же мне помогли с методическими рекомендациями для второго проекта.
Третий проект я делаю вместе с одногруппниками — Алексеем Любимовым и Даниилом Захаровым. Они имеют нарушения зрения, а потому сами пользуются подобными программами и понимают, как сделать приложение удобным для целевой аудитории. Также в нашей команде есть наставник от проекта «Я делаю» Анастасия Горбачева, которая учится в СПбПУ.
Дмитрий на презентации проекта «ОповестИИтель». Фото из личного архива собеседника
— Вы окончили бакалавриат Череповецкого госуниверситета. Почему в магистратуру вы решили поступать именно в ИТМО?
— Мои товарищи из ИТМО поделились трансляцией с презентации программы «Программирование для незрячих и слабовидящих». Мне понравилось — думаю, что такие программы сильно двигают инклюзию вперед. Кроме нее, я подавался на другие программы в ИТМО и ВШЭ в Москве, но все-таки на мой выбор повлияло социальное направление программы. Я подумал, что здесь развивать социальные проекты будет намного легче.
Прочитайте также:
В ИТМО запускается первая в России магистратура по программированию для незрячих и слабовидящих
— Что дает вам обучение в университете? Помогают ли вам здесь развивать ваши проекты?
— В ИТМО заинтересованы моим третьим проектом, который я делаю вместе с одногруппниками, и готовы помогать. Но будет здорово, если в университете больше людей узнают о моих проектах и заинтересуются этими приложениями ― это поможет найти разработчиков. В ИТМО много разноплановых специалистов: и ребята с программы по мобильным облачным технологиям, и те, кто работает с языками для мобильных платформ — Swift и Kotlin. Будет здорово, если получится вместе доработать текущие решения на платформе iOS и создать подобные приложения для устройств с Android.
— Как планируете дальше развивать проекты?
— Сейчас я работаю над второй версией приложения «ОповестИИтель» — например, уже улучшил фильтры. Я считаю, что приложение, которое отвечает за жизнь человека, не должно ошибаться, а потому хотелось бы создать наиболее точный классификатор сигналов.
Еще мы разрабатываем следующую стадию приложения — технологию, которая позволит выводить человека из опасной обстановки — например, из горящего здания. Если проект получит разрешение, мы сможем сделать целую систему, которая способна не только уведомить человека об опасной ситуации, но еще и вывести из нее.
Также мы пытаемся связаться со специальными органами и службами МЧС, чтобы стандартизировать сигналы оповещений об опасных ситуациях. У нас большая страна, и каждое учреждение в разных городах использует разные сигналы. Нам нужно привести их к единому стандарту, чтобы ИИ распознавал звуки тревоги наиболее эффективно.
И наконец, мы работаем над добавлением частотно-временных меток во все сигналы, чтобы облегчить работу приложения: благодаря меткам мы сможем обойтись классическими алгоритмами классификации. Это позволит снизить энергопотребление приложения и использовать программу на маленьких портативных девайсах — не мощных Apple watch, а в каких-нибудь браслетах типа Mi Band.
В будущем я надеюсь разместить приложение в открытом доступе — пока жду, когда у Apple появится возможность загружать приложение через сторонние магазины, так как сейчас нет возможности опубликовать приложение в AppStore и его нужно устанавливать через подписание доверенного сертификата.
В приложении Quick-Alert в первую очередь нам нужны веб-служба и сервер, на который будут падать сообщения и распределяться по центрам в зависимости от местоположения пользователя. Также мы планируем связаться с экстренными службами и доработать систему контекстных команд, чтобы они были максимально понятны сотрудникам служб. В будущем мы планируем расширить работу приложения до офлайна, чтобы даже при отсутствии интернет-соединения заявка передавалась через службу смс-сообщений.
Что касается Keypoint, уже в ближайшее время мы бы хотели внедрить его в образовательные организации, где учатся люди с нарушением зрения, а также сделать программу доступной для всех. В будущем мы бы хотели анализировать статистику ввода и формировать рекомендации по обучению.
Главный экран приложения (слева), одна из выборок контекстных команд (справа). Источник: Приложение QuickAlert
Приходящий запрос от приложения на сервер. Источник: Приложение QuickAlert
― Что нужно для того, чтобы все эти планы осуществились ― кроме расширения команды?
― Сейчас я сам финансирую свои проекты, поэтому кроме человеческих ресурсов, я бы хотел получить и финансовую помощь. В ближайших планах — получить поддержку от государства, чтобы продолжать развивать и внедрять свои проекты.
Кстати, этим летом я начал работать над еще одним проектом — приложением для определения лекарственных средств при помощи NFC-меток. Суть такая: в NFC-метку мы зашиваем название лекарственного препарата и создаем счетчик. Когда человек подносит препарат к телефону, то программа озвучивает название препарата и человек может выбрать функцию «принять лекарство». Приложение запоминает, какое количество раз за день человек принял лекарство, и каждый раз напоминает, если человек хочет принять его вновь. Также планируется интеграция приложения с медицинскими сервисами, с помощью которых пользователь сможет подбирать нужные препараты и их дозировку. Это приложение будет полезно людям с нарушениями зрения и проблемами с памятью.
В будущем мне бы хотелось разработать единый сервис для людей с ограниченными возможностями здоровья, который будет включать множество решений, в том числе «ОповестИИтель», Quick-Alert и программу для определения лекарств при помощи NFC-меток. Это будет общая экосистема с доступом к разным инклюзивным технологиям. Пользователь сможет сам выбрать, что ему нужно: вызвать скорую помощь, отсканировать лекарства или включить систему мониторинга окружающего звука. Я бы хотел наполнить этот сервис и другими приложениями — для этого только нужна команда разработчиков.
— А есть ли у вас личная мечта?
— Когда я только начинал работать над приложениями, то не представлял, во что это выльется и какой результат принесет. Думал, что максимум ― получится интересный проект, который останется лежать в виде черновика на GitHub, из которого студенты смогут повырывать код для своих лабораторных работ. Я не рассчитывал, что мои приложения будут иметь какой-то спрос.
Теперь я мечтаю довести до конца свои приложения, соединить их в единый сервис и увидеть первых пользователей из магазина приложений: первые сто, тысячу, миллион человек. Тогда я буду знать, что помог кому-то. Круто, когда твой продукт не только работает и приносит какую-то прибыль, но еще и помогает людям. Наверное, это одно из самых лучших чувств для человека, который днями и ночами разрабатывал это приложение.
