За два года Даниил успел поучаствовать в нескольких научно-технических и инженерных конкурсах, съездить в Америку на крупнейшие конференции от Intel и Google — и занять там призовые места — переехать из родного Екатеринбурга в Санкт-Петербург и поступить на факультет информационных технологий и программирования Университета ИТМО по конкурсу ITMO.STARS.
Корреспондент ITMO.NEWS поговорил с талантливым первокурсником о его разработке, отношении к людям с ограниченными возможностями, перспективах уехать в США — и мотивах остаться в России.
Идея
Идея этого устройства пришла мне после того, как я прочитал новость о глухой женщине, у которой органы опеки забрали детей — посчитав, что она не сможет о них заботиться. Эта история сильно меня зацепила — я решил, что должен сделать что-то для того, чтобы такие ситуации больше ни с кем не случались.
Идея моего проекта в том, чтобы люди, использующие разные способы коммуникации (вербальные и невербальные, жестовые и устные), могли использовать привычные им способы выражения мыслей, при этом полностью понимая друг друга. Жестовый язык на данный момент является одним из самых популярных способов невербальной коммуникации, им пользуются многие глухие люди для общения между собой. Поэтому я начал разработку системы, которая переводила бы язык жестов в устную речь.
Первый прототип представлял собой систему из комплекса ИК-камер, датчиков и программного обеспечения, которое определяло положение рук по изображению с них. Камера просто вешалась на грудь человека — это было очень неудобно. Поэтому позже, в поисках более эффективной методики я пришел к электромиографии, которую используют в современных бионических протезах.
Электромиография — один из методов исследования активности мышц, основанный на записи их электромеханических импульсов. Мы можем установить датчик на конкретную точку руки или любой другой конечности и в реальном времени получать данные о том, как вела себя мышца, проходящая в этом месте. Моя система производит такие измерения по периметру предплечья — там находятся мышцы, отвечающие за движения кистей и пальцев, — собирает их на удаленный сервер, а потом с помощью искусственного интеллекта определяет закономерности между ними.
Текущий внешний вид устройства также появился не сразу, а претерпел множество итераций: в основном все эксперименты были связаны с уменьшением габаритов установки и удобством использования. Очевидно, что в реальной жизни никто не будет пользоваться громоздким обмундированием на половину руки. Первостепенная задача — сделать устройство более удобным и пригодным к повседневному использованию без потери качества функционала.
Сейчас для пользователя устройство выглядит как пара спортивных налокотников — они отслеживают сигналы механической активности мышц обеих рук. Затем моя система их анализирует, определяет, какой жест сейчас показывают руки пользователя, и переводит эти жесты в слова. Потом — благодаря нейросети — складывает их в законченные предложения, выводит на экран смартфона и озвучивает.
Презентация в Америке
С этим проектом я участвовал в двух конференциях Intel ISEF — первый раз я ездил еще в девятом классе, с первым прототипом, в котором использовалась камера. Забавно, что в судьях у меня был инженер-конструктор, создавший использованный мной комплекс камер и датчиков. Он сам когда-то участвовал в этой же конференции, будучи школьником, и поэтому теперь активно поощряет использование своих разработок в таких проектах. Второй раз я ездил уже с новым устройством, основанным на биопотенциалах тела, — и получил за него второе место. Это было очень волнительно, ведь приходилось целый день стоять возле своего стенда и рассказывать о проекте всем желающим вновь и вновь. Но зато было очень интересно услышать сразу множество мнений о разработке. Конференции были очень масштабные — только в моей категории (Systems Software) было около сотни проектов. Общее же число участников достигало полутора тысяч человек.
В прошлом году я ездил в Америку не один, а два раза: весной на Intel ISEF в Финиксе, Аризона, а летом на Google Science Fair — в Сан-Франциско. Перед поездкой на Intel ISEF я участвовал в «Балтийском научно-инженерном конкурсе», там же, кстати, меня заметил Анатолий Абрамович Шалыто, профессор из ИТМО, благодаря нему я учусь в этом университете. По итогам этого конкурса я во второй раз отобрался на ISEF.
На Google Science Fair система отбора была уже другая: первые отборочные этапы проходили онлайн, а на очный финал отобрали всего 15 лучших проектов, без разделения на категории. Уровень организации на обоих конкурсах был невероятный: организаторы помогали мне сделать визу, купили билеты, решили вопрос с размещением. Вообще, любой возникающий вопрос там решался за секунды. Нереально было видеть живые легенды, например, создателя протокола TCP/IP Винтона Серфа — он был у меня в судьях.
Работа в России
На Google Science Fair я попал в первую пятерку финалистов и получил премию Lego Education Builder на оплату обучения. Но мысли уехать учиться за границу, честно говоря, ни разу не возникало. Я не вижу в этом смысла — здесь у меня есть проект, над ним идет работа. Считаю, что как только появилась идея, надо сразу пробовать ее воплотить — с теми условиями, которые имеешь. Все мы боимся трудностей, но трудности надо уметь преодолевать. Это намного интереснее, чем ждать лучшего времени и лучшего места.
Тот факт, что в России менее комфортная и доброжелательная атмосфера для инвалидов, меньше возможностей для их реабилитации — возможно, как раз причина именно здесь разворачивать подобные проекты. Важно решать проблемы, которые есть прямо сейчас, чем работать в комфортных условиях, где многих проблем уже нет.
Я тесно сотрудничаю с Всероссийским Обществом Глухих — я презентовал им свой проект и получил от них подтверждение, что они заинтересованы в использовании таких технологий. Я собираю фидбек: что им требуется, как сделать устройство более удобным для них. Например, так в проекте появилась функция обратного перевода — голоса в текст. Таким образом коммуникация получается полной: человек не только может что-то сказать на языке жестов и быть понятым, но и может мгновенно получить ответ. Это давно существующая технология, но никто до этого не пытался ее внедрить и сделать удобной для использования глухими людьми.
Без таких рекомендаций и фидбека будущих пользователей этот проект просто не будет иметь смысла. Технология должна служить пользователю, а не пользователь технологии.
Коронавирус на языке жестов
У русского жестового языка есть что-то вроде регулярно обновляемого актуального словаря, поскольку он — как и любой другой язык — живет, постоянно развивается, дополняется и адаптируется под современные реалии. Например, в словаре уже есть жест для обозначения коронавируса.
То, что язык жестов интернациональный, — на самом деле большое заблуждение. Во всех странах общаются по-разному. На первых этапах мой переводчик базировался на амслене — словаре американского жестового языка, — поскольку я презентовал его на международной конференции. Сейчас мы более глубоко работаем с русским жестовым языком. В дальнейшем, конечно, планируем добавлять поддержку большего числа языков.
Под каждый язык нужно делать свой словарь, свой набор жестов — сейчас для меня это одна из самых трудоемких задач. Я собираю образцы с носителей: они показывают слова так, как они «произносят» их ежедневно. Я загоняю их в нейронную сеть и получаю что-то вроде классификатора — общего признака, который позволяет потом эти жесты интерпретировать. Я беру очень много образцов и все их маркирую — что чем является. На одно слово в среднем требуется две — три сотни образцов с разных людей.
Планы на учебу
Сейчас для завершения проекта, доработки его функционала есть ресурсы команды и инвестиции, в планах — выход на серийное производство. А мне этот проект позволил получить постоянную работу.
Мыслей забить на учебу нет, потому что я шел сюда восполнять те знания, которых мне не хватает для разработки. Мне очень часто приходится искать в интернете что-то, что нужно прямо сейчас для решения какой-то задачи, связанной с разработкой. Я же хочу иметь фундаментальные знания, на которые можно будет опираться в своей работе. Например, математика — очень сложная для самостоятельного изучения наука. Так как мое устройство наукоемкое, то для дальнейшего его совершенствования я собираюсь проводить научные исследования в рамках конкурсов научно-исследовательских работ для студентов и аспирантов, проводимых в университете.
Совмещать учебу с работой помогает то, что в данный момент мы учимся дистанционно — многие лекции можно смотреть в записи на ускоренном режиме. Помогает и сама структура курсов в ИТМО: часто на задания дается такой срок, что можно его быстро выполнить и потом иметь большое количество свободного времени. Так что пока что у меня получается совмещать, что будет дальше — посмотрим. Но времени на остальные дела и увлечения, конечно, остается мало.
Отношение к людям с ограниченными возможностями
У меня никогда не было какого-то особенного отношения к людям с ограниченными возможностями здоровья. Для меня они такие же обычные люди, как и все остальные. То, что кто-то использует другие способы коммуникации с миром, никак не характеризует самого человека. Вот только мир создает им трудности — тем, что никто больше не использует их способ коммуникации. А я бы хотел сделать так, чтобы все были на одной волне.
Возможно, в будущем в моих силах будет придумать что-то и для других категорий людей. Но вообще, я бы хотел продолжить не только социальную тему, но и тему улучшения качества жизни всех людей вообще. Я думаю, что уравнивание физических возможностей — это только первый шаг. Когда-нибудь все глухие будут прекрасно слышать, а слепые — прекрасно видеть, я верю, что такой момент определенно настанет. Тогда уже можно будет думать, как улучшать жизнь и всех остальных.
