Speech Up — это виртуальный помощник для тренировки навыка публичных выступлений. В его основе — разработанные командой стартапа нейросети, которые умеют анализировать речь, мимику, эмоции, манеру держаться, вычленять слова-паразиты и даже находить когнитивные искажения в суждениях (например, предубеждения или стереотипы).
Как рассказывает Юлия Хлюпина, участница команды стартапа, идея создать приложение пришла из личного опыта. Так как учеба и научная работа — это в том числе выступления на конференциях, семинарах и защитах проектов — ей часто нужно было преодолевать страх выступать перед публикой. Общение же с коллегами подтвердило, что почти каждый сталкивается с трудностями в самопрезентации.
Приложение работает так: пользователь записывает на веб-камеру свою речь (или загружает уже готовое видео). Затем искусственный интеллект исследует качество выступления и выдает оценку по пяти критериям: связность речи, ее ясность, динамизм, убедительность и соблюдение коммуникативных норм (то есть наличие слов-паразитов или агрессивность подачи). Причем система рассматривает не только отдельные параметры, но и всю совокупность факторов одновременно.
Далее человек получает подробную интерактивную аналитику и рекомендации, над чем именно следует поработать, — все они основаны на методиках психологов и экспертов по публичным выступлениям. При регулярных занятиях формируется статистика, по которой можно отследить прогресс.
«Для определения громкости или темпа речи не нужны нейросети. Но вот распознать такие сложные характеристики вроде уверенности, убедительности, конгруэнтности (согласованность эмоций, выражаемых человеком с помощью мимики и речи, с текстом выступления) оказалось подвластно только искусственному интеллекту. Для всех этих интегральных параметров мы использовали нейросетевые архитектуры, которые работают с мультимодальными данными из нескольких источников: видеоряда, звуковой дорожки и текстовой расшифровки», — отмечает Юлия Хлюпина.
Юлия Хлюпина. Источник: Поколение Tech I Бизнес для молодежи / vk.com/generationtech
Для создания нейросетей был собран датасет из более чем 64 часов видеозаписей интервью и 2,5 тысяч текстов. А к работе над его разметкой была привлечена большая команда лингвистов и психологов.
Стартап Юлии — это результат ее обучения в магистратуре Факультета цифровых трансформаций ИТМО. Этот же проект она защитила по программе «Стартап как диплом». Летом прошлого года команда проекта стала участником полугодовой программы SberStudent. А уже осенью была готова рабочая версия — первые пилоты прошли среди сотрудников нескольких компаний, а также участников акселераторов НТИ, Высшей школы экономики.
С этим проектом Юлия также приняла участие в телешоу «Гонка стартапов» на телеканале «Пятница!». Там она выполняла задания от звездных экспертов — результатом стало выступление на Демо-дне. После успешного выступления на Демо-дне SberStudent приложением заинтересовалась и сама корпорация — в ближайшее время запустится тестирование сервиса в Сбере.
