Главная цель ICRES — это обмен идеями и решениями проблем в области преподавания, образования и коммуникационных технологий. Над проектом, который Софья Сорокина и Кришна Чаитаня представили на конференции, они работали почти год — с сентября 2020, а толчком к нему, конечно, стал массовый переход на дистант. 

«Это была очень важная тема, которая касалась всех нас и поэтому всех волновала. Когда мы только начали обучаться онлайн, мы испытывали серьезные опасения по поводу качества нашего образования. Но с другой стороны, переход на дистант дал нам возможность собирать множество данных для нашего исследования. И, конечно же, основным стимулом было то, что мы хотели изменить качество онлайн-преподавания и верили, что можем помочь ему стать лучше», — рассказывает Софья Сорокина, магистрантка факультета цифровых трансформаций и инженер лаборатории «Когнитивная невербалика» Национального центра когнитивных разработок Университета ИТМО.

Софья Сорокина. Фото из личного архива

Софья Сорокина. Фото из личного архива

Проект представляет собой масштабное исследование связи между поведением преподавателей во время онлайн-занятий и уровнем удовлетворенности студентов (а также их успеваемости). В зону интересов молодых ученых входили именно невербальные характеристики: жесты, позы, интонации, скорость и громкость речи, длительность пауз, визуальный контакт.

«Мы нашли определенную связь между невербальными параметрами и тем, как воспринимают занятия студенты. Для этого мы использовали уже заранее натренированные модели, которые обучались детектировать жесты и позы в видеороликах от MIT, Гарварда, Стэнфорда и других престижных вузов. Мы применили их к лекциям, которые проводили преподаватели ИТМО в течение года, когда все обучение было переведено на дистант», — объясняет Пасала Кришна Чаитаня, магистрант факультета цифровых трансформаций.

Уровень удовлетворенности студентов измерялся на основе оценок, которые они давали после каждого онлайн-занятия. Сравнив их с извлеченными данными из видео занятий, авторы пришли к выводу, что именно в режиме онлайн жесты, внешний вид и поза преподавателя не имеет большого значения  ведь большую часть лекции (около 70%) он демонстрирует презентацию и заранее заготовленные материалы. Также не столь важны скорость и громкость речи — ведь студенты могут самостоятельно отрегулировать их во время занятия или посмотреть запись в ускоренном режиме. Что действительно влияет на восприятие и усвояемость материала, так это интонирование речи — исследователи нашли очень сильную корреляцию именно по этому параметру.

 «Изначально мы работали над другим проектом, где пытались сделать программу-расширение для Zoom, которая могла бы анализировать невербальные параметры говорящего. Для этого нужно было разработать модель, способную извлекать нужные нам данные из видео-потока. И затем мы поняли, что эту разработку можно использовать для сбора аналитики, которая могла бы быть полезна в организации онлайн-обучения в ИТМО», — добавляет Пасала Кришна Чаитаня.

Пасала Кришна Чаитаня. Фото из личного архива

Пасала Кришна Чаитаня. Фото из личного архива

Как признаются авторы, исследование еще не закончено — в будущем планируется не только дорабатывать его, но и расширять на другие сферы.

«Мы определенно будем развивать это исследование, будем добавлять больше параметров. У нас есть идеи, как можно применить наши результаты в других сферах: сейчас очень много где используют zoom, например, в переговорах или на собеседованиях. Так что мы попытаемся расширить наше исследование и на эти направления тоже. С образованием мы тоже продолжим работать — возможно, напишем рекомендации для преподавателей ИТМО», — комментирует Софья Сорокина.

Исследование является частью проекта, реализуемого в рамках конкурса НИРМА (научно-исследовательских работ магистрантов и аспирантов). Он направлен не только на оценку качества онлайн-преподавания, но в целом связан с технологиями распознавания максимально широкого спектра параметров говорящего — как вербальных, так и невербальных.

Аделина Исмагилова. Фото из личного архива

Аделина Исмагилова. Фото из личного архива

«Ребята, проведя свою часть исследования и показав отличные результаты, внесли значительный вклад в выполнение нашего общего проекта, направленного на создание web-сервиса, позволяющего “разобрать” запись онлайн-занятия на различные характеристики: качество презентации, интерпретация невербальных параметров, временные характеристики занятия и субъективные мнения студентов о нем», — рассказывает Аделина Исмагилова, руководитель НИРМА, магистрантка факультета инфокоммуникационных технологий и инженер лаборатории «Когнитивная невербалика» Национального центра когнитивных разработок Университета ИТМО

Но и этот проект не «вершина айсберга». Разработанные модели и алгоритмы определения эмоций, настроения, интонаций, поведения в целом и других невербальных параметров могут быть использованы в сервисе подбора кандидатов  для HR-специалистов. Разработка такого сервиса также реализуется в лаборатории «Когнитивная невербалика» Национального центра когнитивных разработок Университета ИТМО.