Главная цель ICRES — это обмен идеями и решениями проблем в области преподавания, образования и коммуникационных технологий. Над проектом, который Софья Сорокина и Кришна Чаитаня представили на конференции, они работали почти год — с сентября 2020, а толчком к нему, конечно, стал массовый переход на дистант.
«Это была очень важная тема, которая касалась всех нас и поэтому всех волновала. Когда мы только начали обучаться онлайн, мы испытывали серьезные опасения по поводу качества нашего образования. Но с другой стороны, переход на дистант дал нам возможность собирать множество данных для нашего исследования. И, конечно же, основным стимулом было то, что мы хотели изменить качество онлайн-преподавания и верили, что можем помочь ему стать лучше», — рассказывает Софья Сорокина, магистрантка факультета цифровых трансформаций и инженер лаборатории «Когнитивная невербалика» Национального центра когнитивных разработок Университета ИТМО.
Софья Сорокина. Фото из личного архива
Проект представляет собой масштабное исследование связи между поведением преподавателей во время онлайн-занятий и уровнем удовлетворенности студентов (а также их успеваемости). В зону интересов молодых ученых входили именно невербальные характеристики: жесты, позы, интонации, скорость и громкость речи, длительность пауз, визуальный контакт.
«Мы нашли определенную связь между невербальными параметрами и тем, как воспринимают занятия студенты. Для этого мы использовали уже заранее натренированные модели, которые обучались детектировать жесты и позы в видеороликах от MIT, Гарварда, Стэнфорда и других престижных вузов. Мы применили их к лекциям, которые проводили преподаватели ИТМО в течение года, когда все обучение было переведено на дистант», — объясняет Пасала Кришна Чаитаня, магистрант факультета цифровых трансформаций.
Уровень удовлетворенности студентов измерялся на основе оценок, которые они давали после каждого онлайн-занятия. Сравнив их с извлеченными данными из видео занятий, авторы пришли к выводу, что именно в режиме онлайн жесты, внешний вид и поза преподавателя не имеет большого значения ведь большую часть лекции (около 70%) он демонстрирует презентацию и заранее заготовленные материалы. Также не столь важны скорость и громкость речи — ведь студенты могут самостоятельно отрегулировать их во время занятия или посмотреть запись в ускоренном режиме. Что действительно влияет на восприятие и усвояемость материала, так это интонирование речи — исследователи нашли очень сильную корреляцию именно по этому параметру.
«Изначально мы работали над другим проектом, где пытались сделать программу-расширение для Zoom, которая могла бы анализировать невербальные параметры говорящего. Для этого нужно было разработать модель, способную извлекать нужные нам данные из видео-потока. И затем мы поняли, что эту разработку можно использовать для сбора аналитики, которая могла бы быть полезна в организации онлайн-обучения в ИТМО», — добавляет Пасала Кришна Чаитаня.
Пасала Кришна Чаитаня. Фото из личного архива
Как признаются авторы, исследование еще не закончено — в будущем планируется не только дорабатывать его, но и расширять на другие сферы.
«Мы определенно будем развивать это исследование, будем добавлять больше параметров. У нас есть идеи, как можно применить наши результаты в других сферах: сейчас очень много где используют zoom, например, в переговорах или на собеседованиях. Так что мы попытаемся расширить наше исследование и на эти направления тоже. С образованием мы тоже продолжим работать — возможно, напишем рекомендации для преподавателей ИТМО», — комментирует Софья Сорокина.
Исследование является частью проекта, реализуемого в рамках конкурса НИРМА (научно-исследовательских работ магистрантов и аспирантов). Он направлен не только на оценку качества онлайн-преподавания, но в целом связан с технологиями распознавания максимально широкого спектра параметров говорящего — как вербальных, так и невербальных.
Аделина Исмагилова. Фото из личного архива
«Ребята, проведя свою часть исследования и показав отличные результаты, внесли значительный вклад в выполнение нашего общего проекта, направленного на создание web-сервиса, позволяющего “разобрать” запись онлайн-занятия на различные характеристики: качество презентации, интерпретация невербальных параметров, временные характеристики занятия и субъективные мнения студентов о нем», — рассказывает Аделина Исмагилова, руководитель НИРМА, магистрантка факультета инфокоммуникационных технологий и инженер лаборатории «Когнитивная невербалика» Национального центра когнитивных разработок Университета ИТМО
Но и этот проект не «вершина айсберга». Разработанные модели и алгоритмы определения эмоций, настроения, интонаций, поведения в целом и других невербальных параметров могут быть использованы в сервисе подбора кандидатов для HR-специалистов. Разработка такого сервиса также реализуется в лаборатории «Когнитивная невербалика» Национального центра когнитивных разработок Университета ИТМО.
