Что такое доказательное образование

Доказательная медицина — это подход, при котором врач опирается на достоверные научные доказательства эффективности лекарств и медицинских манипуляций ― проще говоря, назначает только такое лечение, эффективность которого доказана. По аналогии с этим, суть доказательного образования в том, что, например, при конструировании образовательных программ или новых методик, предпочтение нужно отдавать решениям, основанным на результатах исследований. Такой подход к образованию позволяет найти те способы, приемы, методики и задачи, которые приведут обучающихся к достижению поставленного образовательного результата, уверен главный психометрик «Яндекса» Дмитрий Аббакумов. Согласно исследованиям (приведены в книгах Джеффа Петти «Современное обучение. Практическое руководство» и Джона Хэтти «Видимое обучение. Синтез результатов более 50 000 исследований с охватом более 80 миллионов школьников»), студенты, чье обучение основано на доказательном подходе, получают более высокие оценки, лучше осваивают материал и быстрее приобретают навыки, чем студенты, обучение которых строится по традиционному подходу. 

Принято считать, что концепция доказательного образования появилась совсем недавно, в цифровую эпоху. Однако фундамент этой идеи возник более ста лет назад. Американский психолог Луис Терстоун в 1919 году придумал уравнение кривой обучения, которое описывает, как учатся студенты, с помощью статистического математического уравнения. Кривая обучения представляет собой график, отображающий взаимосвязь между мастерством людей в выполнении задач и количеством опыта или времени. Эта концепция до сих пор используется в образовании, например, в системах адаптивного обучения, которые подбирают образовательный контент для конкретных студентов. 

Основоположником доказательного образования в России был психолог Александр Нечаев, запустивший целое направление экспериментальной педагогики в 10-30-х годах двадцатого столетия. Он исследовал, как обучаются школьники с разными способностями, каких результатов достигают и как обучать их эффективно.

Для доказательного подхода в образовании важны три компонента. Это качественные данные, валидные статистические модели (когда скорость, интенсивность, способы обучения и другие образовательные процессы в модели максимально приближены к реальности) и интерпретируемость и прозрачность образовательных данных и моделей — как для создателей образовательного контента, так и для студентов. 

Трудности — ключ к формуле эффективной образовательной системы

В любом процессе обучения мы рано или поздно сталкиваемся с трудностями. Их можно разделить на случайные и системные. Со случайными, или индивидуальными, трудностями сталкиваются далеко не все обучающиеся или это происходит непостоянно. В отличие от них, системные, или групповые, трудности регулярно подстерегают большое количество людей. И если для преодоления первых достаточно давать обучающимся обратную связь, то при возникновении последних нужно менять образовательный подход, ведь их наличие ― это ясный сигнал, что в системе обучения есть проблемы.

Сегодня, чтобы бороться с системными трудностями, в разных сферах образования применяют общий подход. В его основе ― пересмотр контента курса или программы. Например, если при выполнении определенных заданий обучающиеся сталкиваются с системными проблемами, методисты, видя это, могут попробовать снизить сложность задач ― добавить дополнительные пояснения, подсказки или примеры. Но у такого подхода есть недостаток: трудности начинают прорабатываться только тогда, когда их накопится уже довольно много и произойдет эффект «снежного кома». Поэтому более эффективно было бы предупреждать и выявлять проблемы еще на раннем этапе прохождения курса или программы.

А что, если рассматривать все задачи как связанные элементы и представить, что обучающиеся ошибаются в конкретных задачах именно потому, что до этого не разобрались и в прошлых заданиях?  Чтобы разобраться в  этом вопросе, голландский психолог Сача Эпскамп разработал модель психометрической сети — она помогает анализировать связь различных процессов в образовательных и психологических системах. Например, позволяет выявить, как трудности в решении одной задачи могут быть связаны с трудностями в другой и что общего есть у этих задач. То есть помимо характеристики «трудность» он вводит еще и понятие «связность».

Одна из лекций Сачи Эпскампа, посвященная введению в психометрические модели

«Связность» определяет, как трудности в одних задачах вызывают сложности с другими. В психометрике к «связанным» относят два типа задач: на ключевой навык и на базовое понятие. Задачи на ключевой навык достаточно сложные, с ними справляется мало студентов, а ошибки в них провоцируют ошибки и в других задачах. Задачи на базовое понятие, наоборот, не очень трудные — с ними справляется большинство студентов, но те, кто ошибается, в дальнейшем испытывают трудности и с другими задачами. Способность справляться с задачами на ключевые навыки и на базовые понятия составляет фундамент обучения — именно на эти вопросы нужно обращать внимание, чтобы предотвратить дальнейшие проблемы в образовательном процессе. 

Сейчас методисты «Яндекса» на основе психометрической модели создают инструмент, который позволил бы анализировать трудности в обучении. Они адаптировали психометрическую модель Эпскампа так, чтобы использовать ее в тренажерах для обучения программированию. Эта модель позволяет анализировать не отдельные задачи в тесте, а всю совокупность попыток, длительность решения, его эффективность и другие параметры. Такую модель можно будет использовать для улучшения учебного контента, в поддержке или сопровождении студентов, а также в рекомендательных системах для повторения материала. 

Data-driven подход в ИТМО

Для учебной аналитики в ИТМО тоже собирают данные, на основе которых принимаются различные управленческие решения. Такой подход к управлению называется data-driven. Работает он так: представьте, что есть образовательная программа, по которой надо решить ― поддерживать ее, закрывать или модернизировать. Если мы опираемся на аналитику, то решение необходимо подтвердить фактами. Но при этом важно не только анализировать данные, но и оценивать эффективность и статистическую значимость принимаемых решений.

Святослав Орешин,

директор Центра учебной аналитики:

― Механизм принятия решений построен следующим образом: допустим, нам поступает запрос — много студентов отчисляется. Как отдел аналитики мы должны подтвердить или опровергнуть этот факт при помощи данных — если мы не сможем этого сделать, все решения будут приняты вслепую. Наша основная цель — это сохранять фокус на исходной проблеме и глобальных целях ИТМО, смотреть на факты. Для этого необходимо прийти к определенной системе метрик и OKR (метод управления, который позволяет синхронизировать командные и индивидуальные цели и обеспечить эффективный контроль над реализацией поставленных задач — прим. ред.), относящихся к нашей задаче, ведь если анализировать все подряд, то можно прийти практически к любым выводам. Именно поэтому важно сохранять объективность и уметь не только находить индикаторы проблемы, но и оценивать результаты принимаемых решений и их вклад в глобальные цели университета. Иначе, все произойдет, как в известном утверждении: «Without data you're just another person with an opinion».

Сегодня команда Центра учебной аналитики занимается тремя направлениями: ITMO.TRACK — индивидуальные образовательные траектории, ITMO.LENS — компьютерное зрение для умного кампуса, а также внедрением концепции «университет, основанный на данных». ITMO.TRACK позволяет строить индивидуальные траектории в образовании, объединяя фундаментальный университетский подход с EdTech подходом, который используют ведущие коммерческие образовательные компании (Skillbox, «Яндекс Практикум» и другие). 

«ITMO.TRACK — это продукт, который состоит из множества моделей машинного обучения и алгоритмов искусственного интеллекта “под капотом”. Мы переводим желания абитуриента, его карьерные и личные цели на язык, которым описаны учебные дисциплины. Это позволяет нам строить траектории обучения таким образом, чтобы максимизировать пересечение желаний пользователя с тем, что он по факту будет изучать при поступлении с учетом всех ограничений. Мы не только разработали алгоритмы и оболочку продукта, но и проделали большую работу по систематизации данных учебного процесса и составлению разметки дисциплин», — говорит Святослав Орешин.

Данные в ИТМО собирают на нескольких уровнях: всего университета, а также отдельного факультета, образовательной программы, дисциплины (предмета) и занятия. Эти данные бывают первичными (субъективными) и вторичными (объективными). Первичные собирают с помощью социологических опросов: например, в обходном листе выпускников спрашивают про трудоустройство и на основе этого оценивают образовательную программу. Но такой метод имеет недостатки: среди них ― сложность и невоспроизводимость сбора данных, субъективность. Поэтому специалисты Центра учебной аналитики стремятся использовать более объективные и универсальные подходы. 

Вторичные (неинвазивные) данные собирают с помощью информационной системы университета (ИСУ). Она содержит информацию о преподавателях, студентах, движении контингента (процедуры зачисления, отчисления, выпуска, восстановления студентов и другие) и другую. На основании этих данных можно составить цифровые портреты участников процесса — динамические векторы, которые описываются сотнями различных признаков. Это значительно упрощает процессы проверки гипотез, обучения и внедрения моделей машинного обучения.