Частота взаимодействий и сигналы активного обучения

Это инженерные рекомендации, а не юридическая консультация. Уточняйте детали у квалифицированного юриста.

Коротко

Время просмотра показывает, что видео воспроизвели, но не показывает, думал ли учащийся, – а это постоянно расходится. Сигналы взаимодействия (ответ на вопрос внутри видео, заметка своими словами, заданный вопрос, ответ другому учащемуся) – наблюдаемые действия, за которыми стоит более глубокая умственная работа. Исследования обучения (фреймворк ICAP) ранжируют их так: диалог сильнее создания, создание сильнее манипуляции, манипуляция сильнее пассивного восприятия. Но есть нюанс: сырая частота взаимодействий – такая же пустая метрика, как время просмотра. Три рефлекторных клика не равны одному объяснению своими словами, поэтому собирать нужно тип взаимодействия, а не только количество. В статье – какие сигналы собирать, что предсказывает каждый и как записывать их средствами стандартов обучения (глаголы xAPI, interactions SCORM, события IMS Caliper), чтобы дашборд «активного обучения» опирался на доказательства, а не на подсчёт кликов.

Почему это важно

Если вы делаете или развиваете обучающий продукт, ваш дашборд вовлечённости, скорее всего, начинается с времени просмотра и завершения, а оба показателя бывают высокими при слабом обучении. Учащийся может прокрутить лекцию до конца в фоновой вкладке и ничего не усвоить. Сигналы взаимодействия – самый дешёвый надёжный способ убедиться, что учащийся действительно думал, и исследования раз за разом показывают: активные действия предсказывают результат обучения лучше, чем одно лишь время на задаче. Статья продолжает материалы Вовлечённость в видео: время просмотра, отток и повторы и Аналитика обучения в части активного обучения. Прочитайте её до того, как решите, какие события будут отправлять плеер и платформа: доработка трекинга взаимодействий после запуска означает переделку плеера.

Время просмотра доказывает воспроизведение, а не мышление

Начнём с метрики, которую показывает каждый обучающий продукт, и с того, почему её недостаточно. Время просмотра (сколько видео воспроизвёл учащийся) разобрано в статье Вовлечённость в видео, и для диагностики контента оно действительно полезно: показывает, где уходят и что пересматривают. Но как доказательство обучения оно слабое: оно фиксирует, что учащийся был перед экраном, а не что он прилагал усилия. Воспроизведение видео происходит с учащимся, а обучение – это то, что учащийся делает сам.

Разрыв легко показать на примере. Две группы смотрят один и тот же десятиминутный урок, у обеих среднее время просмотра около 95%, то есть по этой метрике вовлечённость одинаковая. Группа A только смотрела. Группа B ответила на три коротких вопроса, встроенных в видео, и записала несколько заметок своими словами. На итоговом тесте группа A набирает в среднем 68%, группа B – 90%. Разрыв в 22 пункта (90 − 68 = 22) метрика времени просмотра не заметила: она не видит единственного, чем группы различались, – что каждая делала, пока шло видео. Цифры не выдуманы: они повторяют известный эксперимент с тестами во время лекции, к которому мы вернёмся ниже [2].

Значит, нужны сигналы, которые эту разницу видят (сигналы взаимодействия), и их нужно упорядочить, потому что взаимодействия неравноценны.

Лестница активного обучения: как ранжировать сигналы

Чтобы ранжировать сигналы взаимодействия, нужна теория, объясняющая, почему одни взаимодействия помогают больше других. Самая полезная из них в науке об обучении – фреймворк ICAP, который Микелин Чи и Рут Уайли опубликовали в 2014 году [1]. Название складывается из четырёх режимов: Interactive, Constructive, Active и Passive. Главное для продуктовой команды: ICAP классифицирует вовлечённость по наблюдаемому действию учащегося, то есть по тому, что он реально делает, а не по внутреннему состоянию, которое не измерить [1]. Наблюдаемое действие программа может записать как событие, поэтому идея из когнитивной науки оказывается готовой схемой для слоя аналитики.

Каждый режим – ступень лестницы, и каждую можно описать одним словом [1]:

• Passive – получение. Учащийся обращён к материалу и воспринимает его, больше ничего не делая: смотрит видео, слушает лекцию. Это ступень времени просмотра.
• Active – манипуляция. Учащийся совершает физическое действие с контентом, выбирает или меняет что-то в нём: ставит паузу, перематывает и пересматривает фрагмент, выделяет фразу, делает дословные заметки, повторяющие сказанное.
• Constructive – создание. Учащийся создаёт что-то, выходящее за пределы данного материала: заметки своими словами, объяснение самому себе, концепт-карту, вопрос о том, что осталось непонятным.
• Interactive – диалог. Двое учащихся (или учащийся и компетентный наставник) по очереди развивают мысли друг друга, и рождаются идеи, которых не было ни у кого по отдельности: содержательное обсуждение, взаимное обучение, дебаты.

Гипотеза ICAP: обучение растёт по мере подъёма по лестнице, Interactive > Constructive > Active > Passive [1]. Чи и Уайли подкрепляют её рядом лабораторных и аудиторных исследований; на практике для нас важна сама иерархия. Учащийся, который только смотрит (Passive), стоит на нижней ступени; повтор или выделение (Active) – шаг вверх; заметка своими словами или заданный вопрос (Constructive) – ещё выше; настоящее обсуждение (Interactive) – вершина. Сигналы взаимодействия стоит взвешивать так же: ответ в обсуждении говорит об обучении больше, чем рефлекторная пауза.

Нажмите, чтобы увеличить

Здесь есть важная оговорка. Режим определяется тем, что учащийся делает с контентом, а не названием функции. Заметки могут быть Active (дословная копия слайда) или Constructive (идея, пересказанная своими словами): одна функция, две разные ступени [1]. Квиз может быть Active (узнать верный ответ среди четырёх вариантов) или подталкивать к Constructive (короткое письменное объяснение). Поэтому тип взаимодействия важнее количества, и на этом строится главное предупреждение следующего раздела.

Какие сигналы стоит собирать и что предсказывает каждый

Вот сигналы взаимодействия, которые обучающий видеопродукт реально может собрать, примерно снизу вверх по лестнице ICAP. Каждый из них – наблюдаемое действие, соответствует определённому режиму и предсказывает своё.

Управление видео: пауза, перемотка, повтор, скорость. Это сигналы режима Active: учащийся манипулирует контентом. Скопление пауз и перемоток на одном фрагменте – та самая точка повтора из статьи Вовлечённость в видео: она отмечает либо ценный момент, либо путаницу. Сам по себе повтор – слабый сигнал обучения, но рядом с неверным ответом он становится сильным сигналом путаницы [10].

Попытки квизов и вопросов внутри видео. Это самый ценный сигнал из тех, что большинство продуктов может собрать дёшево. Ответ на вопрос – это извлечение из памяти (retrieval practice): сам акт припоминания укрепляет память. Число, которое стоит запомнить, – из эксперимента Szpunar, Khan и Schacter (2013): учащиеся, которым по ходу онлайн-лекции давали короткие тесты, набрали на итоговом тесте 90% против 76% у группы, которая просто повторно изучала тот же материал, и 68% у группы без тестов [2]. Тестируемая группа к тому же реже отвлекалась и делала больше заметок [2]. Обзор Брэйм об учебном видео приходит к тому же выводу: вставленные вопросы – один из самых надёжных способов превратить пассивный просмотр в активное обучение [3]. Записывайте не только факт попытки, но и ответ, его правильность и затраченное время.

Заметки и аннотации. Заметки, выделения и закладки – классический сигнал на границе Active и Constructive. Вся ценность в различии: выделение или дословная заметка – это Active, а заметка своими словами – Constructive, и она предсказывает более глубокое понимание [1]. Продукт может подталкивать учащихся вверх по лестнице, предлагая записать мысль своими словами, а не только выделить маркером. Сами функции аннотаций разобраны в статье Заметки, закладки и аннотации учащихся.

Заданные вопросы. Учащийся, который пишет вопрос, создаёт что-то за пределами материала. Это Constructive-действие и особенно честный сигнал: он отмечает точное место, где сломалось понимание. Если считать вопросы на урок и группировать их по таймкоду, команда контента увидит фрагменты для перемонтажа гораздо точнее, чем по одной кривой оттока.

Обсуждение и взаимодействие с другими учащимися. Ответы в ветке обсуждения, взаимное рецензирование и групповые задания – ступень Interactive, вершина лестницы, если обмен содержательный и строится на диалоге, а не на однострочных «отличный пост» [1]. Это самые сильные сигналы обучения из тех, что можно собрать, и самые трудные: качество здесь важнее количества сильнее, чем где-либо ещё.

На больших объёмах данных эти активные действия проявляются как предикторы: исследования логов обучающих платформ раз за разом показывают, что добровольные попытки формирующих квизов и участие в обсуждениях связаны с успехом по курсу надёжнее, чем сырое время на платформе [9]. Время просмотра не бесполезно, но оно стоит у основания лестницы, а дашборд должен подниматься выше.

Нажмите, чтобы увеличить

Частота против качества: ловушка пустой метрики

Теперь об ошибке, которая дала статье название. Узнав, что взаимодействия предсказывают обучение, команды хватаются за самый простой вариант – частоту взаимодействий, то есть сырой подсчёт кликов, пауз и ответов на учащегося – и считают, что чем больше, тем лучше. Это та же ловушка, что и с временем просмотра, только на ступень выше. Высокий счётчик взаимодействий может означать глубокую вовлечённость, а может – учащегося, который кликает наугад, пересматривает, потому что запутался, или накручивает балл за активность.

ICAP исправляет это: обучение предсказывает глубина, а не количество [1]. Сравним двух учащихся. Учащийся X ставит видео на паузу восемь раз и пересматривает два фрагмента: десять событий режима Active, внушительный счёт. Учащийся Y ставит паузу дважды, но пишет две заметки своими словами и отвечает на три вопроса внутри видео: семь событий, из которых пять – заметки своими словами и ответы с извлечением из памяти. По частоте X «взаимодействовал» больше (10 событий против 7). По ICAP работу, которая ведёт к обучению, сделал Y. Дашборд, который ставит X выше Y, измеряет движение, а не мышление.

Выход – взвешивать сигналы по режиму, а не сваливать их в одну кучу. Простая и обоснованная схема присваивает каждому записанному событию вес (скажем, Passive 0, Active 1, Constructive 3, Interactive 5) и показывает взвешенную сумму рядом с сырым счётом. Тогда учащийся, который объясняет своими словами и участвует в обсуждении, опережает того, кто только кликает. Конкретные веса вы настраиваете сами, принцип остаётся. Показывайте состав взаимодействий, а не только их объём: вопрос «какая доля вовлечённости этого учащегося пришлась на Constructive и выше?» соответствует науке. И никогда не делайте счётчик взаимодействий частью оценки без проверки качества: так вы быстрее всего научите людей кликать ради баллов.

Как записывать сигналы взаимодействия: стандарты

Формат трекинга взаимодействий не изобретают: выбирают стандарт и отправляют события в него. От выбора зависит, что вообще будет означать «взаимодействие» в вашем продукте, поэтому делайте его до сборки плеера. Здесь важны четыре стандарта, и они не взаимозаменяемы.

xAPI (Experience API). Современный стандарт, который записывает учебный опыт простыми предложениями. Утверждение xAPI строится по схеме actor – verb – object: «Мария answered Вопрос 3», «Мария commented Урок 4». Эти утверждения попадают в Learning Record Store (LRS – база данных для утверждений xAPI). Для сигналов взаимодействия xAPI подходит лучше всего, потому что допускает любой глагол (answered, commented, asked, noted, interacted), а не фиксированный список. Деталь, которую часто пересказывают неверно: сама спецификация xAPI резервирует только один глагол – voided (для отмены ошибочного утверждения). Все остальные, включая answered и interacted, берутся из управляемых словарей ADL и профессиональных сообществ, а не из ядра спецификации [4]. Эта открытость и есть преимущество: она позволяет описать заданные вопросы и обсуждения, которых не предусматривал ни один более старый стандарт.

Вот весь механизм в одном утверждении: учащийся отвечает на вопрос внутри видео, и результат со временем ответа делают событие пригодным сигналом. Учащийся здесь обозначен псевдонимным аккаунтом платформы, а не e-mail; к этому вернёмся в разделе об ошибках:

{
  "actor": { "account": { "homePage": "https://lms.example.org", "name": "u-48213" } },
  "verb": {
    "id": "http://adlnet.gov/expapi/verbs/answered",
    "display": { "ru-RU": "ответил" }
  },
  "object": { "id": "https://courses.example.org/video/42#q3" },
  "result": { "success": true, "response": "B", "duration": "PT8S" },
  "context": { "registration": "f1e2d3c4-0000-4a5b-8c9d-000000000001" }
}

SCORM. Более старый стандарт упаковки и трекинга, разобранный в статье SCORM: объяснение, умеет отслеживать взаимодействия. В его модели данных времени выполнения есть коллекция cmi.interactions: она записывает элементы теста с типом (choice, fill-in, performance, likert и ещё несколько), ответ учащегося, его правильность и задержку до ответа [5]. То есть сигнал «попытка квиза» внутри запуска из LMS SCORM передаёт нормально. Чего он не умеет – описывать открытые сигналы: свободную заметку, вопрос, написанный учащимся, ответ в обсуждении. Его модель данных – фиксированный ограниченный набор для взаимодействий внутри курса, а не для произвольных учебных событий [5]. Если нужны только ответы на квизы, SCORM достаточно; как только нужны заметки, вопросы или обсуждения как полноценные сигналы, нужен xAPI.

IMS Caliper Analytics. Стандарт 1EdTech (бывшая IMS Global), созданный специально для потоков учебных событий. Для сигналов взаимодействия он подходит хорошо, потому что описывает их как именованные типы событий. Его Annotation Profile покрывает именно нужные нам действия с аннотациями: AnnotationEvent записывает создание закладки, выделение и добавление тега как отдельные действия [6], а медиасобытия покрывают управление видео. Текущая версия – Caliper 1.2 [6]. Многие платформы используют xAPI и Caliper параллельно: Caliper – для частого потока кликов, xAPI – для педагогически значимых утверждений.

xAPI Video Profile и cmi5. Для взаимодействий внутри шкалы времени видео xAPI Video Profile стандартизирует события плеера, а его поле played-segments лежит в основе поиска повторов [7]; подробно – в статье Трекинг видео через xAPI. cmi5 упаковывает xAPI в запускаемый блок, чтобы LMS могла запускать активность и при этом получать полноценные утверждения. Это мост, когда нужны и контроль запуска из LMS, и открытый словарь взаимодействий xAPI [8].

Нажмите, чтобы увеличить

Что каждый стандарт может сказать о взаимодействии

Прежде чем обещать заказчику отчёт об «активном обучении», убедитесь, что стандарт, в который плеер отправляет события, способен передать нужный сигнал. Отчёт не может быть подробнее собранных данных.

Сырой плеер даёт время просмотра, не привязанное к учащемуся. SCORM добавляет ответы на квизы с привязкой к учащемуся, но на этом всё. Всю лестницу (заметки, вопросы, обсуждения) с привязкой к учащемуся и его результатам передают только xAPI и Caliper. Выбирая стандарт, вы решаете, как высоко по лестнице ICAP вообще сможет подняться ваша аналитика. Полное сравнение – в статье SCORM, xAPI, cmi5 и LTI: какой стандарт и когда выбрать.

Как превращать сигналы в действия

Сигналы оправдывают себя, когда что-то меняют. Сопоставьте каждой закономерности решение, и аналитика станет рабочим инструментом продукта, а не стеной графиков.

Высокое время просмотра при почти нулевых Constructive-сигналах – учащиеся смотрят пассивно. Нужно добавить взаимодействие, которое поднимет их по лестнице: вопрос внутри видео каждые несколько минут. Этот приём описан в статье Квизы и опросы в плеере, и его прямо обосновывает результат 90% против 68% [2]. Скопление вопросов или неверных ответов на одном таймкоде – дефект контента: откройте видео на этом месте и перемонтируйте, как и при обрыве на кривой оттока. Повтор плюс неверный ответ на одном фрагменте – гораздо более явный сигнал путаницы, чем каждый из них по отдельности; этот фрагмент исправляйте первым [10]. Много дословных заметок и мало заметок своими словами – учащиеся копируют, а не осмысляют; попросите их переформулировать мысль или написать резюме в одну строку. Нет активности в обсуждениях на потоковом курсе – верхняя ступень пуста; добавьте подсказку для обсуждения, шаг взаимного рецензирования или ветку для потока.

Общий принцип для всех случаев: проектируйте под сигнал, который хотите получить. Если в плеере есть только кнопка Play, измерить можно только просмотр. Если есть вопрос, поле для заметок и место для обсуждения, можно измерять, а значит, и поощрять действия, которые по лестнице ICAP действительно учат [1]. О том, как разбивать видео на короткие ролики с одной идеей, между которыми помещаются эти взаимодействия [11], – в статье Педагогика видео.

Нажмите, чтобы увеличить

Частые ошибки

Выдавать время просмотра за доказательство обучения. Оно доказывает только воспроизведение. Прежде чем говорить о вовлечённости, сопоставьте его хотя бы с одним Constructive-сигналом: отвеченным вопросом, написанной заметкой [1][2].

Сваливать все взаимодействия в одну кучу. Десять рефлекторных кликов не равны трём объяснениям своими словами. Взвешивайте сигналы по режиму ICAP и показывайте состав, а не только счёт [1].

Считать все квизы одинаковыми. Узнать ответ среди четырёх вариантов – это Active; написать короткое объяснение – уже шаг к Constructive. «Более трудный» вопрос – не придирка: он поднимает учащегося по лестнице [1].

Пытаться получить открытые сигналы из SCORM. cmi.interactions в SCORM справляется с элементами теста, но не со свободными заметками, вопросами или обсуждениями [5]. Если они в планах, собирайте xAPI или Caliper с первого дня: доработка после запуска означает переделку плеера.

Превращать счётчики взаимодействий в оценки без проверки качества. Это самый быстрый способ научить людей кликать ради баллов. Не пускайте сырую частоту взаимодействий в журнал оценок, пока она не взвешена по качеству.

Забывать, что данные о взаимодействиях – это персональные данные. Каждая заметка, вопрос и ответ, привязанные к конкретному учащемуся, – персональные данные по 152-ФЗ. Отсюда три инженерных следствия. Если аналитика опирается на согласие учащегося, с 01.09.2025 его оформляют отдельно от других документов, а не пунктом в оферте [12]; за несовершеннолетнего согласие дают законные представители. LRS и аналитическое хранилище размещайте в России: операции с ПДн граждан РФ с использованием зарубежных баз данных не допускаются [13], так что облачный LRS иностранного вендора не подходит. И в самих утверждениях передавайте псевдонимный идентификатор (account), а не e-mail или ФИО: тогда сырой поток событий можно анализировать, не раскрывая личность. Собирайте только то, что используете, сообщайте об этом учащимся и задавайте срок хранения – та же дисциплина, что разобрана для трекинга внимания в статье Тепловые карты вовлечённости и аналитика внимания.

Где здесь Фора Софт

Фора Софт с 2005 года разрабатывает ПО для видеостриминга, real-time-связи на WebRTC и интерактивных плееров. В e-learning работа с активным обучением почти всегда начинается с настройки сбора событий и только потом доходит до дашборда. Выбор между «сделать» и «купить» обычно выглядит так. Хостинговая видеоплатформа сразу даёт время просмотра. Но чтобы ответить на вопрос «действительно ли учащиеся работают с материалом?», нужен интерактивный плеер, который отправляет события xAPI или Caliper (ответы на вопросы в видео, заметки, вопросы учащихся, обсуждения), привязанные к конкретному учащемуся, связанные с его результатами и хранящиеся в LRS в российском контуре. Мы помогаем командам решить, какие сигналы стоят такой доработки, честно взвесить их по глубине, а не по количеству, и связать события так, чтобы отчёт об активном обучении опирался на доказательства. Тот же опыт в real-time-видео и интерактивных плеерах мы применяем в проектах видеоконференций, OTT и телемедицины.

Ключевые выводы

• Время просмотра доказывает воспроизведение, а не мышление; сигналы взаимодействия – дешёвое свидетельство усилия.
• Фреймворк ICAP ранжирует сигналы: Interactive > Constructive > Active > Passive.
• Собирайте тип взаимодействия, а не только количество: сырая частота – пустая метрика.
• Попытки квизов ценны: учащиеся, которых тестировали по ходу лекции, набрали 90% против 68% без теста.
• xAPI и Caliper передают всю лестницу; SCORM покрывает только ответы на квизы.
• Взвешивайте сигналы по режиму ICAP и показывайте состав, а не плоский счёт кликов.

Что почитать дальше

• Вовлечённость в видео: время просмотра, отток и повторы
• Аналитика обучения: какие метрики важны, а какие вводят в заблуждение
• Трекинг видео через xAPI: Video Profile и что отслеживать