Основы метрик обучения: завершение, прогресс, освоение и вовлечённость

Кратко

Учебные продукты оценивают по четырём метрикам, которые звучат похоже, но означают совершенно разное: вовлечённость (смотрят ли?), прогресс (как далеко дошли?), завершение (закончили ли?) и освоение (научились ли на самом деле?). Самая дорогая ошибка в отрасли – считать, что «посмотрел 100% видео» значит «прошёл курс», а «прошёл курс» значит «усвоил материал». Это три разных факта, и каждый требует своего измерения. Ниже – что означает каждая метрика, как её записывают стандарты (SCORM, xAPI с его Video Profile, Caliper Analytics) и пример, в котором одна группа учащихся даёт четыре очень разных числа. Договоритесь об этих терминах в первый же день – и все дальнейшие решения (какой стандарт выбрать, какие события должен отправлять плеер, что показывать на дашборде) станут очевидными.

Зачем это читать

Если вы директор по обучению, основатель онлайн-школы или продакт и проектируете продукт с обучающим видео, метрики, выбранные в первый день, незаметно определяют, что ваша платформа вообще сможет доказать. Ошибётесь – и получите красивый плеер, по данным которого проверяющий не поймёт, кто на самом деле прошёл обязательное обучение, или дашборд с «вовлечённостью», которая не предсказывает ни одного бизнес-результата. Здесь вводится общий словарь для всех следующих материалов курса: четыре метрики и разница между опережающими и запаздывающими индикаторами. С ним проще ставить задачи инженерам, отсеивать красивые, но бесполезные метрики и проектировать отслеживание до разработки плеера. Подробная аналитика – в статье аналитика обучения, а определения – здесь.

Четыре слова, которые зря считают синонимами

На любом обсуждении учебного продукта «завершение», «прогресс», «вовлечённость» и «освоение» звучат как синонимы фразы «курс работает». Это не так. Каждое слово отвечает на свой вопрос, и из-за путаницы между ними у команд появляются дашборды, на которых всё выглядит благополучно, пока учащиеся уходят, ничему не научившись.

Различать их проще всего по вопросам. Вовлечённость: внимательны ли учащиеся прямо сейчас? Прогресс: как далеко они продвинулись? Завершение: дошли ли до конца по нашим правилам? Освоение: умеют ли они на самом деле делать то, чему учил курс? У учащегося могут быть высокие показатели по первым трём метрикам и ноль по последней, поэтому освоение измеряют отдельно.

Нажмите, чтобы увеличить

Вовлечённость: опережающий индикатор

Вовлечённость показывает, насколько активно учащиеся работают с контентом, и выражается в их действиях во время просмотра. Для обучающего видео это время просмотра (какую долю доступных минут реально посмотрели), отток (где остановились), повторы (какие моменты пересматривали) и частота взаимодействий (как часто отвечали на встроенный вопрос, открывали транскрипт, добавляли заметку).

Вовлечённость – самый ранний сигнал, поэтому её относят к опережающим индикаторам: такое число меняется раньше нужного вам результата и потому его предсказывает. Если время просмотра резко падает на четвёртой минуте каждого видео, контент можно исправить до того, как хоть один учащийся провалит итоговый тест. В этом раннем предупреждении и состоит ценность вовлечённости – и по той же причине ею легко злоупотребить.

Исследования здесь на редкость однозначны. Анализ 6,9 млн сессий просмотра в четырёх массовых открытых онлайн-курсах (Guo, Kim и Rubin, 2014) показал, что медианная вовлечённость резко падает после шести минут видео, а ролики длиннее девяти минут учащиеся почти не досматривают [1]. Вывод для практики: короткие видео, разбитые на фрагменты, – не вопрос стиля, а измеримый способ повысить вовлечённость. Педагогическую основу этого мы разбираем в статье о педагогике обучающего видео.

Типичная ошибка – считать вовлечённость целью, а не сигналом. Высокое время просмотра обнадёживает, но ничего не доказывает. Люди могут внимательно смотреть и всё равно не научиться, а курс, оптимизированный только под время просмотра, постепенно превращается в развлечение.

Прогресс: как далеко, а не насколько хорошо

Прогресс – это доля обязательного контента, которую прошёл учащийся: модуль 3 из 8 или 40% программы. На нём построены полоса «выполнено на 60%» и кнопка «продолжить с места остановки». Это арифметика позиции, а не понимания.

Именно прогресс большинство и принимает за завершение. Разница тонкая, но решающая: прогресс растёт постепенно и бывает частичным («как далеко продвинулся»), а завершение – пороговое событие («пересёк ли учащийся заданную нами финишную черту»). Можно бесконечно оставаться на 95% прогресса и не завершить курс, потому что последние 5% – оценочное задание, которого учащийся избегает.

Прогресс – тоже опережающий индикатор, причём более надёжный, чем сырое время просмотра: он отражает движение по структуре курса, а не секунды видео. Если кривая прогресса когорты выходит на плато на модуле 5, это говорит что-то конкретное о модуле 5 ещё до того, как появятся данные о завершении. Важно: плеер сообщает позицию воспроизведения, а прогресс по курсу – понятие более высокого уровня, которое платформа считает по всем модулям. «Как далеко в этом видео» и «как далеко в этом курсе» – разные числа с разных слоёв платформы, их нужно держать раздельно; подробно это разобрано в статье об анатомии платформы видеообучения.

Завершение: одно слово, пять разных смыслов

Завершение – это порог: учащийся выполнил правило, которое вы определили как «готово». Ловушка в том, что единого правила нет, и смысл слова незаметно меняется в зависимости от того, какой слой платформы вы спрашиваете. Это самая опасная неоднозначность в метриках обучения, поэтому разведём пять распространённых значений.

Первое – завершение в плеере: видео выдало событие ended или позиция воспроизведения достигла 100%. Это доказывает, что ролик доиграл до конца, но не доказывает, что человек был у экрана.

Второе – завершение в SCORM. SCORM (Sharable Content Object Reference Model) – стандарт упаковки, который позволяет любой учебной системе воспроизводить и отслеживать курс; для завершения в нём есть отдельное поле. В SCORM 2004 это cmi.completion_status со значениями completed, incomplete, not attempted или unknown [2]. Ключевой момент: SCORM 2004 разносит завершение (закончил) и успешность (cmi.success_status: passed или failed) по двум полям, так что учащийся может быть одновременно completed и failed [2]. В SCORM 1.2 оба понятия сведены в одно поле (cmi.core.lesson_status), поэтому так много старых курсов путают «закончил» и «сдал». Подробнее – в статье SCORM: что это и когда применять.

Третье – завершение в xAPI. Современный стандарт отслеживания xAPI (Experience API) записывает завершение как утверждение – фразу «актор – глагол – объект», например «Мария completed Модуль 3», – в Learning Record Store (LRS). Для видео xAPI Video Profile требует, чтобы утверждение completed содержало result.completion = true и суммарное время просмотра; к нему можно добавить расширения progress и played-segments, чтобы знать не только, что завершено, но и какие секунды реально посмотрели [3]. Голый SCORM такую посекундную детализацию не записывает, а Video Profile как раз и нужен, чтобы её получить [7]. См. статью трекинг видео через xAPI.

Четвёртое – завершение по порогу. Оба стандарта позволяют задать планку вместо обязательных 100%. В SCORM 2004 есть cmi.completion_threshold: контент сообщает cmi.progress_measure (от 0 до 1), и когда значение достигает порога, статус переключается на completed [2]. Так что «завершено» может намеренно означать «посмотрел 80% и ответил на контрольный вопрос».

Пятое – завершение курса, бизнес-правило, которое объединяет остальные: все модули completed, итоговый тест passed, возможно, заполнена анкета. Именно это число нужно HR-системе или деканату, и считает его ваша платформа, а не какой-то один стандарт. В российских продуктах от него часто зависят юридически значимые последствия: выдача удостоверения о повышении квалификации, сведения о котором организация обязана внести в ФИС ФРДО [8], или запись о проверке знаний по охране труда, которую вносят в реестр обученных лиц ЕИСОТ Минтруда в течение трёх рабочих дней (ПП 2464) [9].

Нажмите, чтобы увеличить

Типичная ошибка, характерная для всей отрасли, – напрямую приравнять «плеер дошёл до 100%» к «курс завершён». Учащийся открывает видео, выключает звук, переключается на другую вкладку, и ролик доигрывает до конца. Дашборд показывает «завершено». Учащийся ничему не научился, а если это обязательное обучение, скажем по охране труда, вы только что создали ложную запись, которая уйдёт в государственный реестр. Завершение должно означать правило, которое вы можете обосновать, а не «ролик закончился».

Освоение: научились ли на самом деле

Освоение – единственная из четырёх метрик, которая измеряет обучение, а не поведение. Она отвечает на вопрос, может ли учащийся уверенно продемонстрировать навык или знание, которому учил курс, – обычно по результату оценивания относительно заданной планки. В модели полного усвоения (mastery learning) из педагогических исследований планку обычно ставят высоко, часто около 80%, а всё, что ниже, считают «пока нет»: учащегося возвращают к материалу, а не пускают дальше.

Освоение – запаздывающий индикатор: его можно только измерить после проверки, задним числом. Из четырёх метрик его труднее и дороже всего измерить качественно, но оно и самое ценное. В корпоративном обучении планка ещё выше. Распространённая модель Киркпатрика выделяет четыре уровня оценки обучения: реакция (понравилось ли), обучение (усвоены ли знания), поведение (работают ли люди иначе) и результаты (изменился ли бизнес-показатель) [4]. В этих терминах освоение – второй уровень, а главная цель – третий и четвёртый. Их не видит ни один плеер: чтобы их оценить, аналитику нужно связать с внешними системами.

Типичная ошибка – остановиться на «сдал тест» и назвать это освоением. Один тест с выбором ответа в конце модуля проверяет кратковременное запоминание, а не устойчивый навык. Для настоящего измерения освоения используют более сложные форматы – практические задания, интервальное повторение, повторную проверку через некоторое время – и там, где это оправдано для бизнеса, связывают результаты с поведением на работе.

Опережающие и запаздывающие: что делает метрики полезными

Две метрики предсказывают, две подтверждают, и понимание, какая из них какая, превращает дашборд из табло со счётом в инструмент управления. Опережающие индикаторы меняются раньше результата и позволяют вмешаться: это вовлечённость и прогресс. Запаздывающие подтверждают результат после: это завершение и освоение (а за ними – изменение поведения и бизнес-результаты).

Отсюда правило проектирования: опережающие индикаторы нужны, чтобы ловить проблемы, запаздывающие – чтобы доказывать ценность. Продукт, который показывает только запаздывающие метрики, узнаёт о провале, когда когорта уже ушла. Продукт, который показывает только опережающие, выглядит оживлённым, но не может доказать результат. Нужны оба типа, и собирать их нужно осознанно.

Как стандарты на самом деле записывают каждую метрику

Метрика не бывает точнее событий плеера и стандарта, по которому они передаются. Основную работу делают три стандарта, и они не взаимозаменяемы.

SCORM передаёт фиксированную модель данных внутри запуска из LMS: статус завершения, статус успешности, балл, время и ограниченный набор взаимодействий [2]. Он надёжен и поддерживается везде, но видит курс как чёрный ящик: он не скажет, какие пятнадцать секунд видео учащийся пересмотрел.

xAPI с Video Profile передаёт открытый поток утверждений в Learning Record Store. Video Profile определяет глаголы, которые должен отправлять плеер, – initialized, played, paused, seeked, completed, terminated, – и расширения результата, благодаря которым аналитика становится подробной: точку time, time-from/time-to для перемотки, значение progress и played-segments со списком реально просмотренных интервалов [3]. Именно это позволяет построить тепловую карту оттока, а не один флажок «завершено».

Caliper Analytics, стандарт 1EdTech, определяет MediaEvent для действий с видео- или аудиообъектом – запуск, пауза, перемотка назад и вперёд, отключение звука, включение субтитров, – и у каждого события есть отметка позиции currentTime [5]. По назначению он пересекается с xAPI Video Profile и распространён там, где организация привела все событийные данные к Caliper.

Нажмите, чтобы увеличить

В таблице – откуда на практике берётся каждая метрика. Столбцы стандартов отделяют метрику, которую можно выпустить, от той, о которой можно только мечтать.

Вывод: если в дорожной карте обещаны тепловые карты вовлечённости или посекундная аналитика видео, голый SCORM их не даст. Нужен xAPI Video Profile или Caliper, и плеер должен отправлять эти события с первого дня.

Пример: одна когорта – четыре числа

На числах разница видна лучше всего, поэтому проведём одну когорту через все четыре метрики. Допустим, на видеокурс из пяти модулей с итоговым тестом записаны 1 000 учащихся. Правило завершения: «все пять модулей пройдены до порога и итоговый тест выполнен»; освоение – итоговый балл не ниже 80%.

• Вовлечённость: по всем видео учащиеся в среднем посмотрели 62% доступных минут: всего просмотрено минут ÷ всего доступно минут = 0,62. Неплохо, но это опережающий сигнал, а не результат.
• Прогресс: 700 учащихся дошли до модуля 5; средний прогресс (сумма значений «пройдено модулей ÷ 5» по всем учащимся, делённая на 1 000) = 0,71, то есть 71%. Большинство прошли большую часть пути.
• Завершение: учитываются только те, кто прошёл порог во всех пяти модулях и выполнил итоговый тест. Таких 420, доля завершения = 420 ÷ 1 000 = 42%. Это заметно ниже прогресса, и разрыв – как раз те, кто дошёл до модуля 5 и застрял на оценивании.
• Освоение: из 420 завершивших 310 набрали на итоговом тесте 80% и больше. Доля освоения среди завершивших = 310 ÷ 420 = 74%, по всей когорте = 310 ÷ 1 000 = 31%.

Нажмите, чтобы увеличить

Четыре честных числа по одной когорте: 62%, 71%, 42%, 31%. Покажите только первое – курс выглядит успешным, только последнее – провальным. Верно и то и другое. Задача учебного продукта – показать все четыре и дать бизнесу решить, какое из них важно для конкретного курса: для обязательного обучения всё решает завершение, для курса по навыкам продаж – освоение и в итоге изменение поведения.

Для сравнения – насколько низким бывает завершение в открытых форматах. Крупные исследования MOOC (массовых открытых онлайн-курсов) стабильно дают долю завершения примерно 5–15% от зарегистрировавшихся, а шестилетний анализ MOOC (Reich и Ruipérez-Valiente, 2019) показал, что 52% записавшихся даже не начинают курс [6]. В закрытых корпоративных когортах цифры гораздо выше, а открытые курсы на российских платформах – «Открытое образование», Stepik – подчиняются той же логике: число зависит от знаменателя и правила, поэтому задайте их до того, как его приводить. Подробнее – в статье доля завершения: как определить, измерить и улучшить.

Что собирать с первого дня

Событие, которое не записали, проанализировать нельзя, поэтому решать, что отслеживать, дешевле всего до разработки плеера. Как минимум с запуска учебный продукт должен собирать: данные о просмотре по фрагментам (чтобы потом восстановить вовлечённость и отток), прогресс по модулям, обоснованный статус завершения отдельно от факта воспроизведения и баллы оценивания, привязанные к планке освоения. Если нужна аналитика на уровне видео, отправляйте их как утверждения xAPI Video Profile или события Caliper MediaEvent; полагайтесь на SCORM, только если «чёрного ящика» с завершением и баллом действительно достаточно.

Собирать данные с запасом с самого начала стоит из-за асимметрии. Новое событие в плеере помогает только с момента его добавления, а данные за прошлый квартал, которые вы не записали, уже не вернуть. Хранение стоит дёшево, потерянная история – дорого. Одно условие: посекундные события, привязанные к учётной записи, – это персональные данные, поэтому LRS и хранилище аналитики должны работать на базах в России (ч. 5 ст. 18 152-ФЗ) [10]; зарубежный сервис аналитики для таких данных не подходит.

Где здесь Фора Софт

Фора Софт с 2005 года разрабатывает софт для видеостриминга, связи в реальном времени на WebRTC и интерактивных плееров. В e-learning основная работа редко связана с самим воспроизведением: важнее так подключить плеер, чтобы нужные события попадали в нужный стандарт и нужная метрика вообще появилась. Выбор «строить или купить» обычно выглядит так: готовая LMS сразу даёт завершение и баллы на уровне SCORM, но как только нужна посекундная вовлечённость, тепловые карты оттока или собственные определения освоения, поверх неё приходится строить интерактивный плеер и конвейер xAPI или Caliper. Мы помогаем командам решить, какие метрики оправдывают такую доработку, а затем строим отслеживание так, чтобы аналитика стала возможной; об этом – статья о создании конвейера аналитики обучения.

Главное

• Четыре метрики – четыре вопроса: вовлечённость (внимание), прогресс (как далеко), завершение (закончили по правилам), освоение (научились на самом деле).
• Вовлечённость и прогресс – опережающие индикаторы, завершение и освоение – запаздывающие. Нужны оба типа.
• У «завершения» пять разных смыслов; никогда не приравнивайте 100% в плеере к завершению курса.
• Голый SCORM – чёрный ящик; для посекундной вовлечённости нужен xAPI Video Profile или Caliper.
• Решите, что отслеживать, до разработки плеера: задним числом события не вернуть. Храните их в России.
• Показывайте все четыре числа, а по какому из них судить о курсе, пусть решает бизнес.

Что читать дальше

• Аналитика обучения: метрики, которые важны, и те, что вводят в заблуждение
• Доля завершения: как определить, измерить и улучшить
• Трекинг видео через xAPI: Video Profile и что отслеживать