Вовлечённость в видео: время просмотра, отток и повторные просмотры

Это инженерные рекомендации, а не юридическая консультация. Уточняйте детали у квалифицированного юриста.

Коротко

О том, работает ли учебное видео, судят по трём метрикам вовлечённости: среднему времени просмотра (сколько посмотрели), кривой оттока (где ушли) и точкам повторного просмотра (что пересматривали). Одно среднее время просмотра вводит в заблуждение. Просмотр у учащихся обычно бимодальный: часть уходит в первые тридцать секунд, а вовлечённое большинство смотрит почти до конца. Среднее занижает картину, поэтому рядом нужны медиана и сама кривая. Конкретное действие подсказывает только кривая оттока: резкое падение в первые тридцать секунд – слабое начало, обрыв в середине – дефект, который надо вырезать, всплеск – момент, к которому возвращались (за пользой или потому что не поняли). Сами собой эти данные не появятся: чтобы привязать вовлечённость к конкретному учащемуся и связать её с завершением и баллом, нужно собирать played-segments из xAPI Video Profile. Из этого поля считаются все три метрики.

Почему это важно

Если вы делаете или развиваете обучающий продукт, время просмотра, отток и повторы показывают, какие тридцать секунд какого видео исправлять. Показатель завершения такой точности не даёт: он сообщает, что модуль теряет учащихся, а кривая оттока – что уходят на 6:30, и всплеск повторов – что пересматривают вывод формулы на 8:10. Расплывчатое «вовлечённость низкая» превращается в задание на монтаж, которое команда контента выполнит за неделю. Статья продолжает материалы Аналитика обучения и Показатель завершения применительно к видео; прочитайте её, прежде чем обещать кому-то «дашборд вовлечённости».

Три числа, один вопрос: сработало ли видео?

Слово «вовлечённость» размытое, поэтому привяжите его к трём конкретным измерениям. Каждое отвечает на свой вопрос об одном и том же видео. Среднее время просмотра: «сколько посмотрели?» Кривая оттока: «где ушли?» Точки повторного просмотра: «к чему возвращались?» Завершение, разобранное в статье Показатель завершения, отвечает на вопрос «дошли ли до конца?», а словарь метрик собран в Метриках обучения 101. Здесь речь только о трёх метриках вовлечённости: вместе они говорят о качестве контента больше, чем любой итоговый показатель.

Разделять их стоит потому, что каждая подсказывает свою правку. Низкое среднее время просмотра значит, что видео слишком длинное или затянуто в начале. Обрыв на кривой оттока – что не работает один конкретный момент. Всплеск повторов – что конкретный момент либо особенно полезен, либо непонятен. Если свести их в один «балл вовлечённости», подсказка пропадёт; если держать раздельно, каждая метрика скажет редактору, что именно делать.

Нажмите, чтобы увеличить

Среднее время просмотра: почему среднее обманывает

Начнём с метрики, которую называют все, а читают правильно немногие. Среднее время просмотра – суммарное время по всем просмотрам, делённое на их число, то есть сколько в среднем смотрит один учащийся [9]. В процентах от длины ролика его называют средней длительностью просмотра или процентом досмотра. Процент удобен тем, что не зависит от длины: четыре минуты из десятиминутного видео – это 40%, а те же четыре минуты из тридцатиминутного – 13%. Время одинаковое, выводы совсем разные [2].

Проблема в том, что просмотр у учащихся редко распределён аккуратным колоколом вокруг среднего. Обычно распределение бимодальное: большинство либо уходит почти сразу, либо смотрит почти всё, и мало кто останавливается посередине [10]. Когда у распределения два горба, среднее попадает в провал между ними и не описывает почти никого. Рано ушедшие тянут его вниз и заслоняют вовлечённое большинство.

Посчитаем. Двенадцатиминутный (720-секундный) модуль начинают 500 учащихся. Допустим, 200 из них (40%) уходят в первые тридцать секунд, посмотрев примерно по полминуты, а остальные 300 смотрят около 9,6 минуты. Суммарное время просмотра: (200 × 0,5) + (300 × 9,6) = 100 + 2880 = 2980 человеко-минут. Среднее: 2980 ÷ 500 = 5,96 минуты, округлённо 6,0, то есть 50% видео.

Теперь найдём медиану – время учащегося, который окажется посередине, если отсортировать всех по времени просмотра. Нижние 200 – рано ушедшие, поэтому 250-й учащийся попадает в вовлечённую группу: около 9,6 минуты, или 80% видео. Среднее говорит «половина видео», медиана – «четыре пятых». Те же 500 учащихся, тот же период, а разница – тридцать процентных пунктов, и медиана гораздо точнее описывает типичного вовлечённого учащегося. Поэтому среднее время просмотра не показывают без медианы, а оба числа читают вместе с кривой оттока: только на ней видны два горба, которые прячет среднее [10].

Кривая оттока: как её читать

Кривая оттока (её ещё называют кривой удержания аудитории) – самое информативное представление вовлечённости. По горизонтали – шкала времени видео, по вертикали – доля начавших, которые всё ещё смотрят в этот момент. Слева кривая начинается со 100% и дальше только снижается (повторы могут её сгладить или приподнять, об этом ниже). Диагноз ставят по форме спада, и типичных форм четыре.

Падение в первые тридцать секунд. В начале любое видео теряет часть зрителей: учащиеся проверяют, туда ли попали. Плавное снижение – норма, обрыв – нет. Если в первые тридцать секунд кривая падает заметно круче, чем у соседних роликов того же курса, начало не оправдало название: оно не цепляет, заставка слишком длинная, разгон медленный. В нашем примере 40% рано ушедших дают здесь почти вертикальный обрыв в первые полминуты. Лечится это первыми десятью секундами: скажите, чему учащийся научится к концу ролика, и сразу переходите к делу.

Плавный, ровный спад. После вступления хорошее учебное видео теряет зрителей медленно и равномерно. Универсального «хорошего» процента нет: сравнивайте ролики одной длины и одного типа курса, а не с абстрактной нормой. Короткую инструкцию естественно досматривает бо́льшая доля зрителей, чем часовую лекцию, и лекция от этого не хуже: у неё другая задача и другая длина. Форма важнее итоговой цифры.

Обрыв в середине. Внезапная ступенька вниз посреди ролика (скажем, удержание падает с 70% до 45% за тридцать секунд) – самый полезный сигнал на графике. Значит, что-то конкретное на этой метке оттолкнуло четверть аудитории: отступление от темы, невнятный переход, затянутый кадр или смена темы без предупреждения. Обрыв точно указывает момент для перемонтажа. Поэтому в этом блоке курса кривая оттока – задание на монтаж, а не показатель для отчёта.

Всплеск. Если кривая поднимается или выходит на полку там, где должна снижаться, учащиеся перематывали назад и пересматривали фрагмент. Это точка повторного просмотра, о ней дальше.

Нажмите, чтобы увеличить

Точки повторного просмотра: ценность или путаница

Точка повторного просмотра – фрагмент, который учащиеся проигрывают больше одного раза, обычно перематывая назад. На кривой оттока она выглядит как всплеск или ровная полка там, где линия должна идти вниз. У неё два противоположных смысла, и главное умение – отличать один от другого [7].

Всплеск может означать ценность: фрагмент настолько полезен, что его пересматривают. Это разобранный пример, схема, после которой всё встаёт на место, тот самый шаг, ради которого пришли. Такого контента нужно больше, а сам фрагмент, возможно, стоит выпустить отдельным коротким роликом. А может означать путаницу: объяснение было неясным, слайд сменился слишком быстро, термин не определили, и учащиеся вернулись, чтобы разобраться. Руководство Watershed LRS по отслеживанию видео говорит о том же на уровне сырых событий: фрагмент, на котором часто ставят паузу и перематывают, обычно труден для понимания [7].

Различить эти случаи помогает контекст, а не высота всплеска. Повтор разобранного примера прямо перед тестом – скорее ценность; повтор определения, за которым идут отток и проваленный вопрос теста, – скорее путаница. Здесь данные о вовлечённости пересекаются с сигналами взаимодействия из статьи Частота взаимодействий и сигналы активного обучения: повтор рядом с неверным ответом говорит о путанице гораздо увереннее, чем повтор сам по себе.

Откуда берутся данные: xAPI Video Profile

Хостинговая видеоплатформа даёт статистику просмотров сразу. Kinescope, например, показывает суммарное время просмотра и «глубину просмотра» (среднее время относительно длины ролика) и отдаёт их через REST API [8]. Но это агрегат: уникальные просмотры считаются по сессии устройства, а данные лежат отдельно от учебных записей и не связаны с тем, кто сдал тест. Обучающему продукту нужны те же три метрики, но привязанные к конкретному учащемуся и хранящиеся рядом с завершением и баллом. Для этого и существует xAPI Video Profile – профиль сообщества и ADL, который стандартизирует, как видеоплеер передаёт данные в Learning Record Store (LRS – хранилище учебных записей, statements) [4]. (Подробно statements разобраны в статье Трекинг видео через xAPI; здесь – только то, что нужно аналитике.)

Профиль описывает события плеера как глаголы xAPI (initialized, played, paused, seeked, completed, terminated) и задаёт набор расширений [4]. Вовлечённость несут три из них. Расширение контекста length – общая длительность видео. Расширение результата progress – доля просмотренного, от 0 до 1. А расширение результата played-segments – исходные данные для тепловой карты: хронологический список всех интервалов, которые учащийся действительно посмотрел, в виде пар timeFrom[.]timeTo, соединённых [,], например 0[.]45[,]45[.]300[,]280[.]600 [4]. Важная деталь: progress, played-segments и завершение накапливаются по всем попыткам с одним registration (идентификатором одного прохождения видео учащимся), поэтому запись отражает всё, что он посмотрел, а не только последний запуск [3][6].

Из одной строки played-segments получаются все три метрики. Разберём пример выше на десятиминутном (600-секундном) видео:

played-segments = 0[.]45[,]45[.]300[,]280[.]600
  сегмент 1: 0  → 45    (45 с)
  сегмент 2: 45 → 300   (255 с)
  сегмент 3: 280 → 600  (320 с)   ← начинается на 280, до конца сегмента 2 на 300

Сумма сегментов: 45 + 255 + 320 = 620 секунд воспроизведения. Но уникально покрытая часть шкалы – только 0 → 600 = 600 секунд, потому что сегменты 2 и 3 перекрываются между 280 и 300. Значит, время просмотра (уникальное) = 600 с = 100% progress, а 20 секунд перекрытия (280–300, то есть 4:40–5:00) – точка повторного просмотра этого учащегося. Наложите played-segments всех учащихся посекундно (посчитайте, сколько из них видели каждую секунду, и разделите на число начавших) – и получится кривая оттока. Одно поле, три метрики.

Поэтому сырого плеера или обычного SCORM недостаточно. SCORM, более старый стандарт упаковки и отслеживания, записывает фиксированную модель данных уровня курса (завершение, балл, общее время, ограниченный набор interactions) и не знает, какие именно секунды видео просмотрены [5]. Если продукту нужны время просмотра, кривая оттока или поиск повторов, берите xAPI Video Profile (или cmi5, который упаковывает xAPI в запускаемый блок), а не сессионную сводку SCORM.

И последнее о данных. Как только вовлечённость привязана к конкретному учащемуся, LRS становится базой персональных данных. По ч. 5 ст. 18 152-ФЗ запись, хранение и другие операции с ПДн граждан РФ с использованием баз данных за пределами России не допускаются [11]. Поэтому LRS и аналитическое хранилище разворачивают в российском ЦОД или облаке, а облачный LRS зарубежного вендора для таких записей не подходит, хотя сама спецификация xAPI от этого не меняется. Как собрать такой конвейер целиком, разобрано в статье Создание конвейера аналитики обучения.

Что каждая система может сказать о вовлечённости

Прежде чем обещать заказчику тепловую карту повторов или посекундную кривую оттока, убедитесь, что стандарт, в котором плеер отправляет данные, способен их передать. Аналитика вовлечённости не бывает подробнее данных, которые отдаёт плеер.

Хостинговая видеоплатформа даёт агрегат, но не знает учащегося; SCORM знает учащегося, но не даёт кривую. И то и другое (посекундную вовлечённость, учащегося и его результат) дают только xAPI Video Profile и cmi5. Выбирая стандарт, вы решаете, что «вовлечённость» вообще сможет значить в вашем продукте. Стандарты подробно разобраны в статьях SCORM: объяснение и SCORM против xAPI против cmi5 против LTI.

Как превратить данные в решения по монтажу

Аналитика вовлечённости оправдывает себя, только когда меняет контент. Сопоставьте каждой форме кривой решение и передайте его тому, кто монтирует видео.

Обрыв в первые тридцать секунд – перемонтировать начало: убрать заставку, начать с того, чему научится учащийся, и перейти к сути за десять секунд. Низкое среднее время просмотра с ранней полкой – видео слишком длинное для своей задачи, его надо сокращать. Самое убедительное подтверждение – исследование Гуо, Кима и Рубина на 6,9 млн видеосессий четырёх MOOC-курсов: медианное время вовлечённости не превышало шести минут независимо от длины видео, а ролики длиннее девяти минут учащиеся досматривали редко [1]. Если разрезать сорокаминутную лекцию на шестиминутные ролики с одной идеей в каждом, контент будет соответствовать тому, как работает внимание; подробнее – в статье Педагогика видео.

Обрыв в середине – открыть видео на этой метке и найти дефект: отступление вырезать, затянутый кадр сократить, к переходу добавить пояснение. Всплеск-ценность – делать больше такого и, возможно, выпустить фрагмент отдельным роликом. Всплеск-путаница – дать в этой точке более ясное объяснение, подпись на экране или вопрос в плеере, чтобы пассивная перемотка стала активной проверкой. Этот приём описан в статье Квизы и опросы в плеере, а его обоснование через когнитивную нагрузку – в обзоре Брэйм об эффективном учебном видео: вставленные вопросы снижали воспринимаемую сложность материала [2].

Во всех случаях помогают субтитры. Это критерий доступности WCAG 2.1 AA, на котором основан и ГОСТ Р 52872-2019 (подробно – в статье WCAG 2.1 AA и ГОСТ Р 52872-2019 для учебного видео), и они же увеличивают время просмотра у тех, кто смотрит без звука или учится не на родном языке. Опрос зрителей TechSmith уточняет и вопрос длины: короткое видео обычно лучше, но две трети зрителей готовы смотреть ролик дольше часа, чтобы освоить рабочий навык [12]. Сокращайте с оглядкой на внимание, но не жертвуйте нужной глубиной: «так длинно, как нужно, и так коротко, как можно».

Нажмите, чтобы увеличить

Нажмите, чтобы увеличить

Частые ошибки

Показывать только среднее время просмотра. Просмотр бимодален, поэтому среднее попадает в провал между рано ушедшими и вовлечённым большинством [10]. Всегда показывайте рядом медиану и читайте оба числа вместе с кривой.

Считать время просмотра доказательством обучения. Учащийся может прокрутить видео до конца в фоновой вкладке и ничему не научиться. Время просмотра говорит о вовлечённости, а не об усвоении; сопоставляйте его с результатами тестов и данными о взаимодействиях (см. статью Частота взаимодействий и сигналы активного обучения).

Считать каждый всплеск успехом. Повтор может означать и «это было полезно», и «это было непонятно». Судите по контексту (что было перед фрагментом и провален ли следующий вопрос теста), а не по высоте всплеска [7].

Сравнивать с абстрактной нормой. Средние 45% – отличный результат для инструкции и слабый для пятнадцатисекундного ролика-анонса. Сравнивайте ролики одной длины и одного типа курса, а не с абсолютным «хорошим» числом.

Пытаться получить кривую оттока из SCORM. SCORM записывает сводку по сессии, а не просмотренные секунды [5]. Если время просмотра, отток и повторы есть в планах, собирайте xAPI Video Profile с первого дня: дорабатывать после релиза – значит переделывать плеер.

Где здесь Фора Софт

Фора Софт с 2005 года делает видеостриминг, real-time-видео на WebRTC и интерактивные плееры. В e-learning работа над вовлечённостью редко сводится к дашборду: сначала плеер нужно научить отправлять данные, без которых дашборд невозможен. Выбор между «сделать» и «купить» обычно выглядит так. Хостинговая видеоплатформа сразу даёт агрегатную статистику просмотров. Но как только нужна кривая, привязанная к конкретному учащемуся, хранящаяся в вашем LRS в российском контуре и связанная с завершением и баллом, приходится строить конвейер xAPI Video Profile внутри интерактивного плеера. Мы помогаем командам решить, какие сигналы вовлечённости стоят такой доработки, а затем делаем события плеера и аналитику так, чтобы по кривой оттока можно было уверенно планировать монтаж. Тот же опыт в real-time-видео и стриминге мы применяем в проектах видеоконференций, OTT и телемедицины.

Главные выводы

• Качество учебного видео оценивают по трём метрикам: времени просмотра, кривой оттока и повторам.
• Одно среднее время просмотра обманывает, потому что просмотр бимодален; смотрите медиану и кривую.
• Кривая оттока – задание на монтаж: обрывы указывают точный момент для правки.
• Всплеск повторов означает либо ценность, либо путаницу; судите по контексту, а не по высоте.
• Все три метрики считаются из одного поля played-segments в xAPI Video Profile.
• SCORM записывает сводку по сессии, а не просмотренные секунды; для вовлечённости нужен xAPI.

Что почитать дальше

• Аналитика обучения: какие метрики важны, а какие вводят в заблуждение
• Трекинг видео через xAPI: Video Profile и что отслеживать
• Показатель завершения: как определить, измерить и улучшить