Аналитика обучения: какие метрики важны, а какие вводят в заблуждение

Это инженерное руководство, а не юридическая консультация. Уточняйте детали у квалифицированного юриста.

Кратко

Аналитика обучения превращает цифровые следы учащихся (запуски видео, паузы, ответы на тесты, завершения) в решения, которые делают обучение лучше. В 2025 году профильное научное сообщество обновило определение области и поставило в центр «действенные выводы». Большинство дашбордов обучения бесполезны не потому, что данные неверны, а потому, что на них метрики тщеславия: крупные лестные числа вроде суммы просмотров, входов и «просмотрено 100%». Они растут, радуют глаз и не подсказывают ни одного действия. Полезная метрика проходит простую проверку: она привязана к решению, которое кто-то действительно примет, разбивается по когортам или модулям и связывает ранний сигнал с реальным итогом. В статье мы разделим два типа метрик, прочитаем данные одной когорты двумя способами и разберём стек (события плеера, xAPI или Caliper, Learning Record Store, хранилище, дашборд), который даёт числа, заслуживающие доверия.

Почему это важно

Если вы отвечаете за обучение и развитие персонала, основали EdTech-продукт или ведёте дорожную карту обучающей платформы, от выбранной аналитики зависит, что вы сможете доказать и что исправить. Выберете метрики тщеславия – и покажете красивый слайд «вовлечённость +40%», пока завершение тихо стоит на 41%, а один неудачный модуль теряет половину учащихся. Выберете полезные метрики – и те же данные подскажут, какой модуль перемонтировать и научился ли вообще кто-нибудь. Статья поможет отличить одно от другого, даст понятную карту системы, из которой берутся числа, и достаточно знаний о стандартах, чтобы ставить задачу инженеру и не попадаться на эффектную демонстрацию дашборда от вендора. Это вводная статья блока об измерениях; подробные разборы каждой метрики – в статьях, на которые она ссылается.

Что такое аналитика обучения на самом деле

Начнём с простого. Аналитика обучения – это сбор данных, которые порождает обучающий продукт, и превращение их в решения, улучшающие обучение. На входе данные, на выходе более точные решения. Всё остальное – стандарты, хранение, дашборды – лишь инфраструктура, которая обслуживает этот цикл.

У области есть формальное определение, и его стоит прочитать: оно изменилось, и это изменение важно для нашей темы. Society for Learning Analytics Research (SoLAR) – академическое сообщество, которое развивает область с первой конференции в 2011 году, – изначально определяло аналитику обучения как «измерение, сбор, анализ и отчётность по данным об учащихся и их контекстах ради понимания и оптимизации обучения» [1]. В 2025 году определение переписали: «сбор, анализ, интерпретация и коммуникация данных об учащихся и их обучении, дающие теоретически релевантные и действенные выводы для улучшения преподавания и обучения» [1].

Обратите внимание на добавку: действенные выводы. За первое десятилетие дисциплина поняла, что суть не в данных и дашбордах, а в действиях на их основе, и закрепила этот урок в собственном определении. Эта правка и есть главный тезис статьи: метрика заслуживает места на дашборде, только если по ней кто-то может действовать.

Полезно развести два слова, которые часто считают синонимами. Отчётность показывает, что произошло: 18 400 запусков видео за месяц. Аналитика объясняет произошедшее настолько, чтобы можно было решить, что делать дальше: запусков больше, но завершение упало, потому что модуль 3 теряет 60% зрителей до середины, – значит, модуль 3 надо перемонтировать. Отчётность – зеркало заднего вида, аналитика – руль. Большинство «дашбордов аналитики», которые продают командам обучения, на деле те же отчёты в более красивой обёртке.

Ловушка метрик тщеславия

Понятие метрики тщеславия пришло из мира стартапов: это число, которое стабильно растёт, эффектно смотрится в презентации и не меняет ни одного вашего решения [2]. Его противоположность – действенная метрика: она связывает причину со следствием и отвечает на вопрос «что изменить и сработало ли изменение?» [2]. Обучающие продукты особенно подвержены метрикам тщеславия, потому что числа, которые легко собрать, и числа, которые что-то значат, почти никогда не совпадают.

Ниже – галерея метрик, вводящих в заблуждение: чем каждая соблазняет и что она на самом деле доказывает.

Всего просмотров или запусков видео. Число большое и всегда растёт, отсюда ощущение движения вперёд. Но оно не отличает одного учащегося, посмотревшего видео десять раз, от десяти, посмотревших по разу, и засчитывает запуск без звука в фоновой вкладке. Оно доказывает, что плеер загрузился, а не что кто-то чему-то научился.

Входы и время на платформе. «В среднем 47 минут за сессию» выглядит как глубокая вовлечённость. Но время – не обучение: учащийся, который застрял, запутался или просто оставил вкладку открытой, набирает те же минуты, что и увлечённый материалом. Активность – не результат.

«Просмотрено 100%». Самая дорогая путаница в отрасли: считать, что если видео доиграло до конца, то человек прошёл курс. Ролик доиграл, а человек мог давно выйти из комнаты. Пять разных значений «завершения» мы разбираем в статье Основы метрик обучения; если коротко, простое воспроизведение – самое слабое из пяти.

Записи и регистрации. Их легко нарастить маркетинговой кампанией, а об итогах они ничего не говорят. В открытых курсах разрыв особенно заметен: крупные исследования массовых открытых онлайн-курсов (MOOC) показывают, что около 52% зарегистрировавшихся вообще не приступают к материалу, а завершают курс примерно 5–15% записавшихся [3]. Регистрация – это надежда, а не результат.

Средний балл. «Средний балл 81%» скрывает форму распределения. Это может значить, что все набрали около 81, а может – что две трети блестяще сдали, а одна группа провалила один модуль. Эти ситуации требуют противоположных реакций. Среднее без распределения – число, усреднённое до полной бесполезности.

Удовлетворённость и Net Promoter Score. Анкета в конце курса «понравилось ли вам?» (в англоязычной практике её называют «листком улыбок») измеряет реакцию, а не обучение. В широко используемой модели оценки обучения Киркпатрика это уровень 1 из четырёх; обучение – уровень 2, изменение поведения на работе – уровень 3, бизнес-результаты – уровень 4 [4]. «Понравилось» и «научился» связаны в лучшем случае слабо.

Нажмите, чтобы увеличить

Ни одно из этих чисел само по себе не вредно. Ошибка – выдавать их за итоги. «Всего просмотров» – нормальная операционная метрика для планирования мощностей и никудышная – для ответа на вопрос, работает ли курс. Всё дело в том, на какой вопрос каждое число может честно ответить.

Полезные метрики: проверка на действенность

Метрика важна, если на её основе принимают решение. Проверить это помогают четыре вопроса – прогоните через них любое число, которое собираетесь вынести на дашборд.

1. Привязана ли метрика к решению? Назовите действие, которое кто-то совершит, когда число изменится: «Если сдача модуля 3 с первой попытки падает ниже 50%, мы перемонтируем модуль 3». Если такую фразу не составить, метрика декоративна. Это главный фильтр, и большинство метрик тщеславия отсеиваются сразу: когда растёт «всего просмотров», делать ничего не нужно.

2. Можно ли её сегментировать? Одно число по всей платформе почти никогда не подсказывает действий, потому что «платформу» целиком не исправить. Та же метрика в разбивке по когортам, модулям, неделям или группам учащихся показывает, где проблема. «Завершение 41%» – это заголовок; «завершение 41%, потому что когорта отдела продаж застревает на модуле 3» – это готовая задача.

3. Связывает ли она опережающий сигнал с запаздывающим итогом? Опережающие показатели – вовлечённость, прогресс – меняются раньше итога и дают время вмешаться; запаздывающие – завершение, освоение – подтверждают, что произошло. (Все четыре мы определяем в статье Основы метрик обучения.) Дашборд из одних запаздывающих метрик сообщит о провале, когда когорта уже закончила обучение. Дашборд из одних опережающих выглядит бодро, но итог не доказывает. Полезная аналитика связывает их: падение времени просмотра предсказывает спад завершения, который ещё можно предотвратить.

4. Воспроизводима ли она и можно ли её отстоять? Если два аналитика считают «завершение» и из-за размытого правила получают разные числа, метрика не выдержит вопросов ни регулятора, ни аудитора, ни совета директоров. У полезной метрики есть записанное определение – точное правило и точный знаменатель, – по которому любой получит тот же ответ.

За этими вопросами стоит лестница, взятая из аналитики данных в целом и прямо описанная в аналитике обучения: описательная, диагностическая, прогнозная, предписывающая [1]. Описательная отвечает, что произошло (завершение было 41%). Диагностическая – почему (отток на модуле 3). Прогнозная – что произойдёт (когорта идёт к 38%, если не вмешаться). Предписывающая – что делать (перемонтировать модуль 3, добавить контрольные вопросы). Метрики тщеславия застревают на нижней ступени: описывают плохо и выше не поднимаются. Полезные метрики строят так, чтобы подняться наверх, где число превращается в действие.

Нажмите, чтобы увеличить

Разбор примера: одна когорта, две истории

На числах это нагляднее. Возьмём корпоративный курс – пять видеомодулей и итоговый тест, – который за месяц запустили для 2 000 сотрудников. Дашборд вендора встречает вас четырьмя крупными числами:

• 18 400 запусков видео.
• 142 000 просмотренных минут.
• 81% – средний балл за тест.
• 1 250 завершений.

Если читать их как дашборд тщеславия, перед нами триумф. Если проверить на действенность, те же данные расскажут другую и куда более полезную историю.

Запуски на учащегося. 18 400 запусков ÷ 2 000 учащихся = 9,2 на человека. Но модулей в курсе пять, так что 9,2 включает повторы и повторные открытия. Уникальных начавших было 1 500, то есть 500 записанных сотрудников (25%) ни разу не нажали play. Число «18 400» спрятало четверть аудитории, которая ничего не делала.

Реальное завершение. «1 250 завершений» на дашборде – это случаи, когда видео доиграло до конца. Примените правило, которое можно отстоять, – все пять модулей просмотрены до порога и итоговый балл не ниже 80%, – и под него подходят лишь 820 учащихся. Завершение = 820 ÷ 2 000 = 41%, а не 62,5%, как подсказывал сырой счётчик. (Почему «завершение» такое скользкое понятие и как поднять реальное число – в статье Показатель завершения: определение, измерение, улучшение.)

Среднее, которое обмануло. При среднем балле 81% медиана была 88%: большинство справились хорошо. Но группа из 320 учащихся набрала от 50% до 65%, и почти все их низкие оценки пришлись на один тест – по модулю 3, где с первой попытки сдали лишь 38%. Среднее размазало резкий локальный провал в комфортное общее число.

Отток, который всё объяснил. Посекундные данные просмотра показали, что видео модуля 3 – одна 14-минутная лекция – теряет около 60% зрителей до седьмой минуты. Диагностика и тест сошлись: обучение ломается именно на модуле 3.

Прочтение тщеславия звучало так: «вовлечённость высокая, баллы высокие, всё готово». Действенное прочтение дало конкретную задачу: перемонтировать модуль 3 в три сегмента короче 7 минут с контрольным вопросом после каждого, а затем заново измерить сдачу с первой попытки и отток на следующей когорте. Данные те же, выводы противоположные, и вся разница в том, каким метрикам доверяли. (Время просмотра и отток подробно разобраны в статье Вовлечённость в видео: время просмотра, отток и повторные просмотры.)

Нажмите, чтобы увеличить

Пара слов о действительно крупных числах. Выручка топ-100 российских EdTech-компаний за 2025 год, по подсчёту Smart Ranking, – 154 млрд ₽, на 12% больше, чем годом раньше [5]. Число реальное и полезное инвестору, но оно измеряет продажи, а не обучение, и продуктовой команде ничего не говорит о том, какой модуль перемонтировать. Даже его динамику можно читать по-разному: рынок растёт, но рост замедляется – +32% в 2023 году, +19% в 2024-м, +12% в 2025-м [5]. Число достаточно крупное, чтобы впечатлять, и слишком далёкое от вашего курса, чтобы по нему действовать. Приводите такие цифры для контекста, но не для решений.

Откуда берутся числа: стек аналитики

Метрике можно доверять, только если путь данных от экрана учащегося до дашборда чистый. Понимая этот путь хотя бы в общих чертах, вы сможете объяснить инженеру, что строить, и заметить, когда вендор на демонстрации уходит от ответа. Стадий пять, слева направо.

Стадия 1: плеер отправляет события. Каждое значимое действие учащегося должно порождать событие: видео запущено, пауза, перемотка на десять секунд назад, контрольная точка пройдена, ответ на тест. Если плеер событие не отправил, этот факт потерян навсегда: нельзя проанализировать то, что не записано. Поэтому дешевле всего решить, что отслеживать, до того как плеер построен.

Стадия 2: стандарт переносит события. Сырым событиям нужен общий язык, понятный любой системе. Основных стандартов три. SCORM (Sharable Content Object Reference Model) – старый универсальный стандарт упаковки курсов. Он записывает фиксированный набор полей (статус завершения, статус успеха, балл, время) внутри одного запуска в системе управления обучением (LMS) и относится к курсу как к чёрному ящику [6]. xAPI (Experience API) записывает открытые «утверждения» в форме предложений «субъект – глагол – объект», например «Мария завершила модуль 3» [7]. Его дополняет xAPI Video Profile: он задаёт точные глаголы, которые должен отправлять плеер (initialized, played, paused, seeked, completed), и данные результата, включая значение progress и played-segments – список реально просмотренных интервалов [8]. Caliper Analytics от организации по стандартам 1EdTech задаёт сопоставимый MediaEvent для взаимодействий с видео с отметкой текущего времени воспроизведения; стандарт создан, чтобы организации могли «собирать данные об обучении из цифровых ресурсов, чтобы понимать и визуализировать» их [9]. xAPI и Caliper не взаимозаменяемы: само сообщество разработчиков стандартов советует выбирать инструмент под задачу, а не по принципу «или – или» [9].

Стадия 3: хранилище принимает события. Утверждения xAPI записываются в Learning Record Store (LRS) – что-то вроде журнала, куда заносят эти предложения. LRS – отдельная система с веб-интерфейсом для приёма, хранения и выдачи утверждений; этот интерфейс стандартизирован как IEEE 9274.1.1-2023 – ратифицированная версия xAPI [10]. Данные SCORM, напротив, оседают внутри LMS, которая запустила курс. В хранилище «событие произошло» превращается в «факт, который можно запросить».

Стадия 4: хранилище данных связывает источники. Учебная запись сама по себе отвечает только на учебные вопросы. Бизнес-вопрос (выросли ли продажи после обучения, стало ли меньше инцидентов по технике безопасности или обращений в поддержку) требует, чтобы данные обучения лежали рядом с данными HR, CRM или операционной деятельности. Это происходит в хранилище данных – обычно в собственном аналитическом конвейере, например на ClickHouse в российском облаке или на своих серверах. Там утверждения из LRS объединяются с остальными данными организации, и становятся видны тренды на стыке систем. Счётчики веб-аналитики общего назначения вроде Яндекс Метрики созданы для маркетинга (визиты, источники трафика, конверсии) и учебную запись не заменяют. Только на этой стадии итоги уровней 3 и 4 модели Киркпатрика вообще становятся измеримыми [4].

Стадия 5: дашборд превращает факты в решения. На последней стадии человек читает результат и действует. У типичного провала здесь есть название в исследованиях: дашборд может повышать осведомлённость, не меняя поведения, – это «последняя миля», на которой аналитика заканчивается выводом, а не действием [11]. Полезный дашборд не останавливается на графике: он показывает сегмент, вероятную причину и рекомендуемое действие.

Нажмите, чтобы увеличить

Важнейшее следствие этой схемы: ваши метрики ограничены самой слабой стадией выше по потоку. Если плеер отправляет только «completed», ни хранилище, ни дашборд не восстановят кривую оттока. Если вы выбрали голый SCORM, посекундная видеоаналитика недоступна, каким бы хорошим ни был инструмент отчётности. Таблица ниже показывает, что может и чего не может передать каждый стандарт; сверяйтесь с ней, прежде чем обещать руководству тепловую карту.

Если в дорожной карте обещаны тепловые карты вовлечённости или посекундная статистика по видео, голый SCORM их не даст: нужен xAPI Video Profile или Caliper, а плеер должен отправлять эти события с первого дня. Подробнее о трекинге видео – в статье Трекинг видео через xAPI, а о построении всего конвейера (схема данных, сэмплирование, хранение) – в статье Создание конвейера аналитики обучения.

Полезные метрики для разных читателей

Одни и те же данные нужны трём аудиториям, и каждой нужен свой срез, поэтому «один дашборд для всех» – тоже мягкая форма ловушки тщеславия. Учащемуся нужно видеть прогресс, текущий уровень освоения и один следующий шаг – обратную связь, которая помогает скорректировать курс. Преподавателю или методисту нужны состояние когорты, отток по модулям и сложность вопросов – сигналы о том, какой контент исправлять. Бизнесу нужны завершение как подтверждение соответствия требованиям, освоение как доказательство компетентности и, если бюджет оправдывает интеграцию систем, данные об изменении поведения и результатах, показывающие, что обучение повлияло на итог. Принцип для всех троих один: показывайте метрику, привязанную к решению этого читателя, и ничего больше. Как проектировать такие отчёты, чтобы ими действительно пользовались, – отдельная тема, разобранная в статье Отчётность по обучению.

Частые ошибки

Измерения в e-learning – минное поле, и одни и те же ошибки повторяются почти в каждой команде.

Главная ошибка – показывать метрику, которую легко получить, вместо той, что действительно важна: выводить «всего просмотров», потому что плеер отдаёт его бесплатно, и при этом не собирать кривую оттока, которая реально помогла бы улучшить курс.

Вторая по частоте – дашборд, который визуализирует, но ничего не рекомендует. Команды покупают инструмент отчётности, заполняют экран графиками и через несколько месяцев обнаруживают, что ничего не изменилось: ни один график не подсказал действия. Исследователи называют это разрывом между осведомлённостью и поведением, практики – «много дашбордов, мало решений» [11].

Третья – доверять среднему и игнорировать распределение: те самые 81%, за которыми спрятался проваленный модуль 3. Всегда смотрите на форму распределения, а не только на центр.

Четвёртая – не собирать ничего до запуска. Пропущенные события не восстановить: данные, не записанные в этом квартале, потеряны навсегда. Хранение стоит дёшево, утраченная история бесценна, поэтому настройте плеер на отправку подробных событий с первого релиза, ещё до того, как появится дашборд.

Пятая (и причина дисклеймера в начале статьи) – думать о приватности данных учащихся в последнюю очередь. Записи, связанные с конкретным учащимся, – это персональные данные по 152-ФЗ «О персональных данных». Отсюда три инженерных ограничения. Согласие на обработку с 01.09.2025 оформляется отдельно от иных документов (ч. 1 ст. 9), а за несовершеннолетнего его дают законные представители. С 01.07.2025 сбор и хранение персональных данных граждан России в базах за рубежом запрещены (ч. 5 ст. 18), поэтому LRS, хранилище и любые сторонние сервисы, куда уходят события с идентификатором учащегося, должны работать на серверах в России. Биометрические данные (лицо, голос) требуют письменного согласия (ст. 11) и отдельного режима обработки. Главная защита – минимизация данных: 152-ФЗ требует, чтобы обрабатываемые данные не были избыточными по отношению к цели (ч. 5 ст. 5). Собирайте минимальный объём, достаточный для ответа на реальный вопрос, и определите срок хранения до начала сбора. Утечка обходится дорого: штрафы для компаний – от 3 млн ₽, а за повторную – 1–3% выручки [12]. Правовые вопросы подробно разобраны в статье Данные прокторинга, приватность и правовой ландшафт в России – прочитайте её, прежде чем загружать данные учащихся в хранилище.

Где здесь Фора Софт

Фора Софт с 2005 года разрабатывает ПО для видеостриминга, связи в реальном времени на WebRTC и интерактивных плееров. В e-learning работа с аналитикой редко сводится к графику в конце: главное – так подключить плеер, чтобы нужные события уходили в нужный стандарт и нужная метрика вообще могла появиться. Выбор между «построить» и «купить» обычно выглядит так. Готовая LMS бесплатно даёт стандартные, в основном описательные дашборды. Но как только нужна диагностическая или предписывающая аналитика по видео – тепловые карты оттока, свои правила освоения, связь данных обучения с бизнес-итогами, – приходится строить интерактивный плеер, конвейер xAPI или Caliper и хранилище данных. Мы помогаем командам понять, какие метрики действительно оправдывают такую разработку, а затем строим трекинг, который делает эту аналитику возможной. Тот же подход мы применяем в проектах с видео в реальном времени и стримингом: в конференцсвязи, телемедицине и OTT.

Ключевые выводы

• Аналитика обучения превращает данные в решения; определение 2025 года ставит в центр «действенные выводы».
• Метрики тщеславия – просмотры, входы, «просмотрено 100%», записи, сырые средние – растут, но ни на что не влияют.
• Метрика важна, если она привязана к решению, сегментируется, связывает опережающий сигнал с запаздывающим и воспроизводима.
• Поднимайтесь по лестнице: описательная → диагностическая → прогнозная → предписывающая аналитика; метрики тщеславия застревают на первой ступени.
• Метрики ограничены качеством данных на входе: голый SCORM не даст посекундной статистики по видео, её должен отправлять плеер.
• Настройте сбор подробных событий с первого дня: пропущенные данные не наверстать.

Что почитать дальше

• Основы метрик обучения: завершение, прогресс, освоение, вовлечённость
• Показатель завершения: определение, измерение, улучшение
• Создание конвейера аналитики обучения