Оценивание, рубрики и передача оценок

Коротко

Балл за задание в видеокурсе ничего не стоит, пока не попал в официальный журнал оценок – тот, которому доверяет учебное заведение или компания. Доставка туда решается стандартами, а не записью в собственную базу. Работ здесь две: вычислить оценку (просто для теста с выбором ответа, сложно для эссе или записанной демонстрации навыка) и передать её в систему, которая считается источником истины. Современный способ передачи – LTI Advantage Assignment and Grade Services (AGS) 2.0, стандарт 1EdTech: инструмент по защищённому соединению записывает балл в нужный столбец журнала. Для самодостаточных пакетов ту же роль играют cmi5 и SCORM: они сообщают балл той LMS, которая их запустила. Граница между «построить» и «купить» здесь чёткая: механику передачи берите из сертифицированной библиотеки, журналом оставьте LMS, а сами отвечайте за то, что оценка означает.

Почему это важно

Именно оценивание превращает «приятный видеокурс» в систему, от которой зависят зачёт и деньги. Оценка, которая не дошла до журнала, – это уже не технический сбой, а спорный зачёт, проваленный аудит или возврат оплаты. Статья объясняет, как устроено оценивание в обучающей платформе: как вычисляется балл, где он должен храниться и как возвращается в LMS, которой доверяет организация. Она написана для руководителя L&D, основателя или продакт-менеджера, который проектирует оценивание, решает, что строить, а что интегрировать, и обсуждает это с инженерами и методистами. Опытный инженер LMS найдёт здесь все стандарты с точными версиями.

Цикл оценивания: четыре шага, один из которых все забывают

Начнём с общей картины: любая функция оценивания укладывается в один и тот же цикл.

Учащийся выполняет оцениваемое задание: отвечает на вопросы внутри видео, сдаёт работу, проходит симуляцию. Подсчёт превращает результат в число или в «зачёт/незачёт», и появляется запись оценки. Дальше идёт шаг, о котором команды вспоминают только после жалобы клиента: результат нужно передать обратно в систему, которую организация считает источником истины. Обычно это система управления обучением (LMS) – платформа, где хранятся курсы, записаны учащиеся и ведётся официальный журнал. В конце оценка попадает в аналитику обучения и, если курс это предусматривает, превращается в сертификат или значок.

Нажмите, чтобы увеличить

Большая часть усилий обычно уходит на интерфейс теста и логику подсчёта, а ценность появляется только на последних шагах. Балл, который знает ваша платформа, но не может доставить в журнал организации, для заказчика просто не существует.

Два способа оценивать, и простой из них только один

За словом «оценивание» скрываются две очень разные задачи, и путаница между ними – самая частая ошибка на этапе проектирования.

Автоматическая проверка подходит для объективных вопросов: выбор ответа, верно/неверно, числовой ответ, сопоставление. Правильный ответ известен заранее, поэтому компьютер проверяет мгновенно и каждый раз одинаково. Стандарт совместимости здесь – QTI (Question and Test Interoperability) от 1EdTech, сейчас в версии 3.0. Он описывает вопрос, правильный ответ и правило обработки ответа (response processing), по которому ответ превращается в итоговый балл. Правило детерминировано, поэтому автопроверка масштабируется на миллион учащихся без дополнительных затрат и никогда не противоречит сама себе.

Оценивание по рубрике нужно там, где машина не может однозначно проверить работу: эссе, записанная презентация, файл проекта, клиническая ролевая игра на видео. Рубрика – это руководство по оценке: набор критериев (скажем, «ясность», «аргументация», «подача»), у каждого свои уровни и баллы, чтобы разные проверяющие оценивали одну работу одинаково. Рубрика делает суждение человека более последовательным, но не заменяет его. Об этом вендоры обычно молчат: единого общепринятого стандарта совместимости для самой оценочной рубрики, аналогичного QTI для объективных вопросов, не существует. В QTI есть rubricBlock, но в нём лежат указания рубрики для экзаменуемого или проверяющего, а не механизм, который применяет рубрику и вычисляет обоснованную оценку. Модели рубрик у каждой платформы в основном свои: в Moodle – собственный формат среди расширенных методов оценивания, у корпоративных LMS и самописных ЭИОС вузов – тоже свои. Поэтому оценивание по рубрике – это проверяющий-человек или ИИ-помощник, который предлагает балл на подтверждение человеку. И никогда не скрытая автоматическая оценка, на которую можно опереть сертификацию.

Нажмите, чтобы увеличить

От этого разделения зависит оценка трудозатрат. Автопроверка объективных вопросов – решённая и дешёвая задача, её стоит взять из готового движка с поддержкой QTI. Оценивание по рубрике – задача процесса: очереди проверяющих, калибровка, модерация, апелляции. Этот процесс вместе с контролем подсказок ИИ и составляет основную инженерную работу.

«Частая ошибка: обещать, что «ИИ автоматически оценит эссе». Языковая модель может набросать балл по рубрике и полезный комментарий, и это действительно экономит время проверяющих. Но если считать число от машины окончательной оценкой на важном экзамене, вы получите предвзятость, попытки обмануть систему и апелляции, которые нечем будет отбить. Всё, что идёт в зачёт, должен подтверждать человек, а система – фиксировать, кто именно подтвердил балл.»

Где на самом деле хранится оценка?

Прежде чем передавать оценку, нужно решить, где её место. Ответ «в нашей базе» по умолчанию неверен.

Официальный журнал (источник истины) – единственная система, где оценка имеет силу. В вузе или корпоративной программе обучения это почти всегда LMS: там уже ведутся зачисление, зачёты и отчётность. У вуза это электронная информационно-образовательная среда (ЭИОС), которую организация обязана создать по ч. 3 ст. 16 закона «Об образовании» (273-ФЗ). Часто она построена на Moodle или на собственной платформе вроде SmartLMS НИУ ВШЭ. В корпоративном обучении это LMS вроде WebTutor, iSpring Learn или Mirapolis. Ваш видеоинструмент может вычислять балл, но главным остаётся журнал LMS: инструмент пишет в него, а не конкурирует с ним.

Ещё три хранилища держат копии для своих задач, и если чётко разделить их роли, не придётся разбирать тикеты «какое число правильное?». Собственная база вашего инструмента хранит рабочий балл, пока идёт проверка. Learning Record Store (LRS) – хранилище xAPI-утверждений вида «Мария получила 0,9 за итоговый тест» – держит подробную историю событий для аналитики, но не официальную оценку. Хранилище данных держит агрегированную копию для дашбордов и бизнеса. Авторитетна одна система, остальные производны. Зафиксируйте это до интеграции: ошибки в оценивании почти всегда сводятся к расхождению между копиями.

У итоговой оценки бывают и внешние потребители. Если аттестация по программе дополнительного профессионального образования (ДПО) заканчивается выдачей удостоверения о повышении квалификации или диплома о профессиональной переподготовке, организация вносит сведения о документе в федеральный реестр ФИС ФРДО – с 01.09.2025 в течение 30 дней со дня выдачи. Результаты проверки знаний по охране труда работодатель или учебный центр вносит в реестр обученных лиц ЕИСОТ Минтруда, по данным практиков – в течение 3 рабочих дней. Выгрузка в реестры должна брать итог из официального журнала, а не из рабочей копии в вашем инструменте.

Как оценка возвращается: стандарты

Теперь о доставке. Как балл попадёт в официальный журнал, зависит от того, как ваше задание связано с LMS. Вариантов два.

Инструмент запускается *внутри* LMS: LTI Advantage AGS

Допустим, оценивание в видео работает как внешний инструмент, который запускает LMS. Это модель LTI: инструмент получает защищённый «гостевой пропуск» и работает внутри Moodle, ЭИОС вуза или корпоративной LMS на правах доверенного. Тогда оценки возвращаются через LTI Advantage Assignment and Grade Services (AGS) версии 2.0 – стандарт 1EdTech (Final Release от 16 апреля 2019 года). AGS пришёл на смену старому сервису LTI 1.1 Basic Outcomes, который 1EdTech признал устаревшим. В Moodle поддержка LTI 1.3 встроена, а приём оценок от внешнего инструмента включается в его настройках. У других российских LMS и ЭИОС поддержку LTI Advantage уточняйте у вендора до подписания договора: публично её заявляют немногие.

AGS даёт инструменту три небольших веб-сервиса, у каждого своё разрешение – область доступа OAuth 2.0 (scope), то есть именованный ключ, который определяет, что разрешено вашему токену:

• Сервис Line Item управляет столбцами журнала. Line item – это один столбец, то есть одно оцениваемое задание. Инструмент может создать столбец сам (scope …/lti-ags/scope/lineitem) или получить его при настройке через LTI Deep Linking, чтобы преподавателю не пришлось добавлять его вручную.
• Сервис Score публикует балл одного учащегося в этот столбец (scope …/lti-ags/scope/score).
• Сервис Result читает результаты (scope …/lti-ags/scope/result.readonly), только GET: инструмент видит результат так же, как журнал, но перезаписать его через этот сервис не может.

Балл, который отправляет инструмент, – небольшое JSON-сообщение (media type application/vnd.ims.lis.v1.score+json). Два его поля ломают больше интеграций, чем все остальные вместе взятые, поэтому заполняйте их точно. activityProgress показывает, насколько учащийся продвинулся в задании: Initialized, Started, InProgress, Submitted или Completed. gradingProgress показывает, на каком этапе проверка: FullyGraded, Pending, PendingManual, Failed или NotReady. LMS считает число окончательной оценкой, только когда gradingProgress равно FullyGraded. Отправьте идеальный балл с gradingProgress: Pending, и учащийся не увидит зачтённой оценки. Это и есть главная причина жалоб «оценка не появилась».

Нажмите, чтобы увеличить

POST {lineitem_url}/scores
Content-Type: application/vnd.ims.lis.v1.score+json

{
  "userId": "learner-9f3a",
  "scoreGiven": 90,
  "scoreMaximum": 100,
  "activityProgress": "Completed",
  "gradingProgress": "FullyGraded",
  "timestamp": "2026-06-21T14:05:00Z",
  "comment": "Видеотест, модуль 4"
}

Курс – самодостаточный пакет: cmi5, SCORM, xAPI

Если курс – это пакет, который LMS импортирует и запускает сама (а не внешний инструмент, работающий онлайн), балл передаётся через стандарт упаковки. Стандарты подробно разобраны в статьях SCORM: объяснение, xAPI: объяснение и cmi5: объяснение; здесь – только о том, как каждый из них передаёт оценку.

SCORM записывает балл в LMS через фиксированную модель данных среды выполнения. В SCORM 1.2 есть один элемент статуса cmi.core.lesson_status (значения passed, completed, failed, incomplete) и балл 0–100 в cmi.core.score.raw. SCORM 2004 делит статус на два: cmi.completion_status (completed / incomplete) и cmi.success_status (passed / failed), а также добавляет нормированный cmi.score.scaled от −1 до 1. Разделение важно: учащийся может досмотреть все видео и всё равно провалить тест. SCORM 2004 умеет это выразить, а 1.2 – нет.

xAPI (Experience API) передаёт оценку в объекте result утверждения: score с полями scaled (от −1 до 1), raw, min и max, а также булевы success (зачёт/незачёт) и completion. Эти поля намеренно повторяют SCORM 2004, а само утверждение попадает в ваш LRS.

cmi5 – мост между ними: профиль xAPI, который задаёт точный набор утверждений, ожидаемых LMS от запущенного курса (Passed, Failed, Completed и другие). Так упакованный курс сообщает зачёт/незачёт и балл стандартным образом. cmi5 вводит проходной балл (mastery score) – порог, который задаёт LMS, и спецификация здесь строга: если утверждение Passed содержит scaled-балл, он должен быть не ниже mastery score, переданного курсу при запуске. Курс не может объявить зачёт ниже планки, которую установила организация.

Сравнение на одном экране

Нажмите, чтобы увеличить

Какой стандарт выбирать в каждом случае, подробно разобрано в статье SCORM, xAPI, cmi5, LTI: какой стандарт.

Арифметика, которая ломает передачу оценок

На числах это видно лучше, чем в описании, поэтому разберём пример. Допустим, учащийся верно ответил на 18 из 20 вопросов во встроенном видеотесте.

сырой балл    = 18 верных из 20
scaled-балл   = 18 ÷ 20 = 0.9        (нормированная форма 0–1, как в xAPI и SCORM 2004)

Столбец в журнале рассчитан на 100 баллов. Чтобы передать через AGS правильную оценку, пересчитайте результат к максимуму столбца:

scoreGiven    = 0.9 × 100 = 90
scoreMaximum  = 100
→ учащийся видит 90 / 100 = 90%      ✓

Теперь ошибка. Уставший инженер записывает в scoreGiven scaled-значение, но оставляет scoreMaximum равным 100:

scoreGiven    = 0.9                  (scaled-значение не в том поле)
scoreMaximum  = 100
→ учащийся видит 0.9 / 100 = 0.9%    ✗  – и так у всей группы

Спецификация AGS разрешает платформе пересчитать scoreGiven к максимуму line item, поэтому согласованная пара (scoreGiven: 9, scoreMaximum: 10) – это нормально: платформа сама её переведёт. Всё ломает несогласованная пара: scaled-число от 0 до 1 рядом с максимумом в баллах. Выберите одно правило – отправлять сырые баллы с соответствующим максимумом, – и тикеты «у всех незачёт» исчезнут.

Вторая шкала появляется на выходе. В школах и вузах итоговую отметку часто ставят по пятибалльной шкале или как «зачёт/незачёт», а правило перевода процентов в отметку («от 85% – отлично») задаёт локальный акт организации. Храните это правило в одном месте – в журнале LMS, – а инструмент пусть отправляет сырые баллы. Иначе каждая интеграция переведёт 84,5% по-своему, и спор об оценке превратится в спор о коде.

«Частая ошибка: считать оценкой «просмотрел 100% видео». Время просмотра говорит о вовлечённости, а не об усвоении материала; завершение – не балл. У каждой метрики своё поле: прогресс видео – completion, результат теста – score. Иначе вы будете выдавать сертификаты за нажатие кнопки «play». Эту же путаницу разбирает статья Основы метрик обучения.»

Построить или купить: где проходит граница

Это решение стоит принять первым: от него зависит дорожная карта. Механика передачи – защищённое рукопожатие LTI 1.3, токены OAuth 2.0, вызовы AGS для line item и score, среда выполнения SCORM и cmi5 – кропотлива, критична для безопасности и сертифицируется 1EdTech и ADL по наборам тестов на соответствие. Писать её с нуля – верный способ выпустить интеграцию, которая проходит ваше демо и падает в LMS клиента. Для этого слоя купите решение или возьмите сертифицированную библиотеку, а журналом оставьте LMS.

Собственную разработку стоит вкладывать в то, что специфично для продукта и определяет смысл оценки: логику подсчёта баллов в вашем задании, рубрики и процесс проверки, сопоставление задания со столбцом журнала и правило, что считать «сдал». Прикидка затрат: сертифицированная библиотека LTI Advantage и интеграция с ней – порядка нескольких инженеро-недель. Собственный стек AGS, SCORM и cmi5 того же уровня соответствия – это инженеро-месяцы на старте и постоянные расходы на сопровождение при каждой смене версий спецификаций. Почти всем дешевле и безопаснее купить механику, а суждение оставить за собой. Та же логика – в статье Построить, купить или расширить LMS.

«Частая ошибка: строить передачу оценок на LTI 1.1 Basic Outcomes в 2026 году. Сервис устарел, передаёт лишь один балл от 0 до 1 без статуса проверки и лишает вас line items и подробных результатов. Новые проекты делайте на LTI Advantage AGS.»

Где здесь Фора Софт

Фора Софт делает продукты для обучения, оценивания и видео, в которых оценка должна без потерь доходить до реального журнала организации. Наша ценность редко в новом алгоритме подсчёта – она в инженерных решениях о том, как правильно подключить оценивание: публиковать через LTI Advantage AGS с верным gradingProgress, сопоставлять встроенный видеотест с line item, оставлять LMS официальным журналом, а историю для аналитики хранить в LRS, проектировать рубрики и процесс проверки так, чтобы за важные баллы отвечал человек. Мы помогаем командам решить, что купить (сертифицированную механику передачи) и за что отвечать самим (за смысл оценки), чтобы в журнал вовремя приходило верное и обоснованное число.

Главное

• Оценивание – это две задачи: вычислить оценку (сложно для открытых работ) и доставить её в официальный журнал LMS или ЭИОС. Оттуда же итог уходит в ФИС ФРДО или ЕИСОТ.
• Объективные вопросы проверяйте автоматически через QTI; работа по рубрике требует человека или подсказки ИИ, которую подтверждает человек.
• Инструменты, запущенные внутри LMS, должны возвращать оценки через LTI Advantage AGS 2.0, а не через устаревший LTI 1.1.
• Указывайте gradingProgress: FullyGraded, иначе LMS не засчитает балл.
• Согласуйте шкалу балла с максимумом столбца: scaled 0,9 при максимуме 100 превращается в 0,9%.
• Покупайте сертифицированную механику передачи; логику подсчёта и правило «сдал» держите у себя.

Что почитать дальше

• LTI: объяснение – запуск инструментов внутри любой LMS – модель запуска и безопасности, на которой держится передача оценок через AGS.
• cmi5: объяснение – мост между SCORM и xAPI – как упакованный курс сообщает зачёт/незачёт и балл.
• Сертификаты, значки и верифицируемые удостоверения – что может запустить проходная оценка.