Метрики здоровья продукта: почему NPS и COR больше недостаточно

Зайдите в кабинет любого Product Manager в EdTech, и на дашборде вы увидите «Святую Троицу» метрик:

1. Выручка (Revenue/Sales).
2. Доходимость (COR — Completion Rate).
3. Индекс лояльности (NPS — Net Promoter Score).

Кажется, что если эти показатели растут, то школа успешна. Но в доказательном образовании мы знаем горькую правду: эти метрики почти ничего не говорят о качестве обучения. Студент может купить курс (Выручка), прокликать все уроки до конца, не вникая (COR), и поставить 10 баллов просто потому, что спикер был харизматичным (NPS). При этом его профессиональные навыки не изменились ни на йоту.

В этой статье мы разберем, почему популярные метрики врут («Эффект доктора Фокса») и как внедрить модель LTEM (Learning-Transfer Evaluation Model), чтобы измерять реальный результат.

NPS (Net Promoter Score) — метрика, пришедшая из ритейла. Она отвечает на вопрос: «С какой вероятностью вы порекомендуете нас другу?». Проблема в том, что в образовании студент часто не компетентен оценить качество продукта сразу после завершения.

В 1970-х годах был проведен знаменитый эксперимент, известный как «Эффект доктора Фокса». Актер (под видом доктора Фокса) читал лекцию, состоящую из наукообразной бессмыслицы, но делал это с невероятной харизмой, юмором и уверенностью. Слушатели (реальные студенты и даже психиатры!) высоко оценили лекцию, заявив, что узнали много нового.

Высокий NPS часто означает: «Мне было весело», «Спикер классный», «Платформа удобная». Это метрики Edutainment (развлечения), а не образования. Они важны для маркетинга, но опасны для методиста. Если мы оптимизируем курс под NPS, мы рискуем упростить контент до уровня стендапа, убрав «полезную сложность», необходимую для обучения.

Источники:

• Naftulin, D. H., Ware, J. E., & Donnelly, F. A. (1973). The Doctor Fox Lecture: A Paradigm of Educational Seduction
• Sitzmann, T., et al. (2008). A review of the effects of learner control and web-based training (Мета-анализ: корреляция между «нравится» и «научился» равна 0.09, то есть почти отсутствует)

Доходимость курса считается «королевой метрик». Но давайте честно: что означает COR 80%? Это значит, что 80% пользователей открыли последний урок. Это не значит, что они сделали домашку, поняли материал или смогут его применить. В корпоративном обучении высокий COR часто достигается административным ресурсом («не пройдешь курс — не получишь премию»). В B2C — геймификацией и упрощением заданий.

COR — это метрика вовлеченности, но не компетентности.

Уилл Тальхаймер, один из ведущих исследователей оценки обучения, раскритиковал классическую модель Киркпатрика и предложил более точную модель — LTEM (Learning-Transfer Evaluation Model). Она состоит из 8 уровней. Нас интересуют верхние уровни, к которым должна стремиться современная школа.

• Уровень 1−3: Посещаемость, Активность, Восприятие (это наши COR и NPS). Это база, но не результат.
• Уровень 4: Знания (Knowledge). Студент помнит термины и факты. (Проверяется тестом).
• Уровень 5: Компетенция принятия решений (Decision-Making Competence). Студент может принимать верные решения в симуляции. (Проверяется кейсом или тренажером).
• Уровень 6: Компетенция выполнения задачи (Task Competence). Студент может выполнить реальное действие. (Написать код, составить план урока).
• Уровень 7: Трансфер (Transfer). Студент применяет навык в реальной работе спустя время.
• Уровень 8: Влияние (Effects of Transfer). Обучение повлияло на бизнес-показатели или жизнь студента (повысили зарплату, выросла выручка компании).

Настоящее «здоровье» продукта измеряется на уровнях 5, 6 и 7.

Источник: Thalheimer, W. (2018). The Learning-Transfer Evaluation Model: Sending Messages to Enable Learning Effectiveness

Многие скажут: «Это сложно и дорого». Но есть доступные инструменты:

1.Отложенный опрос (Follow-up Survey). Не спрашивайте мнение сразу после курса. Настройте автоматическое письмо через 30, 60 и 90 дней после выпуска:

• «Использовали ли вы навыки из модуля X в работе?»
• «Если да, приведите пример».
• «Если нет, что помешало?» (Это покажет барьеры среды).

2. Capybara-тесты (Assessment of Competence). Вместо теста «выбери правильный ответ» внедряйте сценарные задания. «Клиент написал гневное письмо (вот текст). Напиши ответ, используя алгоритм из лекции». Это проверка Уровня 5 и 6.

3. Анализ артефактов. Если вы учите дизайнеров, метрика — это не тест по теории цвета, а качество портфолио, собранного на курсе. Создайте рубрикатор оценки финальных проектов и следите за динамикой среднего балла по этому рубрикатору от потока к потоку.

Если мы не можем измерить трансфер напрямую (сложно дозвониться до выпускника), мы смотрим на LTV (Lifetime Value) и Repeat Purchase Rate (процент повторных покупок).

В образовании работает правило: «Первый курс продает маркетинг, второй курс продает продукт». Если студент прошел курс, поставил высокий NPS, но больше никогда ничего у вас не купил — значит, он не получил ощутимой пользы (Impact). Он мог развлечься, но его жизнь не изменилась. Если студент возвращается — это лучший сигнал, что трансфер знаний произошел, и он монетизировал этот навык, поэтому готов инвестировать в себя снова.

Переход от «метрик тщеславия» (Vanity Metrics) к «метрикам доказательности» болезнен. Скорее всего, вы обнаружите, что ваш реальный образовательный результат ниже, чем казалось. Но именно эта честность позволяет создавать продукты, которые не просто продаются, а меняют карьеру и мышление студентов. Начните с малого: добавьте в финальную анкету вопрос не «Понравилось ли вам?», а «Какую одну конкретную задачу вы теперь сможете делать лучше?».