Метрики в образовании.
Метрики сопровождения в обучении

Какие бывают метрики в сопровождении студентов, и зачем они нужны?

Метрика — это показатель, который помогает оценить работу бизнеса в цифровом выражении. Сколько клиентов пришло в этом месяце, какой средний чек, как часто совершаются повторные покупки — все эти показатели влияют на принятие бизнес-решений и демонстрируют точки роста. Сейчас о метриках и о методах их достижения говорят из каждого угла, в том числе в сфере EdTech.

Метрики в EdTech можно разделить на три крупных зоны влияния:

1. Деньги.
2. Успеваемость.
3. Удовлетворенность.

Они не обособлены, постоянно влияют друг на друга и собираются в единую пирамиду метрик — индивидуальную для каждой конкретной компании.

А какие метрики важно анализировать в сопровождении студентов? Давайте разбираться.


Деньги

Когда студент покупает образовательный продукт, его путь в сопровождение только начинается. И тут на сцену выходит первая метрика, одна из важнейших в EdTech — Completion Rate (CoR или CR).

Интересно, что эту метрику можно смотреть под разными углами.

1. На курсах, где невыполнение заданий не стопорит открытие последующих уроков или нет понятия отчисления студента, CoR может существовать без привязки к успеваемости и по сути показывать так называемую финансовую доходимость. То есть тех, кто заплатил за обучение, не вернул деньги и, скорее всего, прослушал курс.
2. На курсах, где новый контент открывается только после освоения предыдущего, а за неосвоение в срок студентов отчисляют, CoR напрямую связан с успеваемостью, и те, кто дошли до конца, не только оплатили обучения и прослушали курс, но и усвоили материал.

Важной особенностью CoR является накопительный эффект, особенно если на курсах есть возможность перерывов во время обучения и переводов из потока в поток. Также CoR у только начавшихся потоков выше, чем у окончивших, если студенты могут возвращать деньги в процессе обучения за неосвоенную часть курса.

Если подытожить, CoR — отличный инструмент анализа потокового обучения, однако реально оценить по нему результативность работы с потоком можно только в момент окончания обучения для всех студентов этого потока.
Что же делать, если необходимо ежемесячно контролировать доходимость студентов не точечно, а в целом на курсе? Поможет метрика Churn Rate.

Потеря может выражаться в нескольких вариантах:

1. Потеря процента выручки, которую компания возвращает клиенту за неоказанные или некачественно оказанные услуги от всей выручки.
2. Потеря процента клиентов, которые ушли с курса, запросив возврат, или прекратили оплачивать рассрочку.
3. Потеря процента клиентов, которые не возобновили подписку и сократили срок своей «жизни» в компании от планируемого.

Эту метрику можно смотреть помесячно, поквартально и в целом за год. Она необходима для расчета юнит-экономики курса и является важнейшей денежной метрикой, которая влияет на бизнес-метрики Cash In и Revenue.

Успеваемость

Как говорится, одной доходимостью сыт не будешь, и любому EdTech важно, чтобы студенты оканчивали курс с новыми знаниями и после были востребованы на рынке труда. Поэтому не стоит упускать из внимания метрику успеваемости.
И тут перед нами открывается бескрайнее море вариаций, что именно можно считать успеваемостью.

1. Если в конце курса студент получает сертификат, то нам необходимо считать процент окончивших с сертификатом.
2. Если у студентов нет сертификатов, то должен быть какой-то внутренний трекер успеваемости студента — прослушал столько-то лекций, посетил столько-то воркшопов, просмотрел столько-то уроков. И в итоге мы получаем процент студентов, которые отвечают нашему внутреннему портрету успешного студента.
3. Еще успеваемость — это не всегда сертификат или конкретный порядок выполненных действий. Некоторые студенты не стремятся выполнять зашитые в курс сценарии успешности. Но это не мешает им усваивать материал, например, просмотрев все уроки и просто применив знания у себя на работе без выполнения учебных заданий.

При проектировании любого курса методистам важно подумать о том, под какими углами может рассматриваться успеваемость, и передать эту информацию сопровождению. Что мы будем считать подтверждением успешного прохождения курса? Один ли у нас сценарий успешности?

Ведь задача сопровождения не только в сохранении денег компании, но и в работе с мотивацией, во влиянии на реферальность и в поддержании положительного студенческого опыта.


Удовлетворенность

Представим, что наш студент окончил курс, не забрал деньги и даже получил сертификат или любое другое подтверждение успешного окончания. Но насколько он удовлетворен прожитым опытом?
В оценке этого нам помогут метрики удовлетворенности.

Эта метрика состоит из большого количества измерений, а для ее вычисления необходимо структурировать обратную связь от студента.
На разных этапах курса студента могут просить оценить урок или какое-то учебное событие, контент, лекцию, проставив за них баллы, или предложить дать развернутый ответ на какой-либо вопрос.

Все собранные данные подтягиваются в единую систему CSI, которая подсвечивает как общую удовлетворенность курсом, так и конкретные блоки. Например, через настроенную систему CSI мы можем оценить качество ответов поддержки или сложность конкретного задания, ценность обратной связи от эксперта или интерес, вызываемый практической работой.

Основная сложность CSI — он должен быть всеобъемлющей системой сбора студенческого опыта. И при проектировании CSI-системы очень важно учитывать все, что влияет на удовлетворенность студента, исходя из особенностей курса.
Для команды сопровождения CSI — лучший друг в работе со студентами, ведь он позволяет здесь и сейчас замерять состояние потока или конкретного ученика, чтобы вовремя принять меры по уменьшению рисков оттока или неуспеваемости на курсе.

Помимо глобальной системы CSI, удовлетворенность можно сверять и простыми методами, например короткими опросами в канале коммуникации со студентами по прогрессу или по эмоциональному состоянию.

С его помощью можно оценить уровень лояльности к продукту, а значит, и удовлетворенности.

В EdTech по-разному подходят к моменту появления этого вопроса в студенческом опыте. Кто-то предпочитает спрашивать в конце обучения, кто-то в середине, а кто-то специально выбирает самый нагруженный или сложный период для максимальной чистоты лояльности.

Так как показатель NPS почти всегда в первую очередь про эмоции, он хорошо дополняет CSI с его конкретикой и дает полную картину студенческого опыта.


Что делать команде сопровождения с метриками после сбора и как на них влиять?

В первую очередь у каждого курса должны быть базовые значения, ниже которых бизнесу нельзя опускаться.

• От базовых значений CoR и Churn Rate сильно зависит экономика курса, без них нельзя правильно планировать расходы.
• Базовое значение метрики успеваемости дает качественную оценку продукту, что немаловажно на современном и очень конкурентном рынке EdTech.
• А базовые значения CSI и NPS позволяют спрогнозировать и результаты реферальных программ, и инфополе вокруг курса в виде отзывов.

После того как у команды сопровождения появились базовые значения для каждой метрики, важно выстроить систему влияния. Что именно из происходящего со студентом во время учебы дает базовый результат? Что необходимо подкрутить с учетом вводных по расходам для роста метрик?

Положительное влияние на работу с ростом метрики оказывает закрепленный оунер. Например, за работу с метрикой доходимости на многих курсах отвечают кураторы или комьюнити-менеджеры.

Растить метрику тоже можно по-разному, главное — не идти в сторону «метрика ради метрики».
Каждый раз стоит задавать себе вопрос, зачем растить тот или иной показатель, как это скажется на бизнесе.

Конечно, хочется, чтобы все метрики стремились к 100%, но в реальности это невозможно. Для одних компаний важное УТП — успеваемость студентов, кто-то ставит во главу угла удовлетворенность, а кто-то избирает своей стратегией рост финансового CoR и минимизацию Churn Rate.