Вопрос этот сегодня актуален как никогда, поскольку всем срочно пришлось переключиться на онлайн формат повышения знаний. Для нас же он всегда стоял остро, так как мы компания обучающая и постоянно отслеживаем качество своих курсов. Поэтому решили поделиться набором метрик, которые решают эту непростую на первый взгляд задачу.
Одной из самых больших проблем онлайн обучения является мотивация участников к прохождению курса до конца. Поскольку редкая «птица» долетает до финала, а бОльшая часть отсеивается в процессе. Поэтому обязательно необходимо смотреть на % участников, завершивших обучение (по отношению к общему числу зарегистрировавшихся). Можно также проанализировать отдельные срезы: % участников, завершивших курс за отведенное время и после него. Интересно посмотреть и на разные сегменты обучающихся: есть ли разница между мужчинами и женщинами, молодыми и опытными сотрудниками, участниками из разных регионов и т.п.
Немаловажным фактором при оценке онлайн курсов является уровень прогресса участников. Он позволяет оценить вовлеченность обучающихся и отвечает на вопросы: 1) подключался ли к курсу участник, если да, то как часто и в какое время 2) скорость прохождения курса (например, в среднем за 1,5 мес) и его отдельных блоков (например, в среднем 2 тематических блока в неделю) 3) этапы и моменты, когда участник «отваливался» от курса 4) итоговый процент пройденного каждым из участников от общего материала за все время обучения. Легко измерить эти составляющие можно в случае, если у вас есть LMS система, которая в автоматическом режиме позволяет отследить каждый из параметров. В противном случае, информацию придется собирать вручную.
Качество онлайн обучения можно оценить на основе прохождения тестовых заданий и квизов. Для этого необходимо установить нормативный уровень выполнения заданий и тестов. Также полезно сравнивать оценки каждого из участников с медианой и средней по всей группе. Особое внимание следует обратить на те вопросы, где группа отвечала лучше и хуже всего. Это может быть вызвано ошибками в формулировках заданий, либо неправильной подачей материала по теме.
Неплохо также измерить удовлетворенность участников. Помимо стандартной анкеты удовлетворенности, можно оценить уровень NPS - индекс потребительской лояльности. Для этого надо задать участникам обучающей программы один-единственный вопрос: «Готовы ли вы рекомендовать данный курс своим друзьям и знакомым? Оцените, пожалуйста, вероятность рекомендации по шкале от 0 до 10, где 10 – вне всяких сомнений буду рекомендовать, 0 — ни за что не порекомендую». Далее все ответы распределяют на группы: критики – поставившие оценку от 0 до 6, нейтралы – оценившие на 7–8, промоутеры – выбравшие 9 и 10. Затем вычисляют процент респондентов в каждой группе от общего числа ответивших и из процента промоутеров вычитают процент критиков. В итоге получают NPS. Полезно анализировать динамику этого показателя, сравнивать его по разным учебным курсам, а также с данными конкурентов (ну, разумеется, в случае их наличия:)).
Если вы не назначаете курсы участникам, а они имеют выбор при зачислении на курс, либо, если вы внешний провайдер обучения, и ваш курс покупают на рынке, то можно также оценить популярность курса по количеству его подписчиков/покупателей.
Следующая группа метрик призвана оценить ценность полученных знаний, умений и навыков, поэтому требует больших трудозатрат при расчете. В первую очередь, необходимо оценить применимость полученных ЗУНов на практике. Сделать это проще, если вы внутренний тренер и наблюдаете участников внутри организации, либо можете провести исследование на эту тему в компании. В частности, можно опросить руководителей сотрудников, которые прошли обучение, также можно оценить разницу в производительности обучающихся до и после проведения программы (например, у сейлзов сделать это достаточно просто). Если вы внешний провайдер, то можно предложить заказчику провести подобную оценку на его территории. В случае, если обучающихся много, всегда поможет старая добрая выборка, либо использование контрольных групп. Однако, к сожалению, пресловутая коммерческая тайна нередко встает здесь у нас на пути, и заказчик не решается «копать тему» настолько глубоко. Кроме того, сделать это в случае, когда участник – физическое лицо, практически невозможно. Остается только предложить спросить его субъективную оценку.
Следующий шаг – оценка влияния обучения на бизнес-показатели работы компании. Это уже практически высший пилотаж, который предполагает, что вы сможете вычислить, как изменились такие показатели, как выручка, прибыль, затраты, производительность труда, объем продаж, объем производства и т.п. метрики после прохождения обучения сотрудниками компании. А кроме того, вы сможете доказать, что эти изменения произошли именно благодаря проведенному курсу. И вот здесь уже приветствуется креативность. Ну, и конечно, как обычно есть свои ограничения, особенно в случае с тренингами soft skills.
И как вишенку на торте в довершении всего можно рассчитать показатель возврата инвестиций на онлайн обучение – ROI. Формула его расчета довольно проста, выгоды от обучения надо разделить на его затраты и выразить все это в процентах. И чем лучше здесь вам удастся рассчитать и обосновать оценку влияния обучения на бизнес-показатели работы компании (см выше), тем более адекватным будет выглядеть полученный показатель ROI. Не удивляйтесь, если он будет равен 400% или даже 1000%. Для ROI обучения – это нормально. Вот только жаль, что мало кто его считает на нашем рынке, а потому сравниться вам будет практически не с кем. Но зато вы сможете собой гордиться (конечно, в случае, если ROI будет положительным):)
