Недавняя публикация «Биржа контента и рейтинги. Кому-то нужен открытый рынок e-learning?» вызвала некоторую дискуссию в сообществе e-learning на тему наличия критериев и способов сравнения качества электронных курсов. Сначала появилась информация о том, что есть критерии для так называемого «идеального курса», но потом выяснилось, что все еще очень не просто.
Во-первых, предложенные критерии:
1) формулировка целевой функции (глобального критерия оптимальности);
2) составление перечня форм и средства реализации/поддержки учебного процесса с применением ДОТ;
3) назначение весовых функций по предложенному перечню;
4) оценка предложенных вариантов курса;
5) выбор идеального курса в соответствии с выбранной целевой функцией.
Для меня эти критерии звучат очень абстрактно. Какой может быть анкета по этим критериям, и кто ее будет заполнять? Если с первым еще есть шанс увидеть какие-то примеры от Юрия Николаевича Белоножкина, то с экспертами получается тупик:
«Павел, у меня был более сложный и более структурированный опрос. Если видели мой отчет по этой теме, то у меня целые группы показатели, показаны в многочисленных графиках, и тоже на основе оценок самих обучаемых. При этом практический инструмент тоже показан без всяких “коней в вакууме”.
Что касается экспертных оценок, то проблема не в их отсутствии, а организации работы с ними. Хорошим экспертам надо платить или искать тех, которые согласятся работать за спасибо. Вот и вся практическая идея»
Обязательно посмотрю предложенную анкету, но пока не вижу, как это приблизит к решению практической задачи. К примеру, вот такой:
«1. Заказчику нужен курс. К нему пришли три провайдера – два готовы этот курс за 300-400 т.р. сделать, а один заявляет, что все будет готово и за 100 т.р. Как заказчику сделать выбор?
2. Заказчик выбрал, конечно, того что за 100 т.р. Курс как-то не впечатлил. В другой раз выбрал того, что за 400. Курсы тоже не всех удовлетворил, хотя конечно выглядел “дороже”. Как сравнить эти курсы? Кого выбрать в следующий раз? При этом будем считать, что никаких своих экспертов у заказчика нет… Пока есть понимание, что кроме ОС от сотрудников и руководителей и некой субъективной оценки специалистов учебного центра Заказчика, больше никаких способов сравнения качества интерактивных курсов не придумано…»
Упростил, как мог…
Попробуем разобрать, какие у нашего Заказчика есть варианты.
1) Если это первый опыт привлечения провайдеров для разработки курса, то можно обратиться за помощью к консультанту, только вот далеко не все компании знают, где такого найти (чтобы хоть немного был независимым от какого-то из провайдеров и при этом с достаточным опытом).
2) Можно в первый раз обратить внимание на опыт провайдеров и попросить контакты прежних клиентов. Шансы существенно увеличиваются, но риски все равно остаются – может у провайдера уже вся команда поменялась или у них за тот же результат ставки в несколько раз выше, чем у хорошей, но начинающей компании. Да, и смогу ли бывшие клиенты дать объективную оценку качества сделанных им курсов? А если Заказчику дать примеры – как ему сравнить их самому?
3) Пусть в первом случаем пришлось рискнуть. Пусть мы уже поработали и с дорогим и с дешевым провайдером и можем сравнить эффективность и качество самостоятельно. Как?
Можно для начала собрать обратную связь со всех обучающихся (довольно распространенная практика). К, примеру, в WebTutor можно так настроить курсы, чтобы они не считались завершенными, пока не будет заполнена анкета, ну и отчеты тоже можно сделать удобные, так что весь процесс будет автоматизирован.
Вот пример анкеты, которую я когда-то разработал для этих целей:
* Ваше общее впечатление от курса? (Оценка: 1 min – 10 max; 1 – Нет … 10 – Понравился):
* Полезность: Если курс предназначается для Вас – он может быть полезен для реальной работы/жизни? (Оценка: 1 min – 10 max; 1 – Нет … 10 – Понравился):
* Логика и простота: Информация была предложена Вам системно, логично и просто для понимания? (Оценка: 1 min – 10 max; 1 – Полный хаос … 10 – Логично и просто):
* Полнота информация: Информация в курсе соответствует действительности? (Оценка: 1 min – 10 max; 1 – Вся информация неверная … 10 – В курсе верная информация):
* Вы изучали курс увлеченно и с удовольствием? (Оценка: 1 min – 10 max; 1 – Очень скучно … 10 – Увлекательно):
* Считаете ли Вы, что данный курс был назначен вам по ошибке? (Да/Нет) (если да, то прокомментируйте, пожалуйста):
Ваши комментарии по курсу (ошибки, проблемы, находки и т.п.):
Если курс “идеальный” или близок к этому, то средняя оценка по всем вопросам должна быть не ниже 9. Если где-то ниже, то есть повод для анализа. В любом случаем, у нас появляются хоть какие-то объективные данные для сравнение курсов и провайдеров. Но, одно дело, если по курсы одного провайдера будут получать стабильную 9, а другие – 6, а что если оба курса где-то на 8?
4) Можем пойти дальше (следующий уровень модели Кирпатрика) и автоматизировать сбор обратной связи с руководителей сотрудников, прошедших обучение. Примеров под рукой нет, но сделать это вполне возможно. Можно ли тогда будет считать, что мы смогли объективно сравнить электронные курсы и у нас нет риска, что мы будем переплачивать или покупать дешевые пустышки? Ясно, что это некоторая степень объективности в этом появится, но все же есть риск, что выбрано будет что-то яркое и веселое, а руководители будут субъективными. В таком сравнении не хватает чего-то более фундаментального связанного именно оценкой того, насколько эффективно курс решает поставленную задачу и приводит Заказчика к цели. И главное, чтобы эту оценку можно было провести достаточно просто (без интеграций с ERP системой и попыткой выявить корреляцию коммерческих показателей с прохождением электронного курса). Пусть это будет некий чек-лист, который можно заполнить, сравнивая курсы от двух провайдеров, а еще лучше некий ресурс в Интернет в котором такой чек-лист заполняется в интерактивном режиме, и сразу выдаются какие-то рекомендации. Возможно ли такое?..
А если развить идею Юрия Николаевича и создать ресурс, на который любая копания (вуз?) может разместить курс для оценки. Модератор этого ресурса настраивает критерии оценки, для каждого курса исходя из заданных шаблонов и специфики самого курса. После этого экспертное сообщество производить оценку на основании заданных критериев. При этом должен быть некий механизм отбора этих экспертов и рейтинги, мотивирующие их на активность в плане оценки. Самое сложное в этом – паранойя наших компаний и вузов относительно секретности и ценности их контента. Всюду мнятся конкуренты, крадущие идеи. Можно сделать так, что курс будут видеть только допущенные эксперты, при этом экспертов может отбирать тот, кто загрузил этот курс. Можно даже в теории уговорить экспертов подписать какие-то соглашения о неразглашении, но чем больше разных заморочек, тем меньше шансов, что такой ресурс когда-то заработает. Но было бы замечательно – экспертный рейтинг курса + оценка от обучающихся и руководителей и мы уже приближаемся к реальной оценке качества электронных курсов.
Вопрос: кто хочет создать такой ресурс? 🙂
Готов участвовать!
Удачи!
Павел Безяев