Как оценить эффективность обучения
TRANSCRIPT
・ Как оценить эффективность ・
АЛЕКСЕЙ КАПТЕРЕВ
@kapterev
!
ОБУЧЕНИЯ
Слушай, а какой процент после твоего тренинга «взяли и побежали»?
— Ой, много! Процентов 10! Ок, ну может 20…
—
Половину денег на рекламу я трачу впустую — проблема в том, чтобы понять, какую именно половину.
"
ДЖОН УОННАМЕЙКЕР Пионер маркетинга
НАША ЦИФРА Б ЛИЖЕ
К 80%
◆
◆
Мне реально не хватает обратной связи.
—
1
2
3
4
2011 2012 2013 2011 2012 2013
3.743.663.4
3.913.873.77
Преподаватель понятно излагает материалМоя оценка Средняя оценка всех
преподавателей курса
2.5
3
3.5
4
Я прихожу на занятие хорошо подготовленным
2011 2012 2013 2011 2012 2013
3.643.633.493.743.723.65
Я активно участвую в дискуссиях на занятии
2011 2012 2013 2011 2012 2013
3.553.383.36
3.783.54
3.33
Преподаватель понятно излагает материал
2011 2012 2013 2011 2012 2013
3.743.663.4
3.913.873.77
Преподаватель указывает на ключевыедля понимания курса моменты
2011 2012 2013 2011 2012 2013
3.783.693.43
3.913.783.65
Преподаватель умело инициирует и управляет дискуссиями
2011 2012 2013 2011 2012 2013
3.693.633.35
3.913.833.75
Преподаватель дает полезные замечания по результатам письменных заданий и тестов
2011 2012 2013 2011 2012 2013
3.663.563.27
3.873.83.76
Преподаватель стимулирует интерес к изучению дополнительных материалов
2011 2012 2013 2011 2012 2013
3.63.492.94
3.913.83.62
Преподаватель относится к студентам с уважением
2011 2012 2013 2011 2012 2013
3.813.84
3.02
3.873.853.88
Преподаватель доступен для консультаций помимо занятий2011 2012 2013 2011 2012 2013
3.593.41
3.19
3.783.543.54
Я понимаю задания, которые выдаются для работы в группе, и какие навыки они развивают
2011 2012 2013 2011 2012 2013
3.713.693.46
3.913.743.73
В целом, презентует очень плохо
В целом, презентует отлично
«Растекается мыслью», много и ни о чем
Фокусируется на ключевой идее, тезисе
Информирует, не задумываясь о мотивации
Мотивирует, обсуждая актуальные проблемы
Говорит абстрактно, без привязки к бизнесу
Говорит практично, по делу
Не использует цифры или использует неэффективно
Использует цифры, статистику
Не использует эмоции или использует неуместно
Говорит эмоционально, когда это уместно
Не поддерживает контакт, говорит сам с собой
Поддерживает контакт с аудиторией
Не рассказывает историй Рассказывает истории, кейсы, примеры
Не использует юмор или использует неуместно Уместно использует юмор
1 2 3 4 5
2.4
3.1
3.9
3.0
3.9
4.3
3.7
3.9
3.9
2.8
3.2
3.2
3.0
3.4
3.7
3.1
3.7
3.4
Средние оценкиБыла тройка с плюсом — стала четверка с минусом. Чуда не произошло, но заказчик очень доволен.
Было Стало
#
СРЕДНЯЯ ОЦЕНКА
МАЛО О ЧЕМ
ГОВ ОРИТ
Златомир В целом, презентует
очень плохоВ целом, презентует отлично
«Растекается мыслью», много и ни о чем
Фокусируется на ключевой идее, тезисе
Информирует, не задумываясь о мотивации
Мотивирует, обсуждая актуальные проблемы
Говорит абстрактно, без привязки к бизнесу
Говорит практично, по делу
Не использует цифры или использует неэффективно
Использует цифры, статистику
Не использует эмоции или использует неуместно
Говорит эмоционально, когда это уместно
Не поддерживает контакт, говорит сам с собой
Поддерживает контакт с аудиторией
Не рассказывает историй Рассказывает истории, кейсы, примеры
Не использует юмор или использует неуместно Уместно использует юмор
1 2 3 4 5
3.4
4.1
4.8
3.4
3.6
4.1
4.5
3.9
4.5
3.0
4.0
3.0
3.7
4.4
4.1
3.5
4.0
4.1
С самого начала выступал очень хорошо, но была пара серьезных недостатков. Их удалось поправить.
Было Стало
РогнедаВ целом, презентует
очень плохоВ целом, презентует отлично
«Растекается мыслью», много и ни о чем
Фокусируется на ключевой идее, тезисе
Информирует, не задумываясь о мотивации
Мотивирует, обсуждая актуальные проблемы
Говорит абстрактно, без привязки к бизнесу
Говорит практично, по делу
Не использует цифры или использует неэффективно
Использует цифры, статистику
Не использует эмоции или использует неуместно
Говорит эмоционально, когда это уместно
Не поддерживает контакт, говорит сам с собой
Поддерживает контакт с аудиторией
Не рассказывает историй Рассказывает истории, кейсы, примеры
Не использует юмор или использует неуместно Уместно использует юмор
1 2 3 4 5
2.1
2.9
3.9
3.1
4.0
4.4
3.6
4.1
3.9
2.6
3.4
4.1
3.1
4.0
3.6
3.3
4.0
3.7
Пропустила несколько занятий, особой разницы не заметно. Что-то лучше, что-то хуже — на уровне погрешности.
Было Стало
МарфаВ целом, презентует
очень плохоВ целом, презентует отлично
«Растекается мыслью», много и ни о чем
Фокусируется на ключевой идее, тезисе
Информирует, не задумываясь о мотивации
Мотивирует, обсуждая актуальные проблемы
Говорит абстрактно, без привязки к бизнесу
Говорит практично, по делу
Не использует цифры или использует неэффективно
Использует цифры, статистику
Не использует эмоции или использует неуместно
Говорит эмоционально, когда это уместно
Не поддерживает контакт, говорит сам с собой
Поддерживает контакт с аудиторией
Не рассказывает историй Рассказывает истории, кейсы, примеры
Не использует юмор или использует неуместно Уместно использует юмор
1 2 3 4 5
2.1
2.9
3.9
3.1
4.0
4.4
3.6
4.1
3.9
1.5
1.7
2.7
2.2
2.5
3.2
2.7
3.7
2.8
Удивительно хорошо выступила на «зачете», никто не ожидал. Будем считать, чудо.
Было Стало
ЯрополкВ целом, презентует
очень плохоВ целом, презентует отлично
«Растекается мыслью», много и ни о чем
Фокусируется на ключевой идее, тезисе
Информирует, не задумываясь о мотивации
Мотивирует, обсуждая актуальные проблемы
Говорит абстрактно, без привязки к бизнесу
Говорит практично, по делу
Не использует цифры или использует неэффективно
Использует цифры, статистику
Не использует эмоции или использует неуместно
Говорит эмоционально, когда это уместно
Не поддерживает контакт, говорит сам с собой
Поддерживает контакт с аудиторией
Не рассказывает историй Рассказывает истории, кейсы, примеры
Не использует юмор или использует неуместно Уместно использует юмор
1 2 3 4 5
2.1
2.9
3.3
2.3
3.9
4.0
3.3
3.3
3.3
2.3
2.6
2.7
2.4
3.0
3.3
2.9
3.0
2.7
Весьма умеренный, но все же прогресс.
Было Стало
Зореслав В целом, презентует
очень плохоВ целом, презентует отлично
«Растекается мыслью», много и ни о чем
Фокусируется на ключевой идее, тезисе
Информирует, не задумываясь о мотивации
Мотивирует, обсуждая актуальные проблемы
Говорит абстрактно, без привязки к бизнесу
Говорит практично, по делу
Не использует цифры или использует неэффективно
Использует цифры, статистику
Не использует эмоции или использует неуместно
Говорит эмоционально, когда это уместно
Не поддерживает контакт, говорит сам с собой
Поддерживает контакт с аудиторией
Не рассказывает историй Рассказывает истории, кейсы, примеры
Не использует юмор или использует неуместно Уместно использует юмор
1 2 3 4 5
2.1
2.9
3.9
3.1
4.0
4.4
3.6
4.1
3.9
3.3
2.8
2.9
2.8
2.2
3.8
2.7
3.7
3.1
Очень хороший прогресс, как раз то, чего реалистично можно было бы ожидать за это время.
Было Стало
Easy, economic, expedient - An effective training evaluation model for SMEs
Sajid Khan, Phil L. RamseySchool of Management, Massey University,
Palmerston North, New Zealand
УРОВНИ ОЦЕНКИ по Киркпатрику и Филипсу
1. Реакция: понравилось ли людям обучение
2. Обучение: приобрели ли люди знания или навыки
3. Поведение: используют ли люди знания на работе
4. Результаты: изменились ли их KPI
5. ROI: есть ли монетарный возврат на инвестиции
ЧТО МЫ ДЕЛАЕМ? данные вымышлены, совпадения случайны
Реакция
Обучение
Поведение
Результаты
ROI
0% 25% 50% 75% 100%
ЧТО МЫ ХОТИМ? данные вымышлены, совпадения случайны
Реакция
Обучение
Поведение
Результаты
ROI
0% 25% 50% 75% 100%
КТО ВЫ? МЫ УЧАСТНИКИ ТРЕНИНГА!!!
ВАМ ПОНРАВИЛСЯ ТРЕНИНГ? ДА!!!
НИЧЕГО!!!ЧТО ВЫ БУДЕТЕ ИСПОЛЬЗОВАТЬ?
А почему мы не меряем ROI?
— Встречный вопрос: а какой ROI у измерения ROI?
—
МЕРИТЬ НЕ ДЛЯ ИЗМЕРЕНИЙ
#
МЕРИТЬ ДЛЯ УЛУЧШЕНИЙ
Ну как вам?— Ой, всем очень понравилось!
—
ПЛАН ДЕЙСТВИЕ ОЦЕНКА= =
=
=
=
Easy, economic, expedient - An effective training evaluation model for SMEs
Sajid Khan, Phil L. RamseySchool of Management, Massey University,
Palmerston North, New Zealand
ИЗМЕРЯТЬ ДОР ОГО ! ◆
◆
ПопробуйСТОРИТЕЛЛИНГ !◆ ◆
НЕ МЫ ПЕРВЫЕ , НЕ МЫ ПО СЛЕДНИЕ#
МЕДИЦИНА
ДВ ОЙНОЕ СЛЕПОЕ
РАНДОМИЗИР ОВАННОЕ
ПЛАЦЕБ О -КОНТР ОЛИРУЕМОЕ
ИССЛЕДОВАНИЕ
"
"
Greenhalgh T (July 1997). "How to read a paper. Getting your bearings (deciding what the paper is about)". BMJ
315 (7102): 243–6. doi:10.1136/bmj.315.7102.243. PMC 2127173. PMID 9253275.
1. Систематические обзоры и мета-анализы исследований с определенными результатами
2. Рандомизированный плацебо-контролируемые исследования с определенными результатами
3. Рандомизированный плацебо-контролируемые исследования с неопределенными результатами (эффект присутствует, но перекрывается доверительным интервалом)
4. Когортные исследования
5. Контрольно-диагностические исследования
6. Кросс-секционные исследования
7. Клинический случай (кейс)
СИЛА ДОКАЗАТЕЛЬСТВ в медицинской практике
СИЛА ДОКАЗАТЕЛЬСТВ в американской юридической практике
1. Вне разумных сомнений
2. Ясное и убедительное доказательство
3. Превалирующее доказательство
4. Существенное доказательство
5. Некоторое достоверное доказательство
6. Разумное предположение
7. Разумное подозрение
Although observational studies cannot be used as reliable sources to make statements of fact about the "safety, efficacy, or effectiveness" of a practice,[3] they can still be of use for some other things:
"[T]hey can:
1)provide information on “real world” use and practice;
2)detect signals about the benefits and risks of...[the] use [of practices] in the general population;
3)help formulate hypotheses to be tested in subsequent experiments;
4)provide part of the community-level data needed to design more informative pragmatic clinical trials; and
5)inform clinical practice."[3]
Richard Nahin, Ph.D., M.P.H., Senior Advisor for Scientific Coordination and Outreach, National Center for Complementary and Alternative Medicine,
June 25, 2012
✤ После не значит вследствие
✤ Эффект Пигмалиона
✤ Эффект наблюдателя
✤ Эффект плацебо
✤ …
ГДЕ ТУТ МОЖНО ОШИБИТЬСЯ?
✤ Что происходит «в реальности»?
✤ Каких результатов программа позволяет добиваться?
✤ Какова ценность результатов?
✤ Как можно улучшить программу?
ВОПРОСЫ SCM
ОПР О С ИНТЕРВЬЮ=
✤ Кто применяет новые методы, а кто нет?
✤ Что применяется, а что нет?
✤ Насколько широко распространилось применение?
✤ Какие группы участников используют, а какие — нет?
✤ В каких ситуациях используются новые методы?
ЕЩЕ ВОПРОСЫ Чуть более конкретные
КЕЙС ПРО ПИВО
60% участников использовали программу чтобы достичь увеличения продаж, повышения лояльности или увеличения среднего дохода от клиента.
Из этих 60% — 20% перевыполнили план продаж на 15% и больше.
С другой стороны, 28% сообщили, что не используют новые инструменты и не ощутили влияния на продажи, лояльность или доход.
Еще 12% сообщают о некоторых успехах, но их планы продаж не выполнены.
КОЛИЧЕСТВЕННЫЕ ОЦЕНКИ ИЗ SCM
✤ Обучение нельзя изолировать
✤ Тренеры должны стать бизнес-партнерами
✤ Индивидуальный подход
✤ Мы не можем полагаться только на:
✤ Ощущения
✤ Наблюдения
✤ Здравый смысл
✤ Цифры
✤ Можно полагаться на все четыре вещи сразу
РЕЗЮМЕ
МЕРИТЬ НЕ ДЛЯ ИЗМЕРЕНИЙ
#
МЕРИТЬ ДЛЯ УЛУЧШЕНИЙ
License: CC, Attribution, Share Alike | http://creativecommons.org/licenses/by-sa/2.5/
ALEXEI KAPTEREVKAPTEREV.COM