«Оценка проектов»

2013 г.

Для чего нужна оценка?

Когда вы проводите оценку вашего проекта, что вы хотите о нем узнать? На какие вопросы вы хотите найти ответ?

Когда оцениваются проекты, то задаются, как правило, следующие вопросы:

Был ли проект настолько плохим, что…?Был ли проект настолько хорошим, что… ?Были ли в проекте какие-то аспекты, которые наводят на мысль, что проект должен быть каким-то образом модифицирован?

Иными словами, проекты сортируются на:Те, которые нужно закрытьТе, которые нужно продолжатьТе, которые нужно модифицировать

Определение понятий

Мониторинг - это постоянное отслеживание хода работ (в рамках проекта, программы или организации) для сравнения текущего состояния дел с планом. Систематический сбор информации о ходе работ (в рамках мониторинга) - своего рода «сканирование» ситуации - производится как рутинная процедура, предназначенная, главным образом, для того, чтобы вовремя обнаруживать отклонения от намеченных планов.

Оценка (evaluation) направлена на анализ результатов деятельности и/или произведенного эффекта и соотнесение этих результатов с определенными критериями. По итогам оценки выносится суждение об эффективности программы, проекта или организации и формулируются рекомендации на будущее. В ходе оценки в числе других используются данные мониторинга.

Проведение оценки

Проведение оценки проекта состоит из следующих стадий:

Постановка цели Определение технического задания

на проведение оценки. Планирование оценки

Определение методов и инструментов для сбора информации

Сбор информации Анализ информации Подготовка отчета Сообщение о результатах оценки

Постановка цели

Цель оценки – ответ на ВОПРОС -Каковы фактические результаты Проекта и как они соотносятся с целями Проекта?

Оценка проводится по 4 основным направлениям:

1. Управляемость/качество управления2. Эффективность (например, финансовая)3. Устойчивость4. Насколько полно удовлетворены нужды потребителей, произошло ли позитивное изменение/ия для целевой группы

Вопросы задания формулируются, исходя из того, что нам важно узнать в результате оценки: промежуточная оценка, итоговая оценка и оценка воздействия.Различные уровни оценки: каким образом проект повлиял на устойчивость организации и на ее

эффективность? следует ли корректировать проект для того, чтобы благополучатели могли

самостоятельно пользоваться переданными технологиями в своих организациях?

что нужно изменить в содержании, процессе проведения и организации мероприятий, чтобы обеспечить достижение целей?

Определение задания на проведение оценки

Главной частью технического задания на проведение оценки является перечень вопросов, на которые надлежит ответить.

Определение методов и инструментов для сбора информации

Существующие методы можно разделить на четыре группы: - анализ данных, собранных в ходе мониторинга, и сравнение полученных результатов с поставленными целями и вложенными ресурсами; - анализ содержательных и финансовых отчетов о проведенных мероприятиях;- качественные методы исследования – фокус-группы, глубинные интервью, наблюдения, опрос экспертов; - количественные методы исследования – опросы/анкетирование

Для того чтобы собрать нужную информацию необходимо не только выбрать метод, но и подготовить соответствующие инструменты: разработать и апробировать анкету; сформулировать вопросы для проведения интервью; определить, на что обращать внимание при наблюдении и как регистрировать результаты

Типы данных

Данные делятся на: первичные вторичные

Данные делятся на: количественные качественные

Количественные данные можно: измерить подсчитать взвесить и т.п.

Качественные данные:

Собирая качественные данные, мы отвечаем на вопрос: насколько какое-либо явление является хорошим или плохим с точки зрения целевой аудитории.

Как построить систему мониторинга проекта?

1)Определить измеряемые показатели (индикаторы), по которым можно будет отслеживать ход проекта. 2)Установить источники информации для проведения мониторинга (организации, отделы, отдельные люди или группы людей, документы, формы для заполнения и т.д.).3)Выбрать методы сбора информации (отчеты, списки).4)Определить частоту и график сбора информации с учетом интенсивности оцениваемой деятельности. 5)Назначить ответственных за получение необходимой информации и договориться с теми, кто эту информацию будет предоставлять.6)Определить технологию обработки и анализа получаемой информации.7)Учесть в бюджете проекта расходы, необходимые для проведения мониторинга. Такие расходы могут быть связаны, например, с командировками или телефонными переговорами.

Определение индикаторов

Индикаторы и показатели

Индикатор – характеристика изучаемого объекта, свидетельствующая о наличии / отсутствии какого-либо явления или об изменениях в состоянии чего-либо (например, % участников тренинга, правильно ответивших на вопросы теста после тренинга).

Показатель – фактическое значение измерения по индикатору (например, 60% участников правильно ответили на вопросы).

Ключевой показатель – значение измерения по индикатору, которое однозначно характеризует явление / состояние с определенной стороны (например, ключевой показатель для нашего примера – больше 50% правильно ответивших).

Определение индикаторов

Примеры ИндикаторовКоличественные:1)Количество участников тренинга/мероприятия/акции 2)Количество участников положительно оценивших мероприятия3)Количество распространенных на мероприятии материалов, пособий и тд.4) Количество ротаций видеороликов на ТВ каналах, Ж/К экранах, в Интернете

Качественные: 1) Изменения в подходах к работе после участия в тренинге/мероприятии2) Использование новых знаний и навыков3) Качество информационных материалов, выпускаемых участниками тренинга/мероприятия

Методы проведения оценки

Самый часто применимый способ получения данных – это опрос.

Вопросы бывают трех типов: открытые, закрытые и незаконченное предложение.

Открытые вопросы – это когда вы задаёте вопрос и не предлагаете никаких вариантов ответа.

Закрытые вопросы предлагают опрашиваемому выбрать один из предлагаемых вариантов ответа:

- простейший случай: выбор между «Да» и «Нет»;- выбрать один из предлагаемых вариантов

ответа, плюс «Другое»;- отметить свое мнение на предложенной шкале.

Незаконченные предложения (например, «я бы в этом проекте заменил…») в какой-то степени являются наводящими вопросами.

Правила составления анкеты

.

В письменных анкетах используются закрытые вопросы:- на них легче отвечать;- они воспринимаются «нейтрально»;- они «вводят анкетируемого в ритм».

Необходимо сразу сообщить интервьюируемому о том, что его имя не будет упоминаться и опрос анонимный и получить так называемое «информированное согласие» - объяснить цель опроса и почему это важно!

В анкете принято начинать с более общих вопросов, постепенно переходя к личным.

Вопросы анкеты

Каждый вопрос должен быть логичным и отдельным и предполагает выбор варианта ответа (одного или нескольких)

Запрещено употребление малораспространённых, малопонятных слов и специальных терминов.

Вопросы должны быть краткими и четко сформулированными.

Вопросы должны быть конкретными, а не абстрактными.

Вопросы не должны содержать подсказку. Недопустимы вопросы внушающего

характера.

Разделы анкеты

Анкета включает несколько блоков вопросов:

1) Вопросы по демографии: пол, возраст, образование, место проживания, состав семьи и пр.

2) Блок вопросов по оценке какого-либо события/мероприятия (Участвовали ли Вы? Понравилось ли Вам? Что для Вас было наиболее важным и тд.)

3) Блок вопросов по знаниям в соответствующей сфере (как изменились знания после участия в мероприятии/тренинге, что было новым, полезным и тд.)

4) Блок вопросов по оценке (отношению) мероприятия/тренинга

5) Блок вопросов по организационной части мероприятия/тренинга (как была организована логистика, питание и тд.)

6) Заключительная оценка мероприятия, пожелания (если есть необходимость)

Разделы анкеты

Пример анкеты для оценки тренинга :

Уважаемый участник! Цель этой анкеты - выяснить Ваше мнение о прошедшем семинаре. Просим Вас помочь нам получить информацию, которая будет использована для повышения качества подобных семинаров в будущем. Спасибо за Ваши ответы!

1)Пожалуйста, оцените каждый из перечисленных аспектов семинара от 1 до 5 (обведите цифру кружком, 1-низший балл, 5-высший балл)

Актуальность темы семинара 1 2 3 4 5 Сообщения, сделанные в ходе семинара 1 2 3 4 5Насколько оправдались Ваши ожидания от семинара 1 2 3 4 5Удовлетворены ли вы результатами семинара в целом 1 2 3 4 5

2) Как вы считаете, Ваш уровень знаний, остался Прежним я Возрос я3) Как Вы оцениваете организационные аспекты проведения семинара от 1 до 5

(обведите цифру кружком, 1-низший балл, 5-высший балл) Место проведения 1 2 3 4 5 Проживание 1 2 3 4 5 Питание 1 2 3 4 5 Раздаточные материалы 1 2 3 4 5

Принципы оценки

Признаки профессиональной оценки.

Репрезентативность (нельзя делать оценку, поговорив с одним человеком);

Задаваемые вопросы не должны содержать в себе ответы;

Информация первична, то есть нельзя собирать информацию под уже готовый вывод. (Эксперт не имеет права прийти в организацию с уже готовым мнением).

Анализ информации

На основании полученных данных делаются выводы и формируются рекомендации относительно принятия того самого управленческого решения, с которого все начиналось. Принципиальный момент заключается в том, чтобы пойти дальше статистических данных. «70% участников довольны проведенным семинаром» – это не вывод, это констатация того, что получено в результате опроса.

Выводы – это ответы на вопросы Задания. Например, на вопрос о том, соответствует ли программа семинара потребностям участников. И смогут ли они использовать полученные знания в дальнейшем? Именно эта информация нужна для принятия последующих решений.

Написание отчета

1. ТИТУЛЬНЫЙ ЛИСТ с основной информацией по проекту. 2. Краткое описание проекта. Цели и задачи.3. Методы/подходы к сбору данных для отчета4. Основная часть.Отчет по оценке достоверно описывает деятельность,

направленную на достижение цели (решение проблемы) путем реализации мероприятий проекта.

Отчет представляет собой анализ результатов предпринятых усилий - сработали они или нет, почему эти мероприятия сработали (или нет), и что можно было бы сделать дальше.

Большинство отчетов должны включать следующее:а. Описание полученных данных, их характеристика ( где вы

их взяли, насколько они достоверны и пр.)б. Анализ данныхв. Установленные фактыг. Выводыд. Рекомендации (что можно сделать лучше)

Домашнее задание

Выбрать мероприятие/мини-проект для проведения оценки

Составить план оценки: Определить цельОпределить индикатор/рыРазработать анкету

Провести анкетирование

Проанализировать собранные данные, сделать выводы и написать краткий отчет

ВОТ И ВСЕ!