Об измерении социальных и благотворительных программ

Ирина Горшкова, эксперт-аналитик E&P Секция «Оценка и измерение социальных результатов» Конференция «Благотворительность в регионах России: возможности и перспективы», 17.04.2014, Москва, гост. Аэростар

Содержание

1 Об опыте измерений (на примере UK)

2 Руководство по измерению результатов благотворительной деятельности (Evolution & Philanthropy, 2013): цели создания системы измерения

2.1 Предпосылки к созданию системы измерения

2.2 Система измерения результатов

2.3 Система измерения эффективности

2.4 Как сделать данные измерения полезными?

3 Способы помочь грантополучателям развивать потенциал в оценке

4 Роль E&P в развитии потенциала в оценке

3

Об опыте измерения (опрос благотворительных организаций Великобритании с бюджетом от £ 10 000, 2012 )

УСПЕХИ • За последние 5 лет инвестиции в измерение увеличилось

у трех четвертей организаций. • Хотя измерение воздействия внедрялось как условие

финансирования, в итоге привело к улучшению услуг. ПРОБЛЕМЫ • 25% организаций с доходом от ₤10 000, 50% с доходом

менее ₤10 000 не измеряют воздействие (нехватка средств, квалифицированного персонала).

• Две трети инвесторов пока не закладывают финансирование на оценку.

• Недостаточно средств на прогресс в деле измерения. Осложняет ситуацию отсутствие единых требований отчетности у инвесторов, недостаточный учет нужд организаций.

Доля бюджета на измерение

Типы доноров, поддерживающих измерение

Частный донор Корпорация Др. источники Фонды Государство

РЕКОМЕНДАЦИИ • Благотворительным организациям: делиться практикой и опытом проведения оценки. • Инвесторам: разъяснять важность оценки воздействия, помогать благотворительным организациям в

использовании полученных данных, повышении прозрачности; использовать полученные данные для принятия решений.

• Правительственным организациям: лидерство в поддержке инфраструктуры измерения воздействия, не связывать излишними рамками, делиться опытом внутри сектора.

4

Руководство по измерению результатов благотворительной деятельности: цели создания системы измерения в организации

Измерение результатов (performance measurement getting results) – это регулярный сбор и анализ информации, предоставление отчета о результатах, качестве, эффективности использования ресурсов и о программной деятельности в целом.

Измерение результатов программ внедряется в целях: • совершенствования планирования и отчетности, общего руководства программной

деятельностью; • обеспечения высокого качества программ в области предоставления социальных услуг; • обоснования для распределения ресурсов между программами и проектами.

Система измерения результатов благотворительных программ: • делает центральным компонентом эффективности программы социальные результаты для

б л а г о п о л у ч а т е л е й ; • обеспечивает о б щ и й я з ы к руководства фондов, менеджеров и сотрудников программ в

понимании эффективности, производительности, качества и полезности программ; • предоставляет руководителям программы возможность длительно наблюдать программы,

чтобы выявлять «точки воздействия» и у л у ч ш а т ь услуги; • призвана повышать м о т и в а ц и ю сотрудников, которые получают обратную связь от

благополучателей о том, кому и в какой мере была оказана реальная помощь.

5

Предпосылки для создания системы измерения результатов

Чек-лист 1. Имеются ли предпосылки для создания востребованной и работающей системы

измерения результатов?

Да/Нет

Критерий 1: наличие согласованных целей и стратегии.

Существует ли между руководителями высшего звена, менеджерами, персоналом и другими

заинтересованными сторонами достаточный уровень согласия относительно целей организации

или программ (включая желаемые социальные результаты), а также ресурсов, действий и

процессов, необходимых для достижения этих целей?

?

Критерий 2: стабильность программ.

Сохраняются ли основные программные цели организации в неизменном состоянии?

Часто ли происходят серьезные кадровые изменения в организации?

?

Критерий 3: наличие специалистов по обработке и анализу данных

Располагает ли организация квалифицированными специалистами и достаточными ресурсами для

внедрения системы измерения результатов?

?

Критерий 4: четкость и единообразие понятий

Разработаны ли единые для организации подходы к измерению результатов(включая, однозначно

понимаемую терминологию, процедуры и пр.)?

?

6

Система измерения результатов программной деятельности организации

2.1. Объект измерения - благотворительные программы и проекты

2.1. Основные понятия системы измерения результатов

Ресурсы (inputs) – данные об объемах затрат.

Деятельность / Процессы – использование исходных ресурсов и превращение их в продукты / непосредственные результаты.

Непосредственный результат (output) – все, что непосредственно производится в ходе деятельности программы, но еще не свидетельствуют о социальных достижениях. Виды: промежуточные (связанные с оказанными услугами), конечные (связанные с получателями услуг ).

Социальный результат – изменения как вследствие программы (в программах оказания услуг - изменения состояния, поведения благополучателей). Виды: промежуточные (связанными с конкретным способом деятельности программы), конечные/социальные эффекты (связанные с целями стратегического анализа деятельности).

Социальный эффект – степень системного воздействия программы, касающаяся всего общества (существуют разные школы трактовки влияния/impact)

7

РЕСУРСЫ ДЕЯТЕЛЬНОСТЬ

НЕПОСРЕДСТВЕННЫЙ

РЕЗУЛЬТАТ

промежуточный / конечный

СОЦИАЛЬНЫЙ

РЕЗУЛЬТАТ

СОЦИАЛЬНЫЙ ЭФФЕКТ

Экономичность использования

ресурсов

Производительность

Социально-экономическая эффективность

Качество

Эффективность получения социального

результата

КАЧЕСТВО

Учет факторов («за минусом»): • Что произошло бы в любом случае • Действия других организаций • Насколько вероятно снижение

достигнутого результата с течением времени, какова устойчивость результатов

• Степень простого перемещения изначальной проблемы

• Степень замещения полученными результатами других потенциальных позитивных результатов

• Непреднамеренные следствия (отрицательные или положительные)

Система измерения эффективности

8

Матрица социальных результатов

• Социальное воздействие как устойчивые социальные результаты полезно планировать и измерять, имея

матрицу, отражающую основную социально-экологическую инфраструктуру, необходимую людям для

полноценной жизни и свободного самовыражения.

• «Добросовестный инвестор (The Good Investor)», 2013 - инструмент отображения, распознания

результатов в 13 областях воздействия, способ учета интересов благополучателей, база данных

показателей. Образование, обучение и навыки.

Занятость и профессиональная подготовка.

Жильё, недвижимость и базовые потребности.

Финансы и право.

Физическое здоровье.

Психическое здоровье.

Здоровый образ жизни.

Благосостояние граждан и общества.

Уголовная юстиция и общественная безопасность.

Муниципальная территория и местная инфраструктура.

Искусство, культура, спорт и досуг.

Политика: гражданское участие и влияние.

Климатические изменения и сохранение естественной природной среды.

Область

результатов

По группам благополучателей (обобщенное ! представление)

Индивидуумы Семья и дети Местное население,

сектор, общество

ПРИМЕР .

Образование,

обучение и навыки

- Повышение уровня знаний и улучшение

образовательных результатов

- Повышение уровня осведомленности и

гражданской активности

- Развитие социальных и эмоциональных

навыков

- Повышение степени готовности к

профессиональной деятельности

- Повышение родительской

компетентности

- Активизация родительского

содействия и участия в

процессе обучения детей

- Укрепление отношений и

оптимизация внутрисемейного

общения

- Активизация участия школ и средних /

высших учебных заведений в жизни

сообщества

- Оценка эффективности

альтернативных решений по

соотношению затрат и пользы для

общества, защита общественных

интересов и влияние на политику

Источник: «The Good Investor» (Добросовестный инвестор. Книга передовой практики содействия социальным преобразованиям»), 2013.

9

ПОЧЕМУ ВАЖНО РАЗБИВАТЬ ДАННЫЕ НА КАТЕГОРИИ И ИЗБЕГАТЬ ИЗЛИШНЕГО ОБОБЩЕНИЯ? • Число или характеристики благополучателей. • Структурное подразделение или проект. • Географическое/территориальное деление. • Сложность работы. • Вид и объем предоставляемых услуг. • Причина неудач. ВЫБОР ПРОЦЕДУР РАЗБИВКИ.

Сравнение

Результаты работы за предшествующий период. Результаты по различным видам работ или группам благополучателей. ОБЩЕПРИНЯТЫЙ СТАНДАРТ. РЕЗУЛЬТАТЫ РАБОТЫ СТРУКТУР, ЗАНЯТЫХ АНАЛОГИЧНОЙ ДЕЯТЕЛЬНОСТЬЮ/БЕНЧМАРК. РАЗЛИЧНАЯ ПРАКТИКА ОРГАНИЗАЦИИ ПРЕДОСТАВЛЕНИЯ УСЛУГ. ЦЕЛЕВЫЕ ЗНАЧЕНИЯ, ОПРЕДЕЛЯЕМЫЕ ПЕРЕД НАЧАЛОМ РАБОТ.

Разбивка данных по категориям

Анализ и представление полученной информации в удобной форме

ЧЕМ МОГУТ БЫТЬ ПОЛЕЗНЫ ДАННЫЕ ИЗМЕРЕНИЯ РЕЗУЛЬТАТОВ? АНАЛИЗ МОНИТОРИНГОВОЙ ИНФОРМАЦИИ СОСТАВЛЕНИЕ ОТЧЕТОВ ОБ ИЗМЕРЕНИИ РЕЗУЛЬТАТОВ

Как сделать данные измерения полезными?

10

Три способа помочь грантополучателям развивать потенциал в оценке

1) финансовая помощь; 2) нефинансовая помощь; 3) переориентация запроса на оценку в соответствии с потребностями НКО

«Донорам стоит изначально закладывать

средства в гранте на оценку результатов

проектов, а не надеяться на то, что это

может быть сделано без затрат. Более

того, если программа долгосрочная было бы

полезно инвестировать в инструменты для

измерения ее результатов»

Что обсуждают доноры и НКО в

дискуссиях по оценке (по шкале от 1 до 7 )

Большинство НКО (53%)

считают, что доноры

ориентируются на

собственные

информационные

потребности при запросе на

оценку, нежели на

потребности НКО, которым

они выделяют гранты.

Те НКО, что стоят на

такой позиции, гораздо

ниже оценивают

полезность оценки

Пространство для развития. Как фонды поддерживают измерение результативности в НКО (Room for Improvement. Foundation’s Support of Nonprofit Performance Assessment by Andrea Brock, Ellie Buteau and An-Li Herring. Center for Effective

Philanthropy, 2012), Состояние оценки в 2012 году: практики оценки и ее потенциала в некоммерческом секторе ( State of Evaluation 2012: Evaluation Practice and Capacity in the Nonprofit Sector. A research Study by Innovation Network, Inc.)

82 % НКО считают обсуждение результатов оценки с донорами полезными

75% НКО регулярно обсуждают результаты оценки с донорами

37% НКО сичтают, что доноры воспринимают неудачи как возможности для совершенствования

11

Миссия и видение evolution and philanthropy

Доноры

Благополучатели

Как мы можем упростить донорам процедуру поиска

эффективных НКО для пожертвования?

Как мы можем упростить и удешевить для НКО процедуру

привлечения средств и демонстрации высокой

эффективности?

Как мы можем дать возможность благополучателям предоставлять обратную связь

и быть услышанными?

Evolution & Philanthropy

МИССИЯ

Содействие эффективному развитию

некоммерческого сектора и

благотворительности через

формирование среды,

способствующей распространению

международного опыта

и обмену знаниями.

12

Сводный перечень продуктов E&P и партнеров в области измерений и оценки

№ Продукты E&P Количество

1. Ключевые уникальные продукты (продукты, разработанные совместно и для стратегических партнеров E&P по Конгломерату «Эволюция и Филантропия»

9

2. Партнерские продукты (продукты, разработанные партнерами E&P по поддержанным грантовым проектам)

3

3. Тематические обзоры из Дайджестов публикаций международного филантропического сообщества

8

4. Аналитические материалы E&P (презентации по анализу зарубежного опыта или подготовленные для выступления сотрудников на мероприятиях НКО сектора)

15

5. Собственные практики E&P по внедрению, разработанных продуктов 2

6. Переведенные на русский язык лучшие зарубежные практики 26

7. Лучшие практики на английском языке в библиотеке E&P на Dropbox Более 100

13

Как Evolution & Philanthropy способствует развитию потенциала в области оценки?

Продукты операционной деятельности Evolution & Philanthropy • Тематические обзоры по оценке (5) из Дайджеста публикаций

международного филантропического сообщества и рекомендации по использованию материалов.

• Обзор систем зарубежного бенчмаркинга для некоммерческих организаций

• Переводы (28) зарубежных материалов, доступны в библиотеке сети IPEN http://www.eval-net.org/?id=63, на сайте Партнерской инициативы «Общие подходы к оценке социальных результатов программ в сфере защиты детства»

Продукты партнерских инициатив 1.Стандарты оценки деятельности для некоммерческих партнеров. 2.Методическое пособие по использованию «теории изменений» при планировании программ БДФ «Виктория». 3.Подходы к определению показателей верхнего уровня (включая, библиотеку показателей, используемых ведущими западными Фондами и НКО) 4.Концепция оценки социально-экономической эффективности программ (с практической апробацией на примере программы ДФ «Виктория»); 5.Руководство по измерению результативности деятельности (планирование и мониторинг результатов).

Грантовая поддержка оценки программ Детские деревни – SOS (2011) и Фонда профилактики социального сиротства

(2013 год). Проведена внешняя оценка проекта «Курсы по фандрайзингу для религиозных организаций» (2012 )

14

Презентации E&P по теме «ОЦЕНКА»

• Измерения для НКО: что это означает? Measuring what matters in nonprofit. • Об измерении миссии и социального воздействия. • Методы оценки результатов общественной деятельности. • Измерение и оценка результатов социальных программ. • Теория изменений как подход к описанию пути достижения стратегических целей. • IRIS, PULSE, GIIRS – три инструмента для измерения и оценки социальных инвестиций. • Интегрирование стоимостного подхода в измерение и/или оценку создания

общественного блага: международный опыт. • Ключевые выводы из зарубежной практики для внедрения процессов оценки в

организации. • Ключевые выводы и рекомендации из выпусков "Дайджеста публикаций

международного филантропического сообщества" за период 2010-2012 по теме ОЦЕНКА. • Методика проведения бенчмаркинга. • Партнерские инициативы по оценке программ в сфере детства. • Кодекс добросовестной практики содействия социальным изменениям (The code of Good

Impact Practice). • Роль доноров в развитии потенциала НКО в области оценки: международный опыт. • Стратегическая филантропия. Основные подходы.

http://www.slideshare.net/evd_oa

15

Перечень переведенных практик по теме «Оценка эффективности»

№ Лучшие практики на английском языке в библиотеке E&P на Dropbox