Использование оценочной информации в фондах:

Сравнительные данные (отрывок) Патриция Патризи (Patricia Patrizi ) и

Элизабет Хайд Томпсон (Elizabeth Heid Thompson)

Patrizi Associates

Июнь 2010 г.

2

Содержание исследования: Спорные моменты и проблемы Роль и функция оценки являются предметом нескольких философских дискуссий, связанных с

оценкой филантропической деятельности. В основном обсуждается вопрос о том, каким образом распределяется баланс между ролью оценки как инструмента подотчетности и обучающей ролью оценки .

Этот основной спорный момент порождает множество других вопросов, касающихся отчетности, ответственности, вводного обучения (внутреннего и внешнего), объема ресурсов и их денежного эквивалента.

Перемещая акцент на стратегическую филантропию, фонды были вынуждены отойти от прежней «апостериорной» модели оценки подотчетности грантополучатей и приступить к изучению собственной работы с целью обоснования стратегии от начала и до конца процесса.

Такой переход повлек за собой многочисленные изменения ролей, характера ответственности и структуры функции, которую выполняет оценка. Данный опрос должен был выяснить, каким образом фонды используют в своей работе «оценочную информацию» (в разных видах и формах); и определить, влияет ли структура отношений (или степень) внутренней подотчетности на использование такой информации. Мы уделяли внимание следующим аспектам: – Направлениям деятельности фондов, которые являются источником оценочной информации

– Ресурсам, которые используются для выполнения этих функций

– Восприятию потребностей в оценочной информации и отношению различных групп (во внутренней структуре фондов) к ее применению

Данное исследование положило начало новому этапу дискуссии в ходе Круглого стола по оценке (The Evaluation Roundtable Meeting) «Информация и ее использование для поддержки стратегии» (Information and Its Use in Supporting Strategy). Мы надеемся, что полученные данные позволят

задуматься о том, что необходимо фондам для усиления роли стратегического обучения.

3

Какие виды работ по оценке выполняют подразделения, отвечающие за проведение оценки? Какие виды деятельности, связанные с оценкой/контролем показателей эффективности, выполняет Ваш фонд?

В ходе опроса было выявлено увеличение объема всех типов оценочной информации. Ранее оценка отдельных грантов и инициатив составляла основную часть портфеля деятельности фонда в сфере оценки. В настоящий момент (несмотря на то что практически все опрошенные фонды все еще оценивают отдельные гранты и инициативы ), большая часть участников опроса поддерживает полный спектр вышеуказанных работ по оценке.

Определение показателей и оценка стратегий все чаще воспринимаются как важная часть портфеля деятельности, в то время как еще пять лет назад это было достаточно редким явлением.

Оценка более широких аспектов работы фонда, таких как программные направления и деятельность фонда в целом, также становятся общепринятой практикой. Однако 25% фондов ответили, что обычно не проводят оценку такого типа.

Функции оценки и отвественность

90%

93%

83%

76%

76%

83%

80%

83%

73%

70%

0% 20% 40% 60% 80% 100%

Individual Grant Evaluations

Initiative Evaluations

Strategy Evaluations

Entire Program Area Assessments

Foundation-wide Assessments

Satisfaction/Perception Surveys

Identifying Indicators of Grantmaking Performance

Tracking Grantmaking Indicators

Identifying Indicators of Foundation Performance

Tracking Foundation Indicators

* В данной диаграмме не отражены случаи, когда основная ответственность возлагалась на «другие подразделения». 4% респондентов отметили, что другие подразделения отвечали за каждый вид деятельности за исключением изучения мнений сотрудников. Ответственность за последний вид работ 21% фондов делегировал «другой группе».

Оценка отдельных грантов

Оценка инициатив

Оценка стратегий

Полная оценка программных направлений

Оценка деятельности фонда в целом

Опросы по изучению мнений/удовлетворенности

Определение показателей эффективности грант-мейкига

Контроль показателей грант-мейкинга

Определение показателей эффективности работы фонда

Контроль показателей работы фонда

4

Доля расходов на получение оценочной информации (в общем бюджете грантов), существенно варьируется

Объем расходов на получение оценочной информации и процент от общего грантового пула

Размер бюджета грантов фонда

Средняя величина Среднее значение Минимальное

значение Максимальное

значение

Всего $4 664 652

3,7%

$1 629 313

2,2%

$212 451

0,3%

$28 719 575

17,8%

Уровень 1: до $50 млн. долларов

$1 150 068

7,2%

$1 054 500

7,4%

$212 451

0,8%

$3 000 000

17,8%

Уровень 2: от $50 до $200 млн. долларов

$2 354 650

2,4%

$1 513 145

1,6%

$273 281

0,3%

$10 650 000

6,5%

Уровень 3: Более $200 млн. долларов

$12 139 240

2,6%

$6 037 536

2,3%

$500 000

0,3%

$28 719 575

4,9%

Несмотря на то что самый высокий процент расходов на получение оценочной информации составил 17,8%, почти 40% всех опрошенных фондов инвестировали в данное направление деятельности менее 1%.

Малые фонды склонны инвестировать в оценку более значительную долю грантового бюджета, в отличие от двух других уровней, где большинство фондов расходуют более 7% .

Помимо этого, фонды, в которых сотрудники подотчетны перед руководством и административным департаментом, инвестировали в получение оценочной информации на 33+% больше по сравнению с фондами, где сотрудники отчитывается перед программным подразделением.

Ресурсы оценки

Здесь представлены данные о расходах, предназначенных как для на оценочной информации, так и для предоставления грантов (финансовые годы 2007 / 2008). Эти данные следует рассматривать с учетом того, что многие фонды официально не отслеживают такую информацию.

5

Количество сотрудников с полной занятостью, которые отвечают за оценку (по структуре подотчетности)

Средняя величина

Среднее значение Минимальное

значение Максимальное

значение

Всего сотрудников, нанятых на полный рабочий день

3,0 2,0 0 14,0

Руководство фонда 3,3 2,0 0,25 14,0

Административный департамент

4,0 2,75 0,75 14,0

Программное подразделение

1,6 1,3 0 4,0

Как и в предыдущих случаях, структура внутренней подотчетности существенно влияет на количество сотрудников, нанимаемых на полный рабочий день для выполнения функций оценки.

– Фонды, в которых сотрудники подотчетны перед административным департаментом, нанимают в 2,5 раза больше сотрудников по сравнению с фондами, где отчетность осуществляется перед программным подразделением.

– Фонды, в которых отчетность осуществляется перед руководством, нанимают в два раза больше сотрудников, чем те фонды, где «оценщики» подотчетны программному департаменту.

Ресурсы оценки

Здесь представлены данные о расходах, предназначенных как для на оценочной информации, так и для предоставления грантов (финансовые годы 2007 / 2008). Эти данные следует рассматривать с учетом того, что многие фонды официально не отслеживают такую информацию.

6

Управленческие потребности в получении оценочной информации возросли в большинстве фондов

Over the last five years, what is your perception of trends in management demand for the following:

Ни один из респондентов не сообщил о снижении потребностей.

Респонденты отметили значительное увеличение потребностей во всех видах деятельности по оценке. Большая часть респондентов отметила «значительное увеличение» потребностей в показателях эффективности программ и в оценке стратегий.

Несмотря на общее возрастание потребности в оценке отдельных грантов, она не считается критичной по сравнению с потребностями в других формах работы по оценке.

Отличия, касающиеся структуры подотчетности: – Подразделения, которые отчитываются перед программным департаментом, испытывают более значительную потребность в оценке

отдельных грантов; в исследованиях, необходимых для определения программной стратегии ; и в получении данных по показателям программ.

– Подразделения, которые отчитываются перед руководством, испытывают более значительную потребности в оценке стратегий и в общей оценке деятельности фонда.

В ходе интервью выяснилось, что на повышение потребностей в основном повлияла заинтересованность руководства и Совета директоров.

Восприятие потребностей и применение оценочной информации

7%

28%26%32%31%28%33%

54%59% 39%

34%41%36%38%52%48%

19%

31%39%

28%30%25%

31%20%18%27%

7%

0%

20%

40%

60%

80%

100%

Individual

Grant

Evaluations

Program

Initiative

Evaluations

Overall

Foundation

Assessments

Research for

Strategy

Perception

Surveys

Full Program

Area

Assessments

Foundation

Performance

Metrics

Program

Strategy

Evaluations

Program

Performance

Metrics

Stayed about the Same

Increased Somewhat

Increased Dramatically

“У нас новый президент, и она является инициатором изменений. Заинтересованность руководителя [в оценке] имеет решающее значение. До её прихода было сложно добиться внимания программных специалистов – Я не преувеличиваю

значение этих жизненно важных изменений.” “Совет директоров задает весьма конкретные вопросы о результатах нашего грант-мейкинга. И это убедительный повод для возрастания потребностей.”

Как Вы можете охарактеризовать тенденции в восприятии управленческих потребностей (в течение последних 5 лет), связанных со следующими аспектами:

Показатели эффективности программной деятельности

Оценка программных

стратегий

Показатели эффективности

работы фонда

Оценка программных

направлений

Опросы по

изучению мнений

Стратегические исследования

Общая оценка фонда

Оценка программных

инициатив

Оценка отдельных

грантов

Потребности сохраняются на прежнем уровне Возросли в некоторой степени Существенно возросли

7

В ходе интервью респонденты обозначили несколько проблем, связанных с использованием показателей Отличия между оценкой и показателями:

– “Руководство высшего исполнительного звена уделяет меньше внимания оценке, в большей степени концентрируется на показателях эффективности, и не видит между ними особых различий.”

Программы и показатели эффективности: – “Команда каждой программы определяет собственные показатели, по которым намерена

проводить измерения. [Сотрудники, как правило] полагаются на информацию о том, что предполагается профинансировать. Но это не всегда помогает определить показатели социального эффекта программы. Показатели, которые в настоящий момент предложены Совету директоров, хорошо подходят для оценки эффективности программ.”

– “Весьма интересно, что самые очевидные внешние показатели имеют большее практическое значение, чем программные (например, средняя продолжительность работы по грантам, объем финансирования и т.д.).”

Использование показателей, отвечающих контексту сложных систем: – “Если мы будем уделять исключительное внимание [показателям], то потерпим неудачу. Но

если отслеживать динамику школ и сообщества, то можно понять, как все происходило, и объяснить первичное снижение показателей. Такой подход заставляет шире взглянуть на динамику и выйти за рамки показателей. Для этого программным специалистам необходимо активно взаимодействовать с сообществом. Тогда станет поняно, что на самом деле стоит за этими показателями.”

Когда определять показатели: – “Следует ли нам концентрировать внимание на показателях, если стратегия еще не

определена?”

Восприятие потребностей и применение оценочной информации