Ларионова Марина Владимировна (НФПК) Перфильева Ольга...

Проект «Разработка и апробация методологии рейтингования образовательных учреждений профессионального образования»: результаты 2011 года и следующие шаги

Ларионова Марина Владимировна (НФПК)Перфильева Ольга Владимировна (НФПК)

Проект «Разработка и апробация методологии рейтингования образовательных учреждений профессионального образования» 2011-2013 гг.

2

I. О проекте

Проект «Разработка и апробация методологии рейтингования образовательных учреждений профессионального образования» (2011-2013) реализуется НФПК по заказу Министерства образования и науки РФ в рамках подмероприятия 10.1 «Разработка и апробация модели общественно- профессиональной аккредитации программ профобразования», мероприятия 10 «Создание условий для развития государственной и общественной оценки деятельности образовательных учреждений, общественно-профессиональной аккредитации образовательных программ» задачи 3 «Развитие системы оценки качества образования и востребованности образовательных услуг» Федеральной целевой программы развития образования на 2011-2015 годы

3

Цель проекта

Разработать и апробировать модельную методологию рейтингования образовательных учреждений профессионального образования в России на основе:

• методологии сравнительного анализа глобальных, национальных и специализированных рейтингов, национальных подходов к оценке качества деятельности высших учебных заведений

• экспертных оценок и обсуждений, широких общественных дискуссий

• апробации и оценки полученных результатов• консультаций с Международной группой экспертов

по определению рейтингов университетов IREG

4

Задачи проектаАнализ российских подходов (методологий и индикаторов) к оценке работы высших учебных заведений. Проведение сравнительного анализа глобальных, национальных и специализированных рейтингов, национальных подходов к оценке качества деятельности высших учебных заведений, их систематизация и выявление общих, неизменяемых параметров оценки деятельности вузов, а также переменных параметров, их сильных и слабых сторон.Сравнительный анализ методологий и ключевых параметров рейтингования, принятых в зарубежной и международной практике, с подходами и показателями, используемыми в российской практике.Разработка методологии рейтингования образовательных учреждений профессионального образования.

Апробация методологии рейтингования образовательных учреждений профессионального образования.Общественное обсуждение методологии рейтингования образовательных учреждений профессионального образования и результатов ее апробации в формате семинаров, конференции, а также организация консультаций с Международной Группой экспертов (IREG) с целью аудита российской версии рейтингования вузов.Доработка методологии рейтингования образовательных учреждений профессионального образования на основании результатов ее общественного обсуждения.Разработка рекомендаций по применению методологии рейтингования образовательных учреждений профессионального образования.Подготовка и проведение международной конференции по обсуждению методологии рейтингования образовательных учреждений профессионального образования и представления результатов проекта.

2011

2012

2013

5

Ключевые результаты проекта по годамРезультаты сравнительного анализа методологий и ключевых параметров рейтингования, принятых в зарубежной и международной практике. Результаты сравнительного анализа методологий и параметров рейтингования, принятых в российской практике.Результаты сравнительного анализа методологий и ключевых параметров рейтингования, принятых в зарубежной и международной практике, с подходами и показателями, используемыми в российской практике.Проект модельной методологии рейтингования образовательных учреждений профессионального образования.

Результаты апробации методологии рейтингования образовательных учреждений профессионального образования.Результаты общественных обсуждений методологии рейтингования образовательных учреждений профессионального образования и результатов ее апробации в формате семинаров, конференции. Результаты консультаций с Международной Группой экспертов (IREG) с целью аудита российской версии рейтингования вузов.Доработанная методология рейтингования образовательных учреждений профессионального образования на основании результатов ее общественного обсуждения.

Разработанная методология рейтингования образовательных учреждений профессионального образования в РоссииРазработанные рекомендации по применению методологии рейтингования образовательных учреждений профессионального образованияРезультаты международной конференции по обсуждению методологии рейтингования образовательных учреждений профессионального образования.

2011

2012

2013

6

II. Общие подходы к методологии построения модельной методологии рейтингования высших учебных заведенийОсновные принципы методологии: 1. Методология должна служить источником надежной

объективной информации о качестве деятельности университета и положении того или иного вуза среди остальных национальных вузов

2. инструментом поддержки потребителей образовательных услуг, позволяя через представление легко интерпретируемой информации ориентироваться в широком разнообразии вузов и предлагаемых ими программ

3. вносить вклад в повышение качества деятельности и конкурентоспособности вузов

4. являться источником надежных данных для глобальных и региональных рейтингов

7

Основные принципы методологии (продолжение)

При формировании подходов к построению методологии следует рейтингования учитывать:

1. имеющийся опыт и достижения российских вузов в этом направлении, поскольку многие ведущие университеты успешно используют методологию некоторых рейтингов;

2. задачи повышения конкурентоспособности вузов и их интеграции в глобальное образовательное и исследовательское пространство, поскольку положение в рейтингах является важным сигналом конкурентоспособности;

3. ожидаемое расширение числа российских вузов, участвующих в глобальных рейтингах;

4. необходимость прагматичного подхода к выработке методологии рейтингования российских вузов, при которой данные по параметрам оценки, собираемые и предоставляемые вузами в национальный орган, осуществляющий рейтингование, будут сопрягаться с данными, необходимыми для участия в международных рейтингах;

5. возможность создания национальной методологии рейтингования, которая будет являться источником надежных данных для глобальных и региональных рейтингов;

6. преимущества использования количественных индикаторов 7. сильные стороны построения глобальных рейтингов.

8

Методология сопоставительного анализа

3 уровня анализа• 1 уровень: Сопоставление методологий рейтингования

по общим параметрам, выделенным для анализа • 2 уровень: Сопоставление методологий рейтингования с

Берлинским принципам ранжирования высших учебных заведений и критериями оценки методологий рейтингования «Правил аудита рейтингов» (приняты в мае 2011 международной экспертной группой по определению рейтингов университетов IREG совместно с ЮНЕСКО, ОЭСР и ВБ)

• 3 уровень: Соотнесение результатов сопоставительного анализа 1 и 2 уровней с возможностями, потребностями и задачами развития системы ВО в РФ

9

1 уровень: оценка относительно общих параметров

Принципы включения методологий рейтингования в анализ:

• рейтинги, в которых принимают или планируют принимать участие российские университеты;

• наиболее популярные международные рейтинги, участие в которых является «сигналом» конкурентоспособности университетов в международном образовательном пространстве;

• международные рейтинги, методология которых доступна в открытом доступе, что должно обеспечить понимание прозрачности системы, релевантности индикаторов, и надежности полученных результатов.

10

Принципы включения методологий рейтингования в анализ (продолжение)

• возможность сопоставления с Берлинским принципам ранжирования высших учебных заведений, принятыми на конференции IREG-2 в Берлине в 2006 году;

• возможность сопоставления с Критериями оценки методологий рейтингования «Правил аудита рейтингов» (IREG Ranking Audit Rules)

• возможность учета опыта разных стран;• возможность включения в анализ различных по

методологии подходов;• возможность применения рейтинга для развития

национальной системы высшего образования

http://www.ireg-observatory.org/index.php?option=com_content&task=view&id=59&Itemid=60





11

Анализируемые методологии рейтингования

Глобальные рейтинги• The Academic Ranking of World Universities (Shanghai Jiao Tong

University ranking) ULR: http://www.arwu.org/index.jsp http://www.shanghairanking.com/

• Times Higher Education Supplement (THES). http://www.timeshighereducation.co.uk/

• World’s Best Universities Rankings - U.S. News and World Report http://www.usnews.com/education в сотрудничестве с Quacquarelli Symonds

• U-Multirank http://www.u-multirank.eu/• Leiden Ranking http://socialsciences.leiden.edu/cwts/products-

services/leiden-ranking-2010-cwts.html• QS World University Rankings

http://www.topuniversities.com/university-rankings/world-university-rankings/home

Региональные рейтинги• U-Map http://www.u-map.eu/

12

Анализируемые методологии рейтингованияНациональные рейтингиВеликобритания• Time Good Education Guide (UK)

http://www.timesonline.co.uk/tol/life_and_style/education/sunday_times_university_guide/

• Guardian Ranking, Universities league table http://www.guardian.co.uk/education/table/2011/may/17/university-league-table-2012

• Guardian Ranking, Specialist institutions http://www.guardian.co.uk/education/table/2011/may/17/universityguide

США• Carnegie classification http://classifications.carnegiefoundation.org/• Forbes http://onlineuniversityrankings.org/rankings-by-provider/forbes-

university-rankings-2010/Германия• The CHE University Ranking http://www.che-ranking.de/cms/?

getObject=615&getLang=en• CHE Excellence Ranking http://www.che-ranking.de/cms/?

getObject=632&getLang=en• The CHE Research Ranking http://www.che-ranking.de/cms/?

getObject=620&getLang=en• CHE/dapm Employability Rating http://www.che-ranking.de/cms/?

getObject=621&getLang=en

13

Анализируемые методологии рейтингования

Специализированные рейтинги• Financial Times ranking of business schools

http://rankings.ft.com/businessschoolrankings/global-mba-rankings-2011

• Bloomberg Business Week Ranking http://www.businessweek.com/business-schools/

• The Economist MBA ranking http://www.economist.com/whichmba/2010/free-ranking-tool

• Indicators for Mapping and Profiling Internationalization http://www.impi-project.eu/

14

Понятия и термины• Одномерное ранжирование — отражает вертикальное разнообразие

учреждений высшего образования с помощью различных индикаторов оценки в одном агрегированном показателе. Чаще всего представлено в широко распространенных сегодня таблицах лиг.

• Таблица лиг (рейтинг) – одномерный список ранжируемых объектов от получившего наивысшую оценку к получившему оценку наименьшую. Каждому объекту ранжирования в таблице лиг присваивается порядковый номер на основании позиции, занимаемой в ряду.

• Многомерное ранжирование не стремиться соединить оценку образовательной и исследовательской деятельности вузов в одном агрегированном показателе. Ориентировано на разнообразные потребности разных категорий пользователей.

• Классификация – система распределения объектов по группам на основе их характеристик. Отражает горизонтальное разнообразие, где различия между категориями не основано на принципах порядковой шкалы. Позволяет представить разнообразие учреждений высшего образования в полной мере

van Vught F.A., Westerheijden D.F. Multidimensional Ranking: a new transparency tool for higher education and research // Higher Education Management and Policy. 2010. Vol. 22/3.

15

Типы анализируемых методологий (19)

16

Развитие систем рейтингования университетов

Эгалитаризм массификация

Элитизм Высокое качество

Обеспечение качества

Подотчетность

Рейтингование Отражать региональное разнообразие

Отражать институциональное многообразие

Ориентироваться на потребителей услугГибридные

формы

Отражать разнообразие предметных областей

Два подхода Современные системы Направления будущего развития

Shin J.Ch., Toutkoushian R.K., Teichler U. (eds.) University Rankings: Theoretical Basis, Methodology and Impacts on Global Higher Education. Springer, 2011. P.14.

17

1й уровень анализа: Параметры анализа и оценки основных рейтингов

1. Тип рейтинга (глобальный, региональный, национальный, специализированный).

2. Фокус рейтинга (миссия, цель, задачи, учитывает ли многообразие университетов, или ориентирован на оценку отдельных характеристик).

3. Целевые группы:- основные потребители (абитуриенты, учащиеся, родители, преподаватели вузов);- широкая аудитория (другие вузы, работодатели, СМИ, отдельные министерства и ведомства, НПО и НКО, экспертное сообщество).

4. Статус (кем учрежден, проводится ли независимыми агентствами или государственными структурами).

5. Периодичность/ частота выхода рейтинга (ежегодно или один раз в несколько лет, или проч.).

6. Основные требования к участникам рейтингования: контингент, ограниченный определенными требованиями; широкий круг университетов (например, в СНЕ все университеты Германии, либо все университеты, где ведется обучение на немецком языке, либо университеты, куда потенциально могут поехать на учебу немецкие студенты).

18

1й уровень : Параметры анализа и оценки основных рейтингов

7. Активность участия университетов в рейтинговании (например, доля от всех университетов страны для национальных рейтингов, либо общее количество вузов, участвующих в рейтинге для глобальных, региональных и специализированных рейтингов).

8. Предметные области рейтинга ( как структурируются предметные области, например, экономика, инженерия, естественные науки, гуманитарные науки, медицина и фармацевтика и проч.).

9. Регионы охвата и/или распространения (в зависимости от типа рейтинга).

10. Уровни образования, которые затрагивает рейтинг (бакалавриат/специалитет, магистратура и аспирантура).

19

1й уровень: Параметры анализа и оценки основных рейтингов

11. Методология построения рейтинга:- ключевые принципы, лежащие в основе рейтингования;- система показателей, индикаторы, веса;- инструментарий (ключевые процедуры сбора данных, например, использование вторичных/готовых/ данных, или разработка специальных анкет для опроса разных категорий стейкхолдеров, либо проведение экспертных интервью);- обработка полученных данных;- трансформация полученных данных в рейтинг (квантификация полученных данных, измерение и придание полученному результату численного значения).

12. Результат рейтингования (на что выходит в итоге: один рейтинг или набор рейтингов, кластеры университетов, ранжированный список университетов).

13. Ключевые проблемы, связанные с использованием показателей (критика, дискуссионность).

14. Место российских университетов в международных рейтингах (для глобальных и специализированных рейтингов).

15. Репутация рейтинга (степень доверия к рейтингу).

20

2й уровень: оценка относительно критериев аудита рейтингов IREG

Критерии оценки сильных и слабых сторон методологий рейтингования

• Берлинские принципы ранжирования высших учебных заведений

• Критерии оценки методологий рейтингования в соответствии с «Правилами аудита рейтингов (IREG Ranking Audit Rules)»

21

2й уровень: критерии IREG и веса основных и стандартных критериев

№ п/п

Критерии Веса

ЦЕЛЬ, ЦЕЛЕВЫЕ ГРУППЫ, КЛЮЧЕВОЙ ПОДХОД

1. Цель ранжирования и (ключевые) целевые группы должны быть четко определены

2

2. Ранжирование должно отражать разнообразие институтов высшего образования

2

3. Ранжирование должно уточнять языковой, культурный, экономический и исторический контекст оцениваемых образовательных систем.

1

МЕТОДОЛОГИЯ

4. Индикаторы, выбираемые для ранжирования, должны быть релевантными и валидными.

2

5. Качество деятельности институтов высшего образования – понятие многомерное и многоаспектное и часто является отражением восприятия наблюдателя. Хорошее ранжирование должно сочетать различные точки зрения

1

6. Всегда, когда это возможно, предпочтительнее использовать для ранжирования оценку результатов деятельности вузов, нежели оценку исходных параметров.

1

22


7. Рейтинги должны содержать подробную информацию о применяемой методологии, и должны быть с этой точки зрения транспарентными.

2

8. Если ранжирование использует комплексные индикаторы, то должны быть опубликованы веса отдельных индикаторов. При проведении ранжирования в течение продолжительного периода не должно происходить частого изменения весов индикаторов. Если такие изменения происходят, то для этого должны быть методологические или концептуальные обоснования.

2

9. Данные, используемые в ранжированиях, должны быть получены из авторитетных, проверяемых, доступных контролю источников или собраны с соблюдением надлежащих процедур и профессиональных правил сбора данных для эмпирических исследований.

2

10. Базовая методика должна оставаться постоянной, насколько это возможно.

1

11. Ранжирование должно быть доступно для пользователей в течение года либо в печатном виде, либо интерактивно.

1

12. Публикация ранжирования должна содержать описание методов и индикаторов, используемых при ранжировании учебных заведений.

1

13. Опубликованное ранжирование должно содержать информацию о баллах для каждого отдельного индикатора, используемых для расчета комплексного индикатора.

2

14. Ранжирования должны предоставлять пользователям некоторую возможность принимать собственные решения относительно релевантности и весов индикаторов

1

23


ТРАНСПАРЕНТНОСТЬ, ОПЕРАТИВНОСТЬ

15. Ранжирования должны быть составлены таким образом, чтобы исключить или значительным образом сократить ошибки, вызванные ранжированием

1

16. Ранжирования должны обладать механизмом реагирования на запросы заведений высшего образования участвующих в ранжировании

2

17. Опубликованное в печати или в электронном виде ранжирование должно содержать контактный адрес

1

ОБЕСПЕЧЕНИЕ КАЧЕСТВА

18. При ранжировании необходимо обеспечить качество самих процедур ранжирования.

2

19. Внутренние процедуры обеспечения качества ранжирования должны быть задокументированы.

1

20. Необходимо осуществлять организационные меры для повышения доверия к результатам ранжирования

2

МАКСИМАЛЬНЫЙ ОБЩИЙ БАЛЛ 180

24

Логическая рамка оценки методологий относительно критериев IREG

Шкала оценки методологий относительно критериев IREG

0 – критерий не применим к методологии/нет данных

1 – методология не соответствует критерию

2 – методология частично соответствует критерию

3 – методология полностью соответствует критерию

26

3 уровень: оценка относительно задач развития национальной системы высшего образования

Анализ наиболее часто используемых количественных параметров для модельной методологии рейтингования

• Выявление схожих/повторяющихся/наиболее часто используемых и значимых параметров;

• Анализ с точки зрения недостатков и доступности при сборе • Распределение количественных показателей по

направлениям;• Анализ весов каждого из них в различных методологиях;• Анализ доступности и возможности сбора данных;• Критическая оценка по критериям: значимости с точки

зрения задач развития системы ВО РФ, надежности, доступности, релевантности, соответствия критериям IREG (с использованием логической рамки для оценки выделенных показателей)

27

Логическая рамка для оценки применимости выделенных показателей для российской методологии рейтингования вузов

Параметр Индикатор

Значимость с т.з. задач развития

системы ВО в РФ

НадежностьДоступнос

тьРелевантност

ь

Соответствие критериям

IREG

Оценка значимости

для включения в методологию

Научная деятельность. Input indicators

Научная деятельность. Output indicators

Обучение/преподавание. Input indicators

Обучение/преподавание. Output indicators

Международная направленность . Input indicators

Международная направленность. Output indicators

Трудоустройство/заработная плата

Обмен знаниями. Input indicators

Обмен знаниями. Output indicators

Взаимодействие с регионом. Input indicators

Взаимодействие с регионом. Output indicators

Гендерный баланс

Профиль студента

28

III. Критический обзор методологий и ключевых параметров рейтингования, принятых в зарубежной и международной практике

1й уровень: критика не снижает влияния глобальных рейтингов• используют в основном индикаторы, оценивающие значение и

влияние исследований• единый агрегированный показатель не дает взвешенной

оценки по всей совокупности деятельности университета (обучение, роль в социально-экономическом развитии региона)

• набор критериев не отражает всего многообразия миссий и целей университетов, условий их развития и различий в деятельности

• ориентированы на фундаментальные исследования• не сбалансированы с точки зрения «равно удаленности» по

языковым и культурным условиям деятельности университетов• рейтинги представляют собой упрощенную картину сложной

реальности

29

The Academic Ranking of World Universities

Автор Center for World-Class Universities (CWCU), Graduate School of Education (formerly the Institute of Higher Education) of Shanghai Jiao Tong University, China

Публикуется с 2003 года Специальные рейтинги по областям знаний публикует

с 2007 Области знаний: естественные науки и математика,

инженерные специальности, медицина и фармакология, сельскохозяйственные специальности, социальные исследования

Предметы: математика, физика, химия, компьютерные технологии, экономика и бизнес

30

Отношение суммарного количества баллов по

пяти индикаторам (1-5) к численности

академического персонала

10%

Количество статьей, попавших в индексы

цитирования для естественных и

гуманитарных наук Science Citation Index и Social Sciences Citation

Index20%

Количество статей, опубликованных по

естественно-научной тематике

20%

Количество ученых университета, наиболее часто цитируемых по 21 предметным областям

20%

Количество выпускников-лауреатов, нобелевской

премии и других престижных наград

10%

Количество сотрудников-лауреатов нобелевской

премии и других престижных наград

20%

Академическая

производительность

(Per capita)10%

Качество образования

(Quality of Education)

10%

Качество профессорско-преподавательского состава

(Quality of Faculty)

40%

Резул

ьтаты

исслед

ований

(Res

earc

h Outp

ut)

40%

The Academic Ranking of World Universities: доли индикаторов

*Источник: Academic Ranking of World Universities - 2010 http://www.arwu.org/ARWU2010.jsp

31

The Academic Ranking of World Universities: рейтинг 2011

Национальный рейтинг

Университет Глобальный рейтинг

1 МГУ 77

2 СПбГУ 301-400

32

Times Higher Education Supplement (THES)

Публикуется с 2004 г.

В сотрудничестве с Quacquarelli Symonds до 2009

В сотрудничестве с Thomson Reutors c 2010

Области знаний: инженерные и технические науки, науки о жизни, медицина и здравоохранение, физика, социальные науки, искусство и гуманитарные науки

Условия: университеты соглашаются на участие в рейтинге, университеты проверяют собранные данные

33

соотношение иностранных и национальных кадров

3,0%

отношение присужденных докторских степеней и степеней бакалавра

2,25%

количество присужденных степеней бакалавра в расчете на эквивалент

"академического исследователя"

4,5%

доход в расчете на эквивалент "академического

исследователя"2,25%

количество присужденных степеней PhD в расчете на

эквивалент "академического исследователя"

6,0%

оценка репутации по качеству преподания

15,0%

доход от инноваций и прозводства в расчете на


2,5% соотношение иностранных и национальных студентов

2,0%

отношение бюджетных доходов к общим доходам от

исследований 0,75%

колличество опубликованных работ в расчете на


4,5%

доход от исследований 5,25%

оценка исследований по репутации

19,5%

импакт-фактор цитирования (относительно среднего

количества цитирований на одну опубликованную работу с коррект. по областям наук)

32,5%

Интернационализация

5 %

Исследования:

объем, доход,

Репутация30%

Доход от инноваций2,5%

Уровень цитирования

32,5%

Услов

ия

осущ

еств

ления

образ

оват

ельн

ого

проц

есса

30 %

Times Higher Education (THE) World University Ranking: доли индикаторов

* Источник: Times Higher Education (THE) World University Ranking. URL: http://www.universityrankings.ch/en/methodology/times_higher_education

34

Times Higher Education (THE) World University Ranking: рейтинги 2010 и 2011гг.

В рейтинге 200 лучших университетов – российских университетов нет

В рейтинге 2011 г. представлено 400 лучших

университетов. Российские университеты -

МГУ (276) и СПбГУ (351-400)

35

World’s Best Universities Rankings - U.S. News and World Report

Публикуется в сотрудничестве с Quacquarelli Symonds

c 2008 г.

Области знаний: инженерные и технические науки,

науки о жизни и медицина, естественные науки и

физика, социальные науки, искусство и гуманитарные

науки

36

World’s Best Universities Rankings - U.S. News and World Report: индикаторы и веса

Индикатор ПояснениеВес

индикатора

Оценки коллег

По результатам экспертных оценок качества работ коллег. Для рейтинга 2010 г. Было использовано15,050 полученных в период 2008-2010

40%

Оценки работодателя

По результатам опросов работодателей. Для рейтинга 2010 г. было получено 5007 ответов работодателей в период 2008-2010

10%

Соотношение количества студентов и преподавателей

Данные национальных министерств, статистических агентств и самих вузов

20%

Количество цитирований на одного ППС

Используется Scopus 20%

Зарубежные преподаватели и исследователи

процент зарубежных преподавателей и исследователей (полная занятость)

5%

Зарубежные студенты

процент зарубежных студентов (учащихся на полных программах обучения)

5%

37

World’s Best Universities Rankings - U.S. News and World Report: рейтинг 2010

Университет МГУ СПбГУ Новосибирский ГУ

Место 93 210 375

Общий балл 66,1 46,7 31

Оценки коллег 83 49 26

Оценки работодателя 79 51 24

Соотношение количества студентов и преподавателей 100 98 82

Зарубежные преподаватели и исследователи 9 3 3

Зарубежные студенты 43 16 10

Количество цитирований на одного ППС 5 3 3

38

Guardian Ranking, Universities league table

Рейтинги Британских университетов

Публикуются Education Guardian

Формируются Intelligent Metrix, независимой

консультационной компанией

Данные официальной статистики Агентства по статистике

высшего образования (the Higher Education Statistics Agency

(Hesa) и данные обзоров мнений студентов, публикуемые

Советом по финансированию высшего образования Англии

(Hefce)

39

The СНЕ University Ranking CHE – негосударственная некоммерческая организация, основанная 1 мая 1994

года The CHE University Ranking впервые опубликован в 1998 году Рейтинг включает информацию об учебных программах, качестве обучении,

оборудовании и инфраструктуре, научных исследованиях и репутации вуза Оцениваются вузы Германии, а также других стран, где есть образовательные

программы на немецком языке (Австрия, Швейцария, Нидерланды и др.) Целевые группы:

Абитуриенты, родители и студенты ВУЗы

Рейтинг составляется по 35 предметам, что соответствует ¾ всех направлений Данные для каждой предметной области обновляются каждые три года, но не

одновременно по всем категориям, а последовательно Рейтинг публикуется на официальном портале еженедельной немецкой газеты DIE

ZEIT http://ranking.zeit.de/che2011/en/

40

The СНЕ University Ranking:

Методология Рейтинг не представляется в единственном агрегированном виде, а имеет

модули, которые могут настраиваться по запросам пользователя (Job market and career-orientation, Equipment, Research, Overall opinions, International orientation, Result of study, Town and University, Students, Academic studies and teaching)

Рейтинг делится по направлениям и по группам оценки (top, middle, bottom) Сбор данных осуществляется посредством:

анкетирования административного персонала университетов, преподавательского состава и студентов

Библиометрических данных с использованием базы данных Science Citation Index

Включает оценку условий обучения 250 000 студентами и оценку преподавательским корпусом отдельных предметов и репутации вуза

Для определения группы учитываются особенности разброса оценок

41

Место российских вузов в глобальных рейтингахQS Shanghai THES Leiden US News and QS

В 2011 году список российских университетов был представлен:

- МГУ - 112 место- СПбГУ - 251 место- Государственным техническим

университетов им. Баумана - 379 место

- Московским государственными институтом международных отношений (университетом) - 389 место

- Новосибирским государственным университетом - 400 место

- Томским государственным университетом - 451-500 место

- Уральским федеральным университетом - 451-500 место

- Национальным исследовательским университетом – Высшей школой экономики - 551-600

- Томским политехническим университетом - 551-600 место

- Российским университетом дружбы народов - 551-600 место

В рейтинге 2010 года:

МГУ – 74 местоСанкт-

Петербургский университет – 301 – 400 место.

Россия представлена в рейтинге двумя университетами – МГУ и СПбГУ

В 2011-12 г. рейтинге МГУ занимал 276-300 место, СПбГУ – 351-400 место.

В рейтинге 2010 года

Россия представлена МГУ и СПбГУ.

МГУ на 70 месте, СПГУ – на 332 месте.

МГУ – 93 место (в мировом рейтинге, из 400 университетов)

Санкт Петербургский университет – 210 место (в мировом рейтинге, из 400 университетов)

Новосибирский государственный университет – 375 место (в мировом рейтинге, из 400 университетов)

МГУ – 38 место (в рейтинге европейских университетов, из 50 университетов)

42


Изменение положения методологий с учетом скорректированного среднего

43


Степень соответствия методологий критериям IREG с учетом скорректированного среднего

Степень удовлетворения Берлинским критериям

Guardian Sp; 1,89

US News; 1,89

Forbes; 1,95

The Economist; 2,00

Times; 2,16

Shanghai; 2,16

Bloomberg;2,21

Guardian; 2,21

Financial Times; 2,26

QS; 2,32

THES; 2,42

Leiden; 2,63

Carnegie; 2,69

CHE Employment; 2,69

CHE Excellence; 2,76

CHE Research; 2,81

CHE University; 2,82U-map; 2,94

U-multirank; 2,94

0,00 0,50 1,00 1,50 2,00 2,50 3,00

1

средняя оценка

44

Ограничения методологий, удовлетворяющих критериям IREG (на примере U-multirank, CHE University)

• Ресурсоемкость• Недостаточность сопоставимых данных по

деятельности различных университетов• Сложность применяемых индикаторов и процедур их

сбора• Сложность обеспечения объективной оценки при

использовании данных опросов• Сложности обработки больших объемов данных• Сложность соблюдения надежности и качества

процедур сбора данных при больших объемах

45

3 уровень: оценка относительно задач развития национальной системы высшего образования

Анализ наиболее часто используемых количественных параметров для модельной методологии рейтингования

• Выявление схожих/повторяющихся/наиболее часто используемых и значимых параметров;

• Анализ с точки зрения недостатков и доступности при сборе • Распределение количественных показателей по направлениям;• Анализ весов каждого из них в различных методологиях;• Анализ доступности и возможности сбора данных;• Критическая оценка по критериям: значимости с точки зрения

задач развития системы ВО РФ, надежности, доступности, релевантности, соответствия критериям IREG

46

3 уровень: Выделение количественных параметров модельной методологии рейтингования

• осуществляется с целью определить схожие/повторяющиеся/наиболее часто используемые и значимые параметры;

• позволяет выделить объективные показатели, используемые во всех методологиях рейтингования, и проанализировать их с точки зрения недостатков и доступности при сборе

47

3 уровень: Алгоритм

• распределение количественных показателей по направлениям;

• сведение всех количественных показателей по направлениям воедино для того, чтобы проследить схожесть параметров и проанализировать вес каждого из них в различных методологиях;

• определение частоты применения того или иного количественного показателя в качестве композитного/агрегированного, то есть его значимость и способность влиять на итоговую оценку;

• анализ доступности и возможности сбора данных при работе с тем или иным показателем в разных методологиях;

• критический взгляд на применение того или иного показателя для разных методологий рейтингования.

48

3 уровень: Список индикаторов результатов деятельности вузов (output indicators):

Научная деятельность:• Количество цитирований на одного ППС• Количество цитирований на одну статью• Нормализованный показатель цитирования с учетом предметной области. SСPP/SFCSm, где

SFCSm – средний показатель цитирования в области• Количество часто цитируемых публикаций• Общее количество публикаций• Количество публикаций в Nature and Science• Количество публикаций в SSCI• Количество публикаций на одного ППС• Количество публикаций в 40 обозначенных специализированных журналах• Количество профессиональных публикаций• MNCS1 = S (СPP/FCSm) – показатель цитирования, нормализованный относительно средней• Доля дохода вуза от исследований• Процент доходов от научных исследований, полученных на конкурсной основе• Соотношение числа защитившихся исследователей и профессоров к количеству

завершенных докторских диссертаций• Количество международных наград и призов• Количество выпускников с докторской степенью за последние 3 года• Количество научных продуктов, отличных от публикаций, рецензируемых коллегами

49

Список индикаторов результатов деятельности вузов (output indicators) продолжение:

Обучение/преподавание:• Количество выпускников – нобелевских лауреатов и лауреатов премии Филдса• ППС университета, которым были присуждены Нобелевская премия и премия

Филдса• Количество присуждаемых степеней PhD в расчете на одного ППС• Соотношение присужденных докторских степеней к количеству присужденных

степеней бакалавра• Доход на одного ППС • Процент студентов, закончивших университет с дипломом первого или второго

класса (диплом с отличием)• Процент студентов, завершивших обучение• Доля студентов, закончивших четырехлетний курс обучения• Доля студентов, перешедших на второй курс• Количество студентов получивших национальные премии• Упоминание выпускников в Who is Who• Количество выпускников директоров компаний по спискам Forbes (200 мировых

компаний лидеров)• Относительная доля нетрудоустроенных выпускников• Процент выпуска в рамках сроков обучения, стандартных для программы

обучения

50


Международная деятельность:• Доля публикаций ППС в научных периодических изданиях, подготовленных в

соавторстве по крайней мере с одним иностранным автором, в общем количестве журнальных публикаций ППС университета за год

• Количество совместных международных исследовательских публикаций• Доля иностранных выпускников-докторантов• Количество полученных международных исследовательских грантов• Доход из иностранных источников финансирования (преподавание, научная

деятельность, контракты с зарубежными предприятиями)Обмен знаниями:• Доход вуза от взаимодействия с бизнесом и промышленностью• Доход от деятельности по обмену знаниями• Количество зарегистрированных патентов• Количество совместных публикаций вузов и предприятий• Количество предлагаемых курсов повышения квалификации в расчете на одного ППС• Количество малых инновационных предприятий на одного ППС• Количество совместных с предприятиями патентов• Количество культурных мероприятий (выставок, конференций, концертов),

организованных университетом

51


Взаимодействие с регионом:• Доля доходов из местных/региональных источников• Процент выпускников, работающих в регионе• Количество контрактов на исследования, заключенные с региональными

партнерами.• Количество совместных с регионом исследовательских публикаций• Процент студентов, участвующих в стажировках в региональных

организациях• Количество дипломных работ, разработанных совместно с региономТрудоустройство:• Процент трудоустроившихся студентов, в течение 6 месяцев после

окончания университета• Процент выпускников, нашедших работу через центры трудоустройства

выпускников• Зарплата выпускников на момент окончания университета• Рост заработной платы выпускников до и после окончания программы

обучения

52

IV. Следующие шаги:• Оценить наиболее значимые количественные индикаторы с точки зрения их

важности и соответствия задачам развития ВО в РФ• Оценить наиболее значимые количественные индикаторы относительно их

надежности, доступности, релевантности, соответствия критериям IREG• Обработать и проанализировать полученные оценки• Сформировать перечень количественных параметров на основе полученных

экспертных оценок• Выделить ключевые элементы для модельной методологии рейтингования вузов

(цель, объект, направления деятельности, параметры, индикаторы)• Вынести предложения по ключевым элементам модельной методологии

рейтингования вузов на экспертные и общественные обсуждения• С учетом результатов экспертных и общественных обсуждений предложить проект

модельной методологии рейтингования вузов, включая доли различных направлений деятельности, содержание согласованных индикаторов, методы их сбора и веса

• Апробировать проект модельной методологии рейтингования вузов• Провести общественные и экспертные обсуждения результатов апробации• Провести аудит апробированной методологии международной экспертной группой

по определению рейтингов университетов IREG

53

Спасибо за внимание!

НФПКwww.ntf.ru

Ларионова Марина Владимировна (НФПК) Перфильева Ольга...

Documents