Методы проведения экспертных оценок. Метод wideband delphi

Практическое применение метода Wideband Delphi

Методы проведения экспертных оценок

1 Методы экспертных оценок

Экспертное оценивание

— процедура получения оценки проблемы на основе мнения

специалистов (экспертов) с целью последующего принятия

решения.

Случаи применения:

объект не поддается математической формализации;

в условиях отсутствия достоверной статистики по

характеристикам объекта;

в условиях большой неопределенности среды

функционирования объекта;

в условиях отсутствия необходимых технических средств

моделирования.

Связанные области исследований:

прикладная статистика, теория принятия решений, эконометрика,

системный анализ, исследование операций.

1.1 Классификация методов экспертных оценок

По организации

взаимодействия экспертов

Индивидуальные Коллективные

Интервьюирование

Анкетирование

Аналитический метод

Метод Дельфи

Метод прогнозного

сценария

+ простота проведения- невысокая надежность

экспертизы

«Мозговой штурм»

Метод совещаний

Деловые игры

Метод «суда»

Метод комиссий

Метод сценариев

+ выше надежностьэкспертизы

- сложность проведения

Смешанные

Метод Wideband

Delphi

ГАК

1.1 Классификация методов экспертных оценок

По числу туров (итераций)

ОднотуровыеС фиксированным

числом туров

«Мозговой штурм»

…

Метод Wideband

Delphi

…

С неопределенным

числом туров

Метод «снежного

кома»

…

1.2 Этапы экспертного оценивания

1. Постановка цели исследования.

2. Выбор формы исследования, определение бюджета проекта.

3. Подготовка информационных материалов, бланков анкет,

модератора процедуры.

4. Подбор экспертов.

5. Проведение экспертизы.

6. Анализ результатов (обработка экспертных оценок).

7. Подготовка отчета с результатами экспертного оценивания.

1.3 Требования к экспертной группе

Отбор экспертов, формирование экспертных групп

— ответственная задача, результат которой в наибольшей степени

определяет эффективность метода и правильность полученных

решений.

Порядок формирования экспертной группы:

1. Составление списка компетентных в необходимых областях лиц —

кандидатов в эксперты.

2. Определение оптимальной численности экспертной группы.

3. Формирование рабочей группы.

Качества «идеального» эксперта:

компетентность в исследуемой области и эрудированность в

смежных областях;

стаж научной и/или практической работы в определенной сфере;

объективность и принципиальность;

креативность.

1.4 Согласование экспертных мнений

Основные правила согласования экспертных мнений:

Правило большинства — выбирается та оценка явления или то

решение задачи, которых придерживается большинство экспертов.

Правило авторитета — выбирается то решение, к которому

склоняются самые авторитетные эксперты.

Правило средней оценки — определяется простая, либо

взвешенная средняя оценка мнений экспертов.

Достоверность экспертных оценок тем выше, чем меньше разброс

мнений. Мера достоверности — среднеквадратическое отклонение

или устойчивость мнений экспертов (если оценки экспертов резко

меняются от одного тура к другому, то достоверность таких оценок

невелика).

2 Метод Wideband Delphi

Область применения: программная инженерия

Дата создания: 1790-е годы

Автор: Барри Боэм (COCOMO, spiral model of software development)

Происхождение: адаптация метода Дельфи для инженерии ПО

Особенности: очно-заочная форма взаимодействия экспертов

Этапы сессии Wideband Delphi:

1. Планирование

2. Начальное собрание

3. Предварительная индивидуальная работа

4. Оценочное собрание

5. Объединение задач

6. Просмотр результатов

7. Завершение процесса оценки

2 Метод Wideband Delphi

Планирование определение проблемы и ее рамок, сбор необходимой

информации

Начальное собрание знакомство участников с проблемой, обсуждение проблемы и

сопутствующих вопросов, согласование единиц измерения

Предварительная

индивидуальная работа

каждый участник разрабатывает начальный список задач,

которые необходимо выполнить для достижения цели проекта,

указывая оценку для каждой задачи

Оценочное собрание ведущий объединяет списки задач, собирает оценки и вносит их

в таблицу в строку «Цикл 1»;

проходит обсуждение задач и предположений, участники

одновременно вносят изменения в свои оценки;

новые оценки вносятся в таблицу в строку «Цикл 2»; …

Объединение задач выработка главного списка задач, установка разумной величины

оценки для каждой задачи

Просмотр результатов все участники просматривают итоговые результаты и утверждают

их окончательный вариант

Завершение процесса

оценки

объединение множества оценок с помощью статистических

методов

2 Метод Wideband Delphi

Пример формы участника Wideband Delphi

2 Метод Wideband Delphi

Пример таблицы оценок Wideband Delphi

2 Метод Wideband Delphi

Достоинства Wideband Delphi

+ позволяет учитывать мнения сразу нескольких экспертов

+ позволяет составить объективную оценку

+ позволяет избежать крайних значений

Недостатки Wideband Delphi

- требует присутствия опытных экспертов

- требует грамотной организации процесса

- требует сравнительно высоких затрат

Вопросы?

Спасибо за внимание.