Методы проведения экспертиз при разработке управленческих решений

3) Разработка рабочей группой (точнее, ее основным составом, прежде всего научным руководителем и ответственным секретарем) и утверждение у ЛПР технического задания на проведение экспертного опроса. На этой стадии решение о проведении экспертного опроса приобретает четкость во времени, финансовом, кадровом, материальном и организационном обеспечении. В частности, формируется костяк рабочей группы со своей внутренней структурой. Обычно в рабочей группе выделяются различные группы специалистов - аналитическая, эконометрическая (специалисты по методам анализа данных), компьютерная, по работе с экспертами (например, интервьюеров), организационная. (Конечно, возможно совмещение ролей – один и тот же сотрудник может и отвечать за выбор метода анализа экспертных мнений, и сам же проводить этот анализ.) Очень важно для успеха, чтобы все перечисленные позиции были включены в техническое задание и утверждены ЛПР.

4) Разработка аналитической группой рабочей группы подробного сценария (т.е. регламента, правил) проведения сбора и анализа экспертных мнений (оценок). Термин «сценарий» имеет примерно тот же смысл, что и в театре и кинематографе. Сценарий включает в себя, прежде всего, анкеты и опросные листы (планы интервью), определяющие конкретный вид информации, которая будет получена от экспертов (например, слова, условные градации, числа, ранжировки, разбиения или иные виды объектов нечисловой природы). Например, довольно часто экспертов просят высказаться в свободной форме, ответив при этом на некоторые количество заранее сформулированных вопросов. Кроме того, их просят заполнить формальную карту, в каждом пункте выбрав одну из нескольких градаций .

Традиционная ошибка - сначала собрать информацию, а потом думать, что с ней делать. В результате, как показывает печальный практический опыт, информация используется не более чем на 1-2%. Причины в том, что в большом ворохе беспорядочно собранных фактов, как правило, отсутствует необходимая упорядоченность. А именно, значения отдельных показателей собраны с пропусками, способы измерения меняются от одного эксперта к другому, от одного объекта экспертизы к другому (как говорят, определения «плывут»), сам перечень показателей не позволяет ответить на интересующие ЛПР вопросы. Сценарий утверждается научным руководителем экспертной комиссией.

5) Подбор экспертов в соответствии с их компетентностью. На этой стадии рабочая группа составляет список возможных экспертов и оценивает степень их пригодности для планируемого исследования. Итоговый перечень должен включать по крайней мере в 1,5 раза больше потенциальных экспертов, чем то количество, которое планируется реально привлечь к работе.

6) Формирование экспертной комиссии. На этой стадии рабочая группа проводит переговоры с экспертами, получает их согласие на работу в экспертной комиссии. Возможно, часть намеченных рабочей группой (на стадии 5) экспертов не сможет войти в экспертную комиссию (болезнь, отпуск, командировка и др.) или откажется по тем или иным причинам (занятость, условия контракта и др.). В обязательном порядке ЛПР утверждает состав экспертной комиссии, возможно, вычеркнув или добавив часть экспертов к предложениям рабочей группы. Проводится заключение договоров с экспертами об условиях их работы и ее оплаты. На этой же стадии завершается формирование рабочей группы.

7) Проведение сбора экспертной информации в соответствии с разработанным на стадии 4 сценарием. Часто перед этим проводится набор и обучение интервьюеров - одной из групп, входящих в рабочую группу.

8) Компьютерный анализ экспертной информации с помощью включенных в сценарий методов. Ему обычно предшествует компьютеризация экспертных мнений, т.е. создание и наполнение соответствующих баз данных или электронных таблиц.

9) При применении (согласно сценарию) экспертной процедуры из нескольких туров - повторение двух предыдущих этапов.

10) Итоговый анализ экспертных мнений, интерпретация полученных результатов аналитической группой рабочей группы и подготовка заключительного документа экспертной комиссии для ЛПР. Форма заключения экспертной комиссией обычно задается в техническом задании.  

11) Официальное окончание деятельности экспертной комиссии и рабочей группы, в том числе утверждение ЛПР заключительного документа экспертной комиссии, подготовка и утверждение научного и финансового отчетов рабочей группы о проведении экспертного исследования, оплата труда экспертов и сотрудников рабочей группы, официальное прекращение деятельности (роспуск) экспертной комиссии и рабочей группы.

Научный отчет рабочей группы должен позволять восстанавливать все подробности деятельности экспертной комиссии на основе документов. В частности, в него должны быть включены все полученные от экспертов материалы и протоколы компьютерной обработки данных. Этот отчет может быть использован в суде и арбитражном суде в случае, если заинтересованные организации и лица сочтут нужным оспорить выводы экспертной комиссии в судебном порядке.[8]

Таким образом, экспертиза проводиться в несколько стадий, которые помогают детально проанализировать объект исследования и принять необходимое управленческое решение.

В заключение данной главы можно отметить, что для проведения качественной экспертизы и получения объективных результатов важным является ее правильная организация и подбор экспертов.

2. Основные методы проведения экспертиз при разработке управленческих решений

2.1 Методы организации экспертиз

Сущность экспертных методов заключается в построении рациональной процедуры интуитивно-логического мышления человека в сочетании с количественными методами обработки и анализа полученных результатов. При этом обобщенное мнение экспертов принимается как возможное решение проблемы.

Характер экспертной информации, которую предполагается использовать при принятии решений, налагает определенные требования на выбор конкретного метода экспертизы.

Рассмотрим основные методы организации экспертиз:  1. Метод анкетирования. Анкетирование - один из широко используемых методов в практике анализа управленческой деятельности для получения информации об анализируемом объекте Профессионально проведенное анкетирование позволяет получить представление о состоянии объекта управления до и после реализации управленческих решений, об использованных управленческих технологиях и их результатах.   По результатам анкетирования могут быть сделаны выводы и рекомендации, с тем чтобы руководитель мог более четко представлять преимущества и недостатки, области рационального применения тех или иных управленческих технологий.

Анкета - это определенным образом организованный набор вопросов, ответы на которые позволяют получить информацию об объекте экспертизы, необходимую для проведения управленческого анализа. От вида анкеты, ее структуры, сформулированных в ней вопросов, во многом зависит характер информации, получаемой в результате анкетирования.  Фактографические анкеты - это анкеты, в которых запрашивается объективная информация об объекте экспертизы. Такого типа анкеты используются, например, когда предполагается систематизация данных, разработка банков и баз данных. Они могут быть использованы также для получения статистических данных об объектах экспертизы.  Тематические анкеты - это анкеты, в которых определяется мнение экспертов в конкретной области по определенному кругу проблем. Целевые анкеты - это анкеты, предназначенные для анализа управленческих технологий или их элементов. Анкеты решений - это анкеты, в которых представляются варианты решений тех или иных управленческих проблем.  Тематические, целевые и анкеты решений могут принадлежать к классу оценочных, если в них присутствуют специальные графы, в которых должна даваться оценка объекта управления, управленческой технологии и т.д. по тому или иному критерию по оговоренной в анкете шкале.

Наиболее распространены критерии, по которым производятся оценки, - сравнительная важность оцениваемого альтернативного варианта решения. Оценочные анкеты могут быть и неявного типа, т.е. в них может требоваться указание не точной количественной оценки, а качественной оценки, по которой при обработке анкеты может быть восстановлена необходимая количественная оценка.

Иногда вместо указания точной количественной оценки в анкете может требоваться лишь указание диапазона значений, в которых находится оценка.   Анкеты бывают открытого и закрытого типа. В анкете закрытого типа на каждый вопрос даны варианты ответа, а в анкете открытого типа ответы могут быть выражены в произвольной форме. Анкетирование может проводиться непосредственно интервьюером, а может быть заочным.

2. Метод комиссий – это открытая дискуссия по обсуждаемой проблеме для выработки единого мнения экспертов. Коллективное мнение определяется в результате открытого или тайного голосования. Преимущества метода комиссий: возможен рост информированности экспертов за счет обсуждения обоснования экспертных оценок и обратная связь (под воздействием полученной информации эксперт может изменить первоначальную точку зрения). Также метод комиссий обладает и недостатками: отсутствует анонимность, что может привести к появлению конформизма; дискуссия нередко принимает вид полемики наиболее авторитетных экспертов; различная активность экспертов, часто не совпадающая с их компетентностью; публичность высказываний сочетается порой с нежеланием некоторых экспертов отступить от ранее высказанного мнения, хотя оно в ходе дискуссии может претерпеть изменения.

3. Экспертиза по методу суда характеризуется некоторой аналогией с судебным процессом. Состав экспертов делится на две группы. Одна объявляется сторонниками рассматриваемой альтернативы и выступает в качестве защиты. Другая группа объявляется ее противниками и пытается выявить отрицательные стороны. Возможна и третья сторона, которая регулирует ход экспертизы и выносит окончательное решение. Метод суда обладает теми же преимуществами и недостатками, что и метод комиссий.

4. Метод прогнозного графа создан авторским коллективом во главе с В.М. Глушковым. Качество прогнозов зависит от корректно проведенной экспертизы и обработки ее результатов. Известным методом экспертиз сложных систем является метод прогнозного графа. Он включает несколько туров. На первом туре составляется предварительный список промежуточных целей, необходимых для достижения конечной цели. На втором туре подвергаются анализу промежуточные цели. Последующие туры экспертизы аналогичны второму. Процедура заканчивается на том туре, когда больше не требуется дополнительных анализов и детализации.

5. Метод сценариев. Сценарий означает сюжетную схему, т.е. заранее подготовленный детальный план осуществления чего-либо. Сценарии позволяют с определенным уровнем достоверности выявить возможные тенденции развития событий, взаимосвязи между взаимодействующими факторами, сформировать картину состояний, к которым может прийти ситуация под влиянием конкретных воздействий.

Каждый сценарий может быть реализован в нескольких вариантах. Вариант – небольшие (незначительные) изменения каких-либо параметров системы в рамках сценария.

Разработка сценариев способствует предвидению потенциальной опасности, с которой сопряжены варианты управленческих воздействий и неблагоприятное развитие событий. Использование специальных компьютерных систем, а также датчиков случайных чисел, с последующим исключением невозможных ситуаций, расширяет горизонт анализа альтернативных вариантов в составе сценариев и выбор наиболее эффективного.[9]

Таким образом, каждый метод организации экспертизы обладает своими преимуществами и недостатками, поэтому при проведении экспертизы следует правильно определить способ взаимодействия экспертов для получения наиболее точного результата.

2.2 Метод «Дельфи» и метод мозговой атаки

В составе экспертных методов, наиболее активно используемых в настоящее время при выборе вариантов решений, наиболее известны метод «Дельфи» и метод мозговой атаки.

Метод «Дельфи» разработан и применен в США впервые в 1964 г. сотрудниками научно-исследовательской корпорации «РЭНД» О. Хелмером и Т. Гордоном. Один из основных методов проведения экспертиз. В настоящее время он представляет собой по существу группу методов, объединенных общими требованиями к организации экспертных процедур и форме получения экспертных оценок.

В методе Дельфи предусматривается создание условий, обеспечивающих наиболее продуктивную работу экспертной комиссии. Это достигается анонимностью процедуры, с одной стороны, и возможностью пополнить информацию о предмете экспертизы, с другой стороны. Ещё одно важное свойство - обратная связь, позволяющая экспертам корректировать свои суждения с учетом промежуточных усредненных оценок и пояснений экспертов, высказывавших крайние точки зрения. Метод «Дельфи» целесообразно применять в таких случаях, когда имеющиеся в распоряжении или доступные данные непригодны для анализа существующее проблемы; в распоряжении нет нужных данных; нет достаточного времени для сбора данных; процесс получения и анализа необходимых данных слишком дорог.

Экспертизы по методу Дельфи проводятся чаще всего в 4 тура.  В первом туре экспертам сообщают цель экспертизы и формулируются вопросы, ответы на которые составляют основное содержание экспертизы. Вопросы для эксперта предъявляются в виде анкеты, иногда с пояснительной запиской. Информация, полученная от эксперта, поступает в распоряжение аналитической группы.

Во втором туре экспертам предъявляются усредненная оценка экспертной комиссии и обоснования экспертов, высказавших крайние оценки. Указания представляются анонимно. После получения дополнительной информации эксперты, как правило, корректируют свои оценки. Скорректированная информация вновь поступает в аналитическую группу. Третий и четвертый туры не отличаются от второго.

Характерная особенность метода «Дельфи» - уменьшающийся от тура к туру разброс оценок, их возрастающая согласованность.

В некоторых случаях согласованная точка зрения экспертов может быть получена уже после второго и третьего тура. При некоторых экспертизах требуется проведение не менее пяти туров.  Основные особенности метода «Дельфи»: анонимность суждений, обоснование точек зрения экспертов, давших крайние оценки, обратная связь, реализуемая с помощью многотуровой процедуры.

В методе «Дельфи» сделана попытка усовершенствовать групповой подход к решению задач прогноза или оценки путем взаимной критики субъективных взглядов, высказываемых отдельными специалистами, без непосредственных контактов между ними и при сохранении анонимности мнений или аргументации в защиту этих мнений. Это позволяет исключить влияние авторитетных и «напористых» участников на суждение остальных, а также уменьшить или исключить явление «сдвига риска».

Характерными особенностями методов экспертных оценок и моделей их реализации как инструмента научного решения сложных неформализуемых проблем являются, во-первых, научно обоснованная организация всех этапов экспертизы, обеспечивающая эффективность работы на каждом из этапов и, во-вторых, применение количественных методов как при организации экспертизы, так и при оценке суждений экспертов на основе формальной групповой обработки результатов их мнений. Эти особенности отличают методы экспертных оценок от обычной давно известной экспертизы, применяемой в различных сферах человеческой деятельности.

При использовании метода «Дельфи» полезно учитывать следующее:

1.  Группы экспертов должны быть стабильными.

2.  Время между турами опросов не должно быть более месяца.

3.  Вопросы в анкетах должны быть тщательно продуманны и однозначно сформулированы.

4.  Число туров должно быть достаточным, чтобы обеспечить всем участникам возможность ознакомиться с причиной появления оценки, а также для критики этих причин.

5.       Должен проводиться систематический отбор экспертов.

6.       Необходимо иметь самооценку компетенции экспертов по рассматриваемым проблемам.

7.       Нужна формула согласованности оценок, основанная на данных самооценок.

8.       Необходимо установить влияние различных видов передачи информации экспертам по каналам обратной связи.

После первой апробации метода «Дельфи» были разработаны различные его модификации. Все модификации могут быть охарактеризованы следующим образом:

- составление классификатора событий, которые экспертам предстоит анализировать;

- предварительное описание прогнозного фона;

- уменьшение числа туров опроса;

- характер вопросов, задаваемых экспертам, и соответствующие математические процедуры получения групповых прогнозных оценок.

Модифицирование метода «Дельфи» было связанно с расширением области его применения. Классический метод «Дельфи», созданный для прогнозирования научных открытий и времени их свершения, стал использоваться для оценки приоритетности направлений прикладных исследований, а также для анализа перспективности технических (конструкторских и технологических) решений и даже для оценки количественных показателей разрабатываемых технических объектов, технологических процессов и т.д.[10]

Метод мозговой атаки, известный также под названиями «мозговой штурм» и «конференция идей», был предложен американским ученым А. Осборном в 1955 году. Основная направленность метода – выявление новых идей и решений.

Метод мозговой атаки характеризуется открытым высказыванием мнений специалистов (на специальном заседании) по решению конкретной задачи. При этом должны соблюдаться два условия:

1) запрещается критика чужих суждений;

2) предполагается высказывать любые идеи по решению данного вопроса без учета их сиюминутной ценности или возможности реализации.

Все высказанные идеи фиксируются и после обсуждения детально прорабатываются. Достоинством метода мозговой атаки является возможность принятия решения за сравнительно короткий срок.

При реализации метода мозговой атаки может применяться принцип Парето. После регистрации идей из всей их совокупности каждым экспертом отбирается 20% идей, с их точки зрения заслуживающих наибольшего внимания. Далее из их состава отбираются те, которые получили наибольшее количество очков. Применение этого метода устраняет эффект конформизма, т.е. приспособленчества, позволяет получить продуктивные результаты за короткое время, вовлечь всех экспертов в активный творческий процесс.

Мозговая атака может иметь различные модификации. При решении проблем численность людей, как генераторов, так и экспертов, обычно не превышает шести человек, продолжительность штурма не более 20 минут.

Весь процесс «атаки» можно разделить на шесть этапов:

1.       Формируется группа экспертов (10 - 15 человек). Состав группы предполагает их целенаправленный подбор.

2.       Составляется проблемная записка. Для подготовки записки предварительно формируется группа анализа проблемной ситуации.

3.       Генерация идей. Продолжительность штурма может составлять 20 – 60 минут (в зависимости от активности участников).

4.       Систематизация идей, высказанных на третьем этапе (генерации).

Страницы: 1, 2, 3