Исследования в современном управлении

Следует отметить, что при анализе сложных систем некоторые из существенных свойств и взаимосвязей либо вообще не допускают количественного описания, либо не представляется возможным в рассматриваемый момент времени получить о них количественные данные. Поэтому в этих случаях необходимо с помощью экспертов получить информацию качественного характера, основанную на опыте и интуиции специалистов. Такие качественные оценки носят название экспертных оценок.

Более того, выработка сложных решений в ситуациях неопределенности требует участия не одного эксперта, а группы эрудированных специалистов, хорошо осведомленных во многих областях знаний. Основное преимущество групповой оценки как раз и заключается в возможности разностороннего анализа количественных и качественных аспектов таких проблем. Кроме того, существуют проблемы, где без участия группы специалистов просто невозможно обойтись. Таковы прогнозы в области политики, науки и техники, а также задачи выбора предпочтительной альтернативы с учетом комплекса качественно различных факторов.

При использовании мнений группы экспертов предполагается, что организованное взаимодействие между специалистами позволит компенсировать смещения оценок отдельных членов группы и что сумма информации, имеющейся в распоряжении группы экспертов, будет больше, чем информация любого члена группы. Кроме того, очевидно, что сумма факторов, которые имеют отношение к данной проблеме и могут быть рассмотрены группой специалистов, как правило, больше или, по крайней мере, так же велика, как сумма факторов, которые может учесть отдельный эксперт. Анализ прогнозов, выполненных отдельными специалистами и оказавшихся неверными, показал, что одна из наиболее распространенных ошибок заключалась в том, что принимались во внимание факторы, которые впоследствии оказались малозначащими, и, наоборот, упускались наиболее существенные факторы.

В общем случае предполагается, что мнение группы экспертов надежнее, чем мнение отдельного индивидуума, т.е. что две группы одинаково компетентных экспертов с большей вероятностью дадут аналогичные ответы на ряд вопросов, чем два индивидуума. Предполагается, что коллективная ответственность позволяет специалистам принимать более рискованные решения и что интервал оценок, полученных от группы экспертов, включает в себя “истинную” оценку.

Однако групповым оценкам присущи известные недостатки. Xотя правило “ум хорошо, а два лучше” и служит одной из основных предпосылок организации групповых экспертиз, существует много трудностей, припятствующих получению надежной и согласованной групповой оценки.

Существенные затруднения связаны с решением проблемы соизмерения и объединения оценок экспертов, входящих в группу. Вопрос о возможности соизмерения и объединения индивидуальных оценок правомерен даже в тех случаях, когда все признаки, характеризующие рассматриваемые объекты, измерены с помощью одной и той же шкалы. Традиционные способы получения групповой оценки с помощью средних величин оказываются применимы только тогда, когда коллектив экспертов однороден в смысле характера ответов. В случае неоднородности коллектива средние оценки теряют содержательный смысл и могут оказаться в определенном смысле “хуже”, чем индивидуальные оценки, на основе которых они получены. Значительные трудности возникают и из-за различной “чувствительности” экспертов к предпочтениям. Имеются и другие проблемы при групповой экспертизе. И все же практика показывает, что экспертные методы дают более надежные результаты, чем любые другие методы групповых решений.

Для рационального использования информации, полученной от экспертов, необходимо преобразовать ее в форму, удобную для дальнейшего анализа. Возможности формализации информации зависят от особенностей объекта анализа, надежности и полноты имеющихся данных.

Важным для формализации информации является наличие у эксперта системы предпочтений, что означает способность эксперта сравнивать и оценивать возможные значения признаков объекта анализа путем приписывания каждому признаку определенного числа. В зависимости от того, по какой шкале заданы эти предпочтения, экспертные оценки содержат больший или меньший объем информации.

При использовании экспертов для анализа предметной области вводится понятие фактора, которым определяются свойства, характеристики и признаки объектов или взаимосвязи между ними. Условно факторы можно разделить на дискретные и непрерывные. Под дискретными понимают факторы с определенным (обычно небольшим) числом уровней. Если уровни образуют непрерывное множество, такие факторы рассматриваются как непрерывные. При формализации экспертной информации используются различные шкалы: порядковые, шкалы отношений, номинальные и др.

Наиболее распространенными в практике экспертных оценок являются анкетные методы и методы групповой экспертизы. К анкетным методам относятся ранжирование и нормирование, а также метод парных сравнений. Наиболее перспективными при групповой экспертизе являются метод Дельфы и некоторые его модификации.

7.2   Анкетные методы

Достоинством этих методов является простота, относительно малая стоимость, возможность одновременного охвата больших групп экспертов, возможность получения количественных результатов на основе статистического анализа экспертных данных. Недостатки этих методов следующие:

*                    незнание отношения опрашиваемого (серьезное или нет, заинтересованность в результатах и т.п.);

*                    неуверенность в том, правильно ли были поняты вопросы, поставленные в анкете;

*                    субъективность интерпретации вопросов;

*                    неполнота и возможность частичных ответов на вопросы.

Применительно к построению дерева взаимосвязей анкетными методами можно оценить коэффициенты относительной важности (КОВ) одного уровня дерева, так как по существу нужно упорядочить элементы (цели, подцели) по важности с точки зрения обеспечения цели верхнего уровня.

Метод ранжирования. Наиболее распространенными из анкетных методов являются ранжирование и нормирование. Метод ранжирования состоит в том, что эксперту предлагается присвоить числовые ранги каждому из приведенных в анкете факторов. Ранг, равный единице, приписывается наиболее важному, по мнению эксперта, фактору, ранг, равный двум, присваивается следующему по важности фактору и т.д.

Порядковая шкала, получаемая в результате ранжирования, должна удовлетворять условию равенства числа рангов N числу ранжируемых элементов. Иногда возникает ситуация, когда эксперт затрудняется провести четкое разграничение между некоторыми элементами. В этом случае вводятся так называемые стандартизованные или связанные ранги (Rсв).

Например, эксперту предлагается проранжировать по важности факторы, используемые в отделе труда и заработной платы предприятия (см. таблицу 7.1). Факторам 3 и 5, поделившим между собой второе и третье места приписывается связанный ранг

Rсв = (2 + 3)/2 = 2.5,

а факторам 2,4 и 6, поделившим соответственно 4,5 и 6 места, приписывается

Rсв = (4 + 5 + 6)/3 = 5.

В итоге получается следующая ранжировка (последний столбец таблицы).

Сумма рангов Sn, полученная в результате ранжирования n факторов, равна сумме чисел натурального ряда:

Sn = n * (n + 1)/2.

При большом числе оцениваемых факторов их “различимость”, с точки зрения эксперта, уменьшается. Поэтому число факторов не должно быть более 20, а наибольшая надежность процедуры ранжирования обеспечивается при n < 10.

Известно, что одним из недостатков анкетных методов является значительная субъективность экспертной оценки, поэтому для повышения степени ее объективности обычно проводят анкетирование нескольких экспертов. В случае, если ранжирование производится несколькими экспертами, то наивысший ранг присваивается фактору, получившему наименьшую сумму рангов, и наоборот, фактор, собравший наибольшую сумму рангов, получает самый низкий ранг N. Для формализации этой процедуры удобно воспользоваться относительными весами факторов, которые можно вычислить путем следующей обработки анкет.

Результаты опроса m экспертов относительно n факторов сводятся в матрицу размерности m*n (см. таблицу 7.2), которая называется матрицей опроса. Здесь Aij - ранг j-го фактора, данный i-м экспертом. При обработке матриц опроса переходят к преобразованным рангам по формуле

Sij = Amax - Aij.

При этом матрица опроса преобразуется в матрицу преобразованных рангов (Таблица 7.3), для каждого столбца которой определяется сумма

По данным таблицы 7.3 определяется относительный вес каждого фактора по всем экспертам:

, где

Для примера рассмотрим ситуацию: четыре эксперта проранжировали по важности три фактора из таблицы 5.1. Матрица опроса приведена в таблице 7.4.

Таким образом, самый большой относительный вес имеет третий фактор (0.317), который и получает наивысший ранг R=1, а наименьший ранг R=6 получит шестой фактор с самым низким весом (0.033).

При анализе оценок, полученных от экспертов, часто возникает необходимость выявить конкордацию - согласованность их мнений по нескольким факторам. Для этого используют коэффициент конкордации, который является числовым критерием согласованности мнений экспертов в рассматриваемой группе. Коэффициент конкордации определяется по формуле

V=S/Smax,

где S - сумма квадратов разностей рангов (отклонений от среднего), определяемая по формуле

Smax-максимальное значение S, которое имеет место в случае, когда все эксперты дают одинаковые оценки.

Можно показать, что суммарное квадратичное отклонение от их среднего значения для суммарных (по всем экспертам) рангов факторов при наилучшей согласованности будет определяться значением

В приведенных формулах, как и ранее, m - число экспертов в группе, n - число факторов. Величина коэффициента конкордации может меняться в пределах от 0 до 1, причем его равенство единице означает, что все эксперты дали одинаковые оценки, а равенство нулю означает, что связи между оценками, полученными от разных экспертов, не существует. Коэффициент конкордации удобно рассчитывать по формуле, предложенной Кендаллом:

В случае V < 0.2 - 0.4 говорят о слабой согласованности экспертов, а большие величины V > 0.6 - 0.8 свидетельствуют о сильной согласованности экспертов. Слабая согласованность обычно является следствием следующих причин:

·     - в рассматриваемой группе экспертов действительно отсутствует общность мнений;

·     - внутри группы существуют коалиции с высокой согласованностью мнений, однако, обобщенные мнения коалиций противоположны.

В рассмотренном выше примере для m=4, n=3 (таблица 7.4) найдем сумму квадратов отклонений в соответствии с приведенной выше формулой:

S = (11 - 8)2 + (8 - 8)2 + (5 - 8)2 = 18,

в этой формуле среднее значение определяется как m(n+1)/2 = 8.

Полученная величина коэффициента конкордации V = 0.56 показывает среднюю степень согласованности мнений экспертов.

Для определения степени согласованности мнений двух экспертов удобно пользоваться коэффициентом ранговой корреляции (по Спирмену):

где xj и yj - ранги, установленные двумя экспертами; n - число факторов.

Величина коэффициента ранговой корреляции принимает значения в интервале от -1 до 1. В случае наименьшей зависимости между двумя рядами номеров рангов величина коэффициента корреляции будет малой (близкой к нулю).

Метод нормирования. Метод нормирования или последовательного сравнения сводится к следующему. Факторы Ф1 - Фn, подлежащие экспертной оценке, выписываются напротив шкалы, размеченной в процентах или относительных величинах от 0 до 1. Эксперту предлагается соединить линией каждый фактор с требуемой (по мнению эксперта) точкой шкалы. Допускается проводить к одной точке шкалы несколько линий (см. рис. 7.1)

Результаты опроса нескольких экспертов сводятся в матрицу опроса (таблица 7.6), на основании которой производятся вычисления следующих величин:

·     сумма весов, даваемых i-м экспертом всем факторам,

·     относительный вес j-го фактора на основании оценки i-го эксперта

wij=bij/Bi;

·     результирующий вес j-го фактора

Рассмотрим расчет результирующих весов на небольшом примере. В таблице 7.7 приведены результаты опроса четырех экспертов по двум факторам.

После расчета сумм весов, даваемых i-м экспертом всем факторам получим таблицу 7.8

Далее рассчитываем относительные веса всех факторов по всем экспертам и результирующие веса каждого фактора. Все расчеты сведены в таблицу 7.9

7.3     Метод Дельфы

Метод Дельфы является одним из наиболее перспективных методов формирования групповой оценки экспертов. Этот метод получил название от древнегреческого города Дельфы и мудрецов, славившихся предсказаниями будущего. Метод представляет собой ряд последовательно осуществляемых процедур, направленных на формирование группового мнения экспертов. Для этого метода характерны следующие три основные черты:

·     - анонимность;

·     - регулируемая обратная связь;

·     - групповой ответ.

Анонимность предполагает использование специальных вопросников и других средств индивидуального опроса, в частности диалоговых средств персональных компьютеров.

Регулируемая обратная связь осуществляется путем проведения нескольких туров опроса, причем обработка результатов каждого тура осуществляется с помощью статистических методов и результаты ее сообщаются экспертам.

Применение статистических методов обработки группового ответа позволяет уменьшить статистический разброс индивидуальных оценок (снижение в знаниях неопределенности вероятностного характера) и получить групповой ответ, в котором наиболее верно отражено мнение каждого эксперта.

Следовательно, анонимность опроса позволяет ослабить влияние отдельных "доминирующих" экспертов, а регулируемая обратная связь снижает влияние индивидуальных и групповых интересов, не связанных с решаемыми задачами, т.е. обратная связь повышает объективность и надежность групповой оценки. Таким образом, итеративная процедура проведения опросов в несколько туров (с информированием экспертов о результатах предыдущих этапов опроса и предложениями, в ряде случаев, обосновать свое мнение) приводит к уменьшению разброса в индивидуальных ответах и создает несомненные преимущества дельфийского метода по сравнению с "простым" статистическим объединением индивидуальных мнений при обработке экспертных данных анкетными методами.

При обработке результатов опроса на каждом туре полученные экспертные оценки Ki (i=1,2,...,n) упорядочиваются, например, в порядке убывания и определяются характеристики положения и разброса. При этом в связи с тем, что обычно используют незначительное число экспертов, вместо традиционных числовых характеристик в виде математического ожидания и среднеквадратического отклонения предпочтительно в качестве характеристик положения и разброса использовать более устойчивые - медиану и квартили.

Медиана служит характеристикой группового ответа, предпочтительный интервал квартилей - показателем разброса индивидуальных оценок. За медиану Me принимается член ряда, по отношению к которому число экспертных оценок с начала и конца ряда (справа и слева от медианного значения) будет одинаковым (см. рис. 7.2). Затем определяется верхний и нижний квартили, представляющие собой интервалы, в каждый из которых попадает 25% значений ряда. Средние квартили, расположенные слева и справа от медианы, считаются предпочтительными как характеристики разброса. (Qн-Qв).

                    Qн Ме Qв

K1 K2 K3 K4 K5 K6 K7 K8 K9                 К

Рис. 7.2

На следующем туре каждому эксперту сообщаются значения полученных характеристик. Экспертов, чьи оценки оказались в крайних квартилях (справа от Qв или слева от Qн), просят обосновать их мнения и причины расхождения с групповым мнением. Так как ответы экспертов анонимны, они имеют возможность пересмотреть свои мнения, данные на предыдущем туре, и при желании исправить оценки. Такая процедура позволяет всем экспертам принять в расчет обстоятельства, которые они могли случайно пропустить или которыми они пренебрегли в предыдущих турах. После получения новых оценок определяются новые медиана и квартили. Процедура может повторяться 3-4 раза.

Такая итеративная процедура позволяет после каждого тура эффективно уменьшать разброс индивидуальных экспертных оценок. При этом средняя оценка экспертов, изменивших свое мнение, сдвигается по направлению средней оценки группы (медианы), а эксперты, не изменившие свои оценки, дают более точное и строгое их обоснование.

Экспериментально установлено, что при использовании метода Дельфы наличие в группе менее знающих экспертов оказывает более слабое влияние их на групповую оценку, чем при простом усреднении оценок, поскольку итерация помогает этим специалистам улучшить свои оценки за счет использования информации от более компетентных специалистов.

7.4     Вопросы для самопроверки

1.    Какое место занимает экспертное оценивание в методах системного анализа? Какие оценки называются экспертными?

2.    В каких случаях используются экспертные оценки?

3.    Какие методы экспертного оценивания используются наиболее часто ? Достоинства и недостатки анкетных методов экспертного оценивания.

Страницы: 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19