1. Краткая характеристика экспертных методов

Современная экономика предъявляет новые, более высокие требования к управлению. Вопросы совершенствования методов управления приобретают сейчас очень важное значение, поскольку именно в этой сфере имеются еще большие резервы роста эффективности народного хозяйства. Существенным фактором повышения научного уровня управления является применение при подготовке решений математических методов и моделей. Однако, полная математическая формализация технико-экономических задач часто неосуществима вследствие их качественной новизны и сложности.

В связи с этим все шире используются экспертные методы, под которыми понимают комплекс логических и математико-статистических методов и процедур, направленных на получение от специалистов информации, необходимой для подготовки и выбора рациональных решений. Экспертные методы применяют сейчас в ситуациях, когда выбор, обоснование и оценка последствий решений не могут быть выполнены на основе точных расчетов. Такие ситуации нередко возникают при разработке современных проблем управления общественным производством и, особенно, при прогнозировании и долгосрочном планировании.

Сущность экспертных методов, как при решении задач исследования систем управления, так и при использовании их в практике принятия решений в других областях науки, техники, управления, заключается в усреднении различными способами мнений (суждений) специалистов-экспертов по рассматриваемым вопросам.

Методы экспертных оценок - это методы организации работы со специалистами-экспертами и обработки мнений экспертов. Эти мнения обычно выражены частично в количественной, частично в качественной форме. Методы экспертных оценок используются для прогнозирования событий будущего, если отсутствуют статистические данные или их недостаточно. Они также применяются для количественного измерения таких событий, для которых не существует других способов измерения, например, при оценке важности целей и предпочтительности отдельных методов продвижения товара на рынок. Иными словами, методы экспертных оценок применяются как для количественного измерения событий в настоящем, так и для целей прогнозирования.

Под экспертными оценками понимают комплекс логических и математических процедур, направленных на получение от специалистов информации, ее анализ и обобщение с целью подготовки и выработки рациональных решений.

Функции экспертных оценок в системе управления:

прогноз тенденций развития тех или иных объектов управления и возможных сбоев в управляющих подсистемах, возникновения новых субъектов в формировании систем управления;

обоснование построения модели объекта прогнозирования. Методы экспертных оценок - одна из групп методов научно-технического прогнозирования, базирующаяся на предположении, что на основе мнений экспертов возможно построить адекватную модель объекта прогнозирования;

оценка степени достоверности данных, полученных в результате исследования, когда на процесс исследования естественным образом влияют субъективные факторы. Например, выводы по любому социально-экономическому исследованию могут быть сделаны на фактах, деформированных социальной концепцией исследователя;

оценка степени полноты и объективности информации, получаемой управляющей системой от объекта управления, а также обоснованности информации (решений), поступающей на вход в объект управления от управляющей системы;

оценка конкретных альтернативных путей развития или объекта управления, или управляющей системы, или обеих систем вместе;

аттестация конкретных элементов управляющей системы и объекта управления на предмет их соответствия функциям, для которых они созданы.

Наиболее распространенными экспертными методами при в настоящее время при принятии решений по управлению являются следующие:

метод рангов;

метод непосредственного оценивания;

метод сопоставлений.

Последний метод включает две его разновидности: парного сравнения и последовательного сопоставления.

В принципе каждый из них имеет много общего, а отличие, в основном, только в том, что оценивание (измерение) изучаемых объектов системного управления осуществляется различными способами. Причем каждый из методов обладает определенными достоинствами и недостатками.

Общность каждого из методов заключается в последовательности проведения процедур их использования. К ним следует отнести:

организацию экспертного оценивания;

проведение сбора мнений экспертов;

обработку результатов мнений экспертов.

По методу рангов эксперт осуществляет ранжирование (упорядочение) исследуемых объектов организационной системы в зависимости от их относительной значимости (предпочтительности). При этом обычно наиболее предпочтительному объекту присваивается ранг 1, а наименее предпочтительному - последний ранг, равный по абсолютной величине числу упорядочиваемых объектов. Более точным такое упорядочение становится при меньшем количестве объектов исследования и наоборот.

Таким образом, этот метод позволяет определить место исследуемого объекта среди других объектов системы управления. Достоинством метода рангов является его простота. Недостатками являются:

невозможность с достаточной точностью ранжировать количество объектов, количество которых превышает 15-20;

не отвечает на вопрос как далеко по значимости находятся исследуемые объекты друг от друга.

Данный метод применяется в практике исследования систем управления, несмотря на свою простоту, довольно редко.

Метод непосредственного оценивания представляет собой упорядочение исследуемых объектов (например, при отборе параметров для составления параметрической модели) в зависимости от их важности путем приписывания баллов каждому из них. При этом наиболее важному объекту приписывается (дается оценка) наибольшее количество баллов по принятой шкале. Диапазон шкалы оценок наиболее распространенным бывает от 0 до 1, 0 до 5, 0 до 10, 0 до 100. В простейшем случае оценка может быть 0 или 1. Иногда оценивание осуществляется в словесной форме. Например, «очень важный», «важный», «маловажный», и т.п., что тоже иногда для большого удобства обработки результатов опроса переводится в балльную шкалу (соответственно 3, 2, 1).

Использование указанного метода используется только при уверенности полной информированности экспертов об исследуемых свойствах объекта, чего нередко не бывает.

Метод сопоставления осуществляется парным сравнением и последовательным сопоставлением.

При парном сравнении эксперт сопоставляет исследуемые объекты по их важности попарно, устанавливая в каждой паре объектов наиболее важный. Все возможные пары объектов эксперт представляет в виде записи каждой из комбинаций (объект I - объект 2, объект 2 - объект 3 и т.д.) или в форме матрицы.

В результате сравнения объектов в каждой паре эксперт высказывает мнение о важности того или иного объекта, то есть отдает одному из них предпочтение. Иногда эксперты приходят к выводу об эквивалентности каждого из объектов пары. Упорядочение в каждой паре объектов, безусловно, не дает сразу упорядочения всех рассматриваемых объектов, поэтому необходима последующая обработка результатов сравнения. Наиболее удобно осуществлять парные сравнения и их обработку, используя в качестве инструмента матрицы.

В отдельных случаях при большом количестве исследуемых объектов на результаты парного сравнения оказывают влияние психологические факторы, то есть предпочтение порой получает не тот объект, который действительно предпочтителен перед другими, а тот, который в перечне пар записан первым или находится по расположению в матрице выше сравниваемого. Поэтому иногда для исключения психологического влияния проводят двойное парное сравнение, то есть еще раз осуществляют парное сравнение, но только при обратном расположении объектов и соответственно объектов в каждой паре.

Метод парных сравнений очень прост и он позволяет исследовать большее количество объектов (по сравнению, например, с методом рангов) и с большей точностью.

Сущность метода последовательного сопоставления состоит в следующем. Эксперт располагает все исследуемые объекты в порядке их важности (как метод рангов). Предварительно каждому из объектов приписывается определенное количество баллов, например, по шкале от 0 до I (как метод оценивания). Причем самому важному объекту дается балл равный I, а всем остальным в порядке уменьшения их значимости, то есть от I до 0. Далее эксперт решает вопрос, будет ли важность объекта, имеющего ранг I, больше суммы балльных оценок всех остальных объектов. Если будет, то величина балльной оценки первого объекта увеличивается до соблюдения этого условия, а если нет, то эксперт уменьшает эту величину до такого числового значения, чтобы она стала меньше суммы оценок всех остальных объектов.

Величины оценок второго, третьего и последующих объектов по важности определяются последовательно аналогично оценке первого наиболее важного объекта.

Метод последовательного сопоставления для экспертов наиболее трудоемок. Особенно это начинает ощущаться при количестве исследуемых объектов более шести-семи.

Общность экспертных методов заключается в последовательности проведения процедур их использования. К ним следует отнести организацию экспертного оценивания, проведение сбора мнений экспертов и обработку полученных результатов.

Для общего руководства экспертными работами назначается председатель экспертной комиссии. В ее составе организуют две группы - рабочую и экспертную.

В подчинении руководителя рабочей группы находятся технические работники, отвечающие за техническую сторону подготовки материалов к работе экспертов, обработку полученных результатов и т. п., а также специалисты по решаемым вопросам. Формирование экспертной группы осуществляет руководитель (организатор) рабочей группы. При этом выполняется ряд последовательных мероприятий:

постановку проблемы и определение области деятельности группы;

составление предварительного списка экспертов - специалистов в рассматриваемой области деятельности;

анализ качественного состава предварительного списка экспертов и уточнение списка;

получение согласия эксперта для участия в работе;

составление окончательного списка экспертной группы.

Число экспертов в группе зависит от множества факторов и условий, в частности от важности решаемой проблемы, имеющихся возможностей и т.п.

Подбор конкретных экспертов проводится на основе анализа качества каждого из предлагаемых экспертов. Используются для этой цели разнообразные способы:

оценка кандидатов в эксперты на основе статистического анализа результатов прошлой деятельности в качестве экспертов по проблемам оргпроектирования;

коллективная оценка кандидата в эксперты как специалиста в данной области;

самооценка кандидата в эксперты;

аналитическое определение компетентности кандидатов в эксперты.

Среди всех известных форм сбора мнений можно отметить индивидуальные, коллективные и смешанные. Каждая из этих форм имеет разновидности: анкетирование, интервьюирование, дискуссия, мозговой штурм, совещание, деловая игра. Во многих случаях управления качеством они используются совместно, что дает больший эффект и объективность.

Методы экспертных оценок можно разделить на две группы: методы коллективной работы экспертной группы и методы получения индивидуального мнения членов экспертной группы.

Методы коллективной работы экспертной группы предполагают получение общего мнения в ходе совместного обсуждения решаемой проблемы. Иногда эти методы называют методами прямого получения коллективного мнения. Основное преимущество этих методов заключается в возможности разностороннего анализа проблем. Недостатками методов является сложность процедуры получения информации, сложность формирования группового мнения по индивидуальным суждениям экспертов, возможность давления авторитетов в группе.

Методы коллективной работы включают методы «мозговой атаки», «сценариев», «деловых игр», «совещаний» и «суда».

Метод «мозговой атаки». Методы этого типа известны также под названием коллективной генерации идей, мозгового штурма, дискуссионных методов. Все эти методы основаны на свободном выдвижении идей, направленных на решение проблемы. Затем из этих идей отбираются наиболее ценные.

Достоинством метода «мозговой атаки» является высокая оперативность получения требуемого решения. Основным недостатком его - сложность организации экспертизы, так как иногда невозможно собрать вместе требуемых специалистов, создать непринужденную атмосферу и исключить влияние должностных взаимоотношений.

Метод «сценариев» представляет собой совокупность правил по изложению в письменном виде предложений специалистов по решаемой проблеме. Сценарий представляет собой документ, содержащий анализ проблемы и предложения по ее реализации. Предложения вначале пишут эксперты индивидуально, а затем они согласуются и излагаются в форме единого документа.

Основным преимуществом сценария является комплексный охват решаемой проблемы в доступной для восприятия форме. К недостаткам можно отнести возможные неоднозначность, нечеткость излагаемых вопросов и недостаточную обоснованности отдельных решения.

«Деловые игры» основаны на моделировании функционирования социальной системы управления при выполнении операций, направленных на достижение поставленной цели. В отличие от предыдущих методов деловые игры предполагают активную деятельность экспертной группы, за каждым членом которой закреплена определенная обязанность в соответствии с заранее составленными правилами и программой.

Основным достоинством деловых игр является возможность выработки решения в динамике с учетом всех этапов исследуемого процесса при взаимодействии всех элементов общественной системы управления. Недостаток заключается в сложности организации деловой игры в условиях, приближенных к реальной проблемной ситуации.

Метод «совещаний» («комиссий», «круглого стола») - самый простой и традиционный. Он предполагает проведение совещания или дискуссии с целью выработки единого коллективного мнения по решаемой проблеме. В отличие от метода «мозговой атаки» каждый эксперт может не только высказывать свое мнение, но и критиковать предложения других. В результате такого тщательного обсуждения уменьшается возможность ошибок при выработке решения.

Достоинством метода является простота его реализации. Однако на совещании может быть принято ошибочное мнение одного из участников в силу его авторитета, служебного положения, настойчивости или ораторских способностей.

Метод «суда» является разновидностью метода «совещаний» и реализуется по аналогии с ведением судебного процесса. Метод «суда» целесообразно использовать при наличии нескольких групп экспертов, придерживающихся различных вариантов решения.

Методы получения индивидуального мнения членов экспертной группы основаны на предварительном получении информации от экспертов, опрашиваемых независимо друг от друга, с последующей обработкой полученных данных. К этим методам можно отнести методы анкетного опроса, интервью и методы «Дельфи».

Основные преимущества метода индивидуального экспертного оценивания состоят в их оперативности, возможности в полной мере использовать индивидуальные способности эксперта, отсутствии давления со стороны авторитетов и в низких затратах на экспертизу. Главным их недостатком является высокая степень субъективности получаемых оценок из-за ограниченности знаний одного эксперта.

Метод «Дельфи» представляет собой итеративную процедуру анкетного опроса. При этом соблюдается требование отсутствия личных контактов между экспертами и обеспечения их полной информацией по всем результатам оценок после каждого тура опроса с сохранением анонимности оценок, аргументации и критики.

Процедура метода включает несколько последовательных этапов опроса.

На первом этапе производится индивидуальный опрос экспертов, обычно в форме анкет. Эксперты дают ответы, не аргументируя их. Затем результаты опроса обрабатываются, и формируется коллективное мнение группы экспертов, выявляются и обобщаются аргументации в пользу различных суждений.

На втором - вся информация сообщается экспертам, и их просят пересмотреть оценки и объяснить причины своего несогласия с коллективным суждением. Новые оценки вновь обрабатываются, и осуществляется переход к следующему этапу. Практика показывает, что после трех-четырех этапов ответы экспертов стабилизируются, и необходимо прекращать процедуру.

Достоинством метода «Дельфи» является использование обратной связи в ходе опроса, что значительно повышает объективность экспертных оценок. Однако данный метод требует значительного времени на реализацию всей многоэтапной процедуры.

Таким образом, можно сделать вывод, что экспертные методы непрерывно развиваются и совершенствуются. Основные направления этого развития определяются рядом факторов, в числе которых можно указать на стремление расширить области применения, повысить степень использования математических методов и электронно-вычислительной техники, а также изыскать пути устранения выявляющихся недостатков. Несмотря на успехи, достигнутые в последние годы в разработке и практическом использовании метода экспертных оценок, имеется ряд проблем и задач, требующих дальнейших методологических исследований и практической проверки. Необходимо совершенствовать систему отбора экспертов, повышение надежности характеристик группового мнения, разработку методов проверки обоснованности оценок, исследование скрытых причин, снижающих достоверность экспертных оценок. Однако, уже и сегодня экспертные оценки в сочетании с другими математико-статистическими методами являются важным инструментом совершенствования управления на всех уровнях.

экспертный оценка метод управление

2. Обработка данных, полученных экспертным методом

После проведения опроса группы экспертов осуществляется обработка результатов. Исходной информацией для обработки являются числовые данные, выражающие предпочтения экспертов, и содержательное обоснование этих предпочтений. Целью обработки является получение обобщенных данных и новой информации, содержащейся в скрытой форме в экспертных оценках. На основе результатов обработки формируется решение проблемы.

Обработка собранных мнений (данных) экспертов проводится как количественно (численные данные), так и качественно (содержательная информация). При обработке используются различные способы. При наличии численных данных для решения вопросов, обеспеченных достаточным информационным материалом, применяются методы усреднения экспертных суждений. Однако даже при имеющихся численных данных, но при недостаточности информации по решаемому вопросу, наряду с количественными методами обработки экспертных данных, используются методы качественного анализа и синтеза.

Наличие, как числовых данных, так и содержательных высказываний экспертов приводит к необходимости применения качественных и количественных методов обработки результатов группового экспертного оценивания. Удельный вес этих методов существенно зависит от класса проблем, решаемых экспертным оцениванием.

Все множество проблем можно разделить на два класса. К первому классу относятся проблемы, для решения которых имеется достаточный уровень знаний и опыта, т. е. имеется необходимый информационный потенциал. При решении проблем, относящихся к этому классу, эксперты рассматриваются как хорошие в среднем измерители. Под термином «хорошие в среднем» понимается возможность получения результатов измерения, близких к истинным. Для множества экспертов их суждения группируются вблизи истинного значения. Отсюда следует, что для обработки результатов группового экспертного оценивания проблем первого класса можно успешно применять методы математической статистики, основанные на осреднении данных.

При применении рассмотренных экспертных методов (рангов и др.) мнения экспертов часто не совпадают, поэтому необходимо количественно оценить меру согласованности мнений экспертов и определить причины несовпадения суждений. Мера согласованности, естественно, устанавливается па основе статистических данных всей группы экспертов. Для оценки данной меры используются коэффициенты конкордации, которые рассчитываются по формуле

где С - сумма квадратов отклонений сумм рангов по каждому объекту от средней суммы рангов по всем объектам и экспертам, т. е.

где - средняя сумма рангов;

Аij - оценка (в баллах), данная i-му объекту j-м экспертом.

К-эксперты, Н-объекты.

Коэффициент конкордации может быть в диапазоне 1>W>0. При W=0 согласованность мнений экспертов отсутствует, а при W=1полная. Обычно считается, что согласованность вполне достаточна при W>0,5.

Рассчитанную величину коэффициента конкордации следует взвешивать по критерию Пирсона Х^2 с определенным уровнем значимости B -Максимальной вероятностью неправильного результата работы экспертов. Обычно значимость достаточно задавать в пределах 0,005 -0,05

В случае получения расчетной величины Х^2расч больше табличной(с избранным уровнем значимости) мнения экспертов окончательно признаются согласованными.

В случае определения несогласованности линий экспертов по коэффициентам конкордации и при соответствующей проверке его величины по критерию Пирсона экспертные опросы следует повторить.

Ко второму классу относятся проблемы, для решения которых еще не накоплен достаточный информационный потенциал. В связи с этим суждения экспертов могут очень сильно различаться друг от друга. Более того, суждение одного эксперта, сильно отличающееся от остальных мнений, может оказаться истинным. Очевидно, что применение методов осреднения результатов групповой экспертной оценки при решении проблем второго класса может привести к большим ошибкам. Поэтому обработка результатов опроса экспертов в этом случае должна базироваться на методах, не использующих принципы осреднения, а на методах качественного анализа.

Учитывая, что проблемы первого класса являются наиболее распространенными в практике экспертного оценивания, основное внимание уделяется методам обработки результатов экспертизы для этого класса проблем.

В зависимости от целей экспертного оценивания и выбранного метода измерения при обработке результатов опроса возникают следующие основные задачи:

) построение обобщенной оценки объектов на основе индивидуальных оценок экспертов;

) построение обобщенной оценки на основе парного сравнения объектов каждым экспертом;

) определение относительных весов объектов;

) определение согласованности мнений экспертов;

) определение зависимостей между ранжировками;

) оценка надежности результатов обработки.

Задача построения обобщенной оценки объектов по индивидуальным оценкам экспертов возникает при групповом экспертном оценивании. Решение этой задачи зависит от использованного экспертами метода измерения.

При решении многих задач недостаточно осуществить упорядочение объектов по одному показателю или некоторой совокупности показателей. Желательно иметь численные значения для каждого объекта, определяющие относительную его важность по сравнению с другими объектами. Иными словами, для многих задач необходимо иметь оценки объектов, которые не только осуществляют их упорядочение, но и позволяют определять степень предпочтительности одного объекта перед другим. Для решения этой задачи можно непосредственно применить метод непосредственной оценки. Однако эту же задачу при определенных условиях можно решить путем обработки оценок экспертов.

Определение согласованности мнений экспертов производится путем вычисления числовой меры, характеризующей степень близости индивидуальных мнений. Анализ значения меры согласованности способствует выработке правильного суждения об общем уровне знаний по решаемой проблеме и выявлению группировок мнений экспертов. Качественный анализ причин группировки мнений позволяет установить существование различных взглядов, концепций, выявить научные школы, определить характер профессиональной деятельности и т. п. Все эти факторы дают возможность более глубоко осмыслить результаты опроса экспертов.

Обработкой результатов экспертного оценивания можно определять зависимости между ранжировками различных экспертов и тем самым устанавливать единство и различие в мнениях экспертов. Важную роль играет также установление зависимости между ранжировками, которые строятся по различным показателям сравнения объектов. Выявление таких зависимостей позволяет вскрыть связанные показатели сравнения и, может быть, осуществить их группировку по степени связи. Важность задачи определения зависимостей для практики очевидна. Например, если показателями сравнения являются различные цели, а объектами - средства достижения целей, то установление взаимосвязи между ранжировками, упорядочивающими средства с точки зрения достижения целей, позволяет обоснованно ответить на вопрос, в какой степени достижение одной цели при данных средствах способствует достижению других целей.

Оценки, получаемые на основе обработки, представляют собой случайные объекты, поэтому одной из важных задач процедуры обработки является определение их надежности. Решению этой задачи должно уделяться соответствующее внимание.

Таким образом, обработка результатов экспертизы представляет собой трудоемкий процесс. Выполнение операций вычисления оценок и показателей их надежности вручную связано с большими трудовыми затратами даже в случае решения простых задач упорядочения. В связи с этим целесообразно использовать вычислительную технику и особенно ЭВМ. Применение ЭВМ выдвигает проблему разработки машинных программ, реализующих алгоритмы обработки результатов экспертного оценивания.

Список используемой литературы

1. Василевская И.В. Управление качеством: Учебное пособие / И.В. Василевская. - М.: ИЦ РИОР, 2011. - 112 c.

Виханский О.С., Наумов А.И. Менеджмент: Учебник. - 3-е изд. - М.: Экономистъ, 2004. - 528с.: ил.

1.4. Пороговые значения определяются на основании мнений групп экспертов.

Достоинство метода – простота и гибкость, так как процедура оценки позволяет анализировать разнородные показатели и в любом количестве.

Однако результаты оценки во многом зависят от квалификации и опыта оценщика. Поэтому определяющим моментом и главной проблемой данного метода является отбор компетентных сотрудников и/или поиск экспертов, которым будет поручена оценка потенциала.

Экспертный метод - это комплекс логических и математико-статистических методов и процедур, связанных с деятельностью экспертов по переработке необходимой для анализа и принятия решений информации.

В практической деятельности по изучению и прогнозированию спроса метод экспертных оценок может быть использован для решения следующих задач: 1) Разработка средне- и долгосрочных прогнозов групповой структуры спроса на товары народного потребления. 2) Прогнозирование внутригрупповой (в развернутом ассортименте) структуры спроса на предстоящий хозяйственный год. 3) Определение групп потенциальных потребителей. 4) Оценка величины неудовлетворенного спроса по группам, видам и разновидностям товаров.

Эксперт – это компетентное лицо, имеющее глубокое знания о предмете или объекте исследования.

Как сформировать группу экспертов? На самом первом этапе отбора в качестве критериев целесообразно использовать два признака: род занятий и стаж работы по интересующему нас профилю. При необходимости учитываются также уровень, характер образования, возраст. Центральный среди критериев отбора экспертов – их компетентность. Для определения применимы, с той или иной степенью точности, два метода: самооценка экспертов и коллективная оценка авторитетности экспертов.

Наиболее простая и удобная форма самооценки экспертов – совокупный индекс, рассчитанный на основании оценки экспертами своих знаний, опыта и способностей по ранговой шкале с позициями “высокий”, “средний” и “низкий”. При этом первой позиции присваивается числовое значение “1”, второй – “0,5”, третий – “0”. В таком случае совокупный индекс – коэффициент уровня компетентности эксперта вычисляется по формуле.

Коэффицент уровня компетентности колеблется в интервале от 0 до 1. Обычно в группу экспертов принято включать тех, у кого индекс компетентности не менее среднего 0,5 и выше –1.

Метод коллективной оценки применяется для формирования группы экспертов в том случае, когда они иеют представление друг о друге как специалисты. Такая ситуация характерна для учёных, творческих деятелей, политииков, эономистов.

Прогноз. В нём наиболее наглядно проявляется отличие экспертной оценки от информации, получаемой в результате массового опроса. Оно заключается в стремлении к согласованности, единообразию суждений и оценок, высказываемых эспертами. Действительно, взможно ли использовать дя пракических целей, скажем, мнение тидцати экспертов, если они включают 5-7 взаимоисключающих прогностических оценок? Далее достоверность данных в массовом опросе как и некоторых среднестатистических показателей тем выше, чем больше совокупность опрошенных. В принципе прогностическая экспертная оценка осуществима для любых социальных процессов и явлений.

В прикладной социологии разработан ряд приёма опросов экспертов, используемых для получения прогностической оценки. При этом уместно заметить, что некоторые технические и методические приёмы, широко используемые в массовых опросах, теряют свою значимость при опросе такой спецефической аудитории, как эксперты. Как правило, массовые опросы носят анонимный характер. В экспертных опросах это теряет смысл, ибо эксперты должны быть полностью осведомлены о задачах, которые решаются в ходе исследования с их помощью. Поэтому нет никакой нужды применять в экспертной анкете косвенные или контрольные вопросы, тесты или какие-либо другие приёмы, имеющие своей целью выявить “скрытые” позиции респондента. Более того, использование таких приёмов может нанести заметный ущерб качеству экспертной оценки. Эксперт в полном смысле этого слова – активный участник научного исследования. И попытка скрыть от него цель исследования, превратив, таким образом, в пассивный источник информации, чревата потерей его доверия к организаторам исследования.

Основной инструментарий экспертного опроса – анкета или бланк-интервью, разработанные по специальной программе.

В отличие от массового опроса, программа прогнозированного опроса экспертов не столь детализирована и носит преимущественно концептуальный характер. В ней прежде всего однозначно формулируется подлежащее прогнозу явление, предусматривается в виде гипотиз возможные варианты его исхода.

Весьма часто применяется в прикладной социологии и такой метод экспертного прогноза, как “дельфинийская техника”. Он заключается в выработке согласованных мнений путём многократного повторения опроса одних и тех же экспертов. После первого опроса и обобщения результатов его итоги сообщаются участникам экспертной группы. Затем проводится повторный опрос, в ходе которого эксперты либо подтверждают свою точку зрения, либо изменяют оценку в соответствии с мнением большинства. Такой цикл содержит в себе 3-4 прохода. В ходе подобной процедуры вырабатывается оценка, но при этом исследователь, конечно, не должен игнорировать мнение тех, кто после неоднократных опросов остался на своей точке зрения.

Оценка степени достоверности результатов массовых опросов. В процессе выработки управленческих решений при помощи социологических исследований зачастую возникает вопрос о достоверности массового исследования и соответственно о правомерности сформулированных на их основе выводов. Словом, речь идёт об оценки компетентности мнений, высказанными респондентами.

Для этого составляется анкета эксперта, включающая в основном закрытые вопросы, по структуре идентичные вопросам, сформулированным в анкете репондента. Задача эксперта – с учётом объективной ситуации и интересующих исследователя факторов всказать по поставленным вопросам непредвзятую, весторонне взвешенную оценку.

Аттестация членов коллектива. В последние годы в практике исследования состояния идейно-воспитательной работы широко применяется такая разновидность метода экспертной оценки, как аттестация. При этом в роли экспертов вступают руководители коллектива, общественных организаций или специальная аттестационная комиссия.

ЭТАПЫ:

1. Постановка задачи

2. Технология организации экспертного анализа

3. Формирование экспертной комиссии

4. Организация экспертного опроса

5. Формальные методы описания предпочтений объектов

6. Формальные методы определения предпочтений

7. Математические методы обработки результатов экспертизы

8. Оценка согласованности экспертов

В процессе управления производственной системой непрерывно возникают ситуации, когда руководители различных уровней (от мастера до министра) сталкиваются с необходимостью выбора какого-либо одного из нескольких возможных вариантов действий. Выработка и принятие решения – узловая процедура в деятельности руководителя, которая определяет весь дальнейший ход процесса управления, в особенности конечный результат управленческой деятельности.

Многие факторы, определяющие или влияющие на выбор решения, по своей природе не поддаются количественной характеристике, другие - практически не могут быть измерены. Все это сделало необходимой разработку специальных методов, облегчающих выбор управленческих решений в сложных технических, организационных, экономических задачах (методы исследования операций, экспертные оценки и др.).

1.4. Ранжирование как метод коллективных экспертных оценок . Суть процедуры заключается в следующем: экспертам (специалистам в исследуемой области) предлагается провести ранжирование (расположение явлений в порядке возрастания (убывания) значимости) некоторых явлений (ценообразующих факторов). При этом каждому явлению (фактору) присваивается свой ранг (порядковое место явления (фактора) в общей последовательности факторов). Ранги принято обозначать порядковыми числами натурального ряда (1, 2, 3, 4 ……). При этом ранг 1 присваивается наиболее значимому фактору.

Сумма рангов, проставленных экспертом по всем факторам может быть вычислена по следующей формуле:

ri – ранг, поставленный i-ому фактору;

m – число исследуемых явления (факторов).

Суммы рангов проставленных каждым экспертом должны быть равны. Если же эксперт присваивает двум (трем и так далее) различным явлениям одинаковые ранги, т.е. считает два явления (фактора) равнозначными (связанные ранги), то суммы рангов проставленные каждым экспертом не будут совпадать

что в свою очередь не позволить произвести дальнейшие расчеты.

Для избежания нарушения выше представленного равенства, оценщику, проводящему экспертизу, необходимо произвести пересчет таких рангов, в так называемые стандартизированные ранги. Расчет осуществляется путем деления суммы мест, занимаемых связанными рангами, на их число. Пример расчета представлен в таблице 1.

В итоге мы получаем нормальную ранжировку, для которой выполнено основное условия ранжирования (1).

Далее по каждому явлению подсчитывается сумма рангов, проставленных каждым экспертам. Явлению (фактору), который получил наименьшую сумму рангов, присваивается соответственного ранг 1 и т.д. Если на данном этапе для некоторых явления суммы рангов совпадут, то необходимо снова произвести процедуру стандартизации рангов, но уже по рангам, полученным путем суммирования оценок экспертов. Пример ранжирования представлен в таблице 2. Необходимо отметить, что число экспертов (d) должно быть как минимум на 1 больше, чем число исследуемых факторов (m).

Факторы
Эксперт								сумма
Стандартизированные ранги
		3,5	3,5
			4,5		4,5
			4,5		4,5
Сумма рангов (r1)		23,5	31,5
Ранги факторов (R)
Стандартизированные итоговые ранги	1,5			1,5		6,5	6,5

Получение рангов позволяет произвести дальнейшие расчеты весовых коэффициентов для каждого ценообразующего фактора при проведении корректировок в квалиметрических моделях и других методах сравнительного подхода. Однако окончательный вывод о возможности использования коллективного мнения экспертов возможно после определения согласованности мнений экспертов. Проверку согласованности мнений осуществляют с помощью коэффициента конкордации (согласия). Расчет коэффициента осуществляет по следующей формуле:

где,
m – количество оцениваемых факторов;
d – число экспертов;
Ri – сумма рангов по i-ому фактору (явлению);

Чем ближе значение коэффициента к 1, тем выше согласованность. Приемлемость полученных экспертных оценок определяется путем сравнения критерия значимости x2факт=d*(m-1)*W с табличным значением x2табл. при степенях свободы (m-1) и заданной вероятностью (например: Pо = 0,05, P=1-Po). Если полученное расчетным путем значение равно или выше табличного, то коэффициент конкордации существенен и с надежностью 0,95, мнения экспертов согласованны. Табличные значения критерия значимости представлены в таблице 3.

m-1	P0		m-2	P0
0,05	0,01	0,001	0,05		0,001
	3,84	6,63	10,83		26,3		39,25
	5,99	9,21	13,81		27,59	33,41	40,79
	7,81		16,27		28,87	34,8	42,31
	9,49	13,28	18,46		30,14	36,19	43,82
	11,07	15,09	20,52		31,41	37,57	45,31
	12,59	16,81	22,46		32,67	38,93	46,8
	14,07	18,47	24,32		33,92	40,29	48,27
	15,51	20,09	26,12		35,17	41,63	49,73
	16,92	21,67	27,88		36,41	42,98	51,18
	18,31	23,21	29,59		37,65	44,31	52,62
	19,67	24,72	31,26		38,88	45,64	54,05
	21,03	26,22	32,91		40,11	46,96	55,48
	22,37	27,69	34,53		41,34	48,28	56,89
	23,68	29,14	36,12		42,56	49,59	58,3
		30,58	37,7		43,77	50,89	59,7

x2факт= 44,016 > x2табл.= 12,59

Таким образом, мнения экспертов, приведенные в нашем примере, достаточно согласованны и могут быть использованы в дальнейших расчетах.

Весовой коэффициент каждому фактору может быть присвоен с помощью следующей формулы:

ri – итоговый ранг фактора.
В нашем примере веса распределились бы следующим образом (таблица 4).

Факторы
								сумма
Ранг	1,5			1,5		6,5	6,5
Вес	0,232	0,179	0,143	0,232	0,107	0,054	0,054

Представленный способ распределения весов не претендует на объективность, и обладает рядом недостатков, в частности: распределение весов основано на ранжирование факторов, что в свою очередь позволяет распределить факторы только с заданным интервалом, т.е. метод дает ответ, что фактор «А» важнее чем «Б», а «Б» важнее чем «С». Однако, согласно этому фактор «А» в два раза важнее чем фактор «С», что может не соответствовать действительности.

В квалиметрии экспертный метод применяется:

1) для измерения показателей качества;

2) для определения зна­чений весовых коэффициентов.

Однако он не является принадлежностью только квалиметрии. Экспертный метод применяется и при измерении физических величин, в медицине (консилиумы), в искусстве (жюри), в социально-политической сфере (референдумы), в государственном и хозяйственном управлении (коллегиальность). Но именно потребности квалиметрии поставили этот метод измерений на строгую научную основу.

Независимо от целей и задач применение экспертного метода предполагает соблюдение следующих условий:

экспертная оценка должна производиться только в том случае, когда нельзя использовать для решения вопроса более объективные методы;

в работе экспертной комиссии не должно присутствовать. Факторов, которые могли бы влиять на искренность суждений экспертов; мнения экспертов должны быть независимыми;

вопросы, поставленные перед экспертами, не должны допускать различного толкования;

эксперты должны быть компетентны в решаемых вопросах;

количество экспертов должно быть оптимальным;

ответы экспертов должны быть однозначными и обеспечивать возможность их математической обработки.

Качественный состав экспертной комиссии - важное условие эффективности экспертного метода. Вполне очевидно, что во всех без исключения случаях экспертиза должна проводиться грамотными, высококвалифицированными, вполне компетентными в рассматриваемых вопросах и достаточно опытными специалистами. Весьма полезным является их специальное предварительное обучение и совершенно необходимым - инструктаж. На завершающем этапе формирования экспертной группы целесообразно провести тестирование, самооценку, взаимооценку экспертов, анализ их надежности и проверку согласованности мнений.

Тестирование состоит в решении экспертами задач, подобных реальным, с известными (но не экспертам) ответами. На основании результатов тестирования устанавливается компетентность и профпригодность экспертов.

Самооценка экспертов состоит в ответе каждым из них в строго ограниченное время на вопросы специально составленной анкеты, в результате чего быстро и просто проверяются ими же самими их профессиональные знания и деловые качества. Оценка их дается каждым экспертом по балльной системе. При всей субъективности такой оценки опыт показывает, что экспертные группы с высокими показателями самооценки экспертов ошибаются в меньшей степени.

Весьма показательной является взаимная оценка экспертами друг друга (также по балльной системе). Для этого они должны, разумеется, иметь опыт совместной работы.

При наличии сведений о результатах работы эксперта в других экспертных группах критерием его квалификации может стать показатель или степень надежности - отношение числа случаев, когда мнение эксперта совпало с результатами экспертизы, к общему числу экспертиз, в которых он участвовал. Использование этого подхода к отбору экспертов требует накопления и анализа большого объема информации, но открывает возможность непрерывного совершенствования качественного состава экспертных групп.

Каждый эксперт дает одно из значений отсчета, являющегося, согласно основному постулату метрологии, случайным числом. Порядок и правила дальнейших действий рассмотрены в гл. 2. В частности, однократное измерение экспертным методом требует использования большого объема априорной информации. При визуальной топографической съемке, например, большое значение имеет глазомер эксперта, при измерении эстетических показателей качества- его художественный вкус и т. д. Многократное измерение одной и той же физической (или другой) величины постоянного размера, либо показателя качества может быть организовано с последующим усреднением экспериментальных данных по времени (если измерение выполняется одним экспертом) или по множеству (если измерение производится одновременно несколькими экспертами). Первый способ применяется редко, так как субъективные особенности эксперта выступают в этом случае в качестве постоянно действующих факторов, трудно поддающихся исключению, компенсации или учету. Во втором способе они выступают в качестве случайных и нивелируются при усреднении по множеству. Отсчет, полученный группой экспертов, представляется множеством его отдельных значений или законом распределения вероятности. При большом количестве отдельных значений отсчета по правилу "трех сигм" легко обнаруживаются и устраняются ошибочные. Если отсчет подчиняется нормальному закону распределения вероятности, то его среднее арифметическое при количестве экспертов п > 30 ... 40 тоже подчиняется нормальному закону, а при меньшем их числе - закону распределения вероятности Стьюдента. Интервал возможных значений измеряемой величины или показателя качества в окрестностях среднего арифметического значения с выбранной доверительной вероятностью устанавливается по графикам, приведенным на рис. 38.

При подборе экспертов большое внимание уделяется согласованности их мнений, которая характеризуется смещенной или несмещенной оценкой дисперсии отсчета. С этой целью на этапе формирования экспертной группы проводятся контрольные измерения с математической обработкой их результатов. Нередко при этом используется не один, а сразу несколько объектов измерений, которые в зависимости от их ценности или качества нужно расставить по шкале порядка, т.е. определить их ранг, ибо измерение по шкале порядка называется ранжированием. За меру согласованности мнений экспертов в этом случае принимается так называемый коэффициент конкордации.

где S - сумма квадратов отклонений суммы рангов каждого объекта экспертизы от среднего арифметического рангов; п - число экспертов; m - число объектов экспертизы. В зависимости от степени согласованности мнений экспертов коэффициент конкордации может принимать значения от 0 (при отсутствии согласованности) до 1 (при полном единодушии).

Пример 75. Определить степень согласованности мнений 5-ти экспертов, результаты ранжирования которыми 7-ми объектов экспертизы приведены в табл. 45.

Решение.1. Среднее арифметическое рангов

2. Используя результаты промежуточных вычислении, приведенные в табл.45, получаем S= 630.

3. Коэффициент конкордации

Степень согласованности мнений экспертов можно считать удовлет­ворительной.

Если степень согласованности мнений экспертов оказывается неудовлетворительной, принимают специальные меры для ее повышения. Сводятся они, в основном, к проведению тренировок с обсуждением результатов и разбором ошибок. Если возможности для предварительной подготовки экспертов нет, измерение экспертным методом проводится по методу Дельфы*. Характерными чертами ого метода являются:

анонимность; эксперты не встречаются друг с другом, чтобы избежать влияния авторитета и красноречия кого-либо из них;

многоэтапность; после каждого тура опроса все эксперты знакомятся с мнением друг друга и при необходимости представляют письменные обоснования своих точек зрения. Соглашаясь или не соглашаясь с мнениями своих коллег, они могут пересматривать свою точку зрения;

контроль; после каждого тура проверяется согласованность мнений экспертов до тех пор, пока разброс отдельных мнений не снизится до заранее выбранного значения.

При особо ответственных измерениях экспертным методом могут учитываться весовые коэффициенты квалификации экспертов.

* Этот метод впервые был предложен в начале 1950-х г. американскими учеными Т. Дж. Гордоном и О. Хелмером для решения военных проблем. Название его происходит от древнегреческого города Дельфы, где по преданию при храме Апполона с IX в. до н. э. по IV в. н. э. существовал совет мудрецов ("дельфийский оракул"), славившийся своими предсказаниями.

Количество экспертов тоже играет важную роль. С ростом числа экспертов в группе точность измерения повышается. Это фундаментальное свойство любого многократного измерения определено выражением (11). Чтобы воспользоваться им для определения численности экспертной группы n, обеспечивающей заданную точность измерения, нужно опять-таки в подготовительный период установить закон распределения вероятности отсчета, получаемого экспертным методом, или хотя бы его среднее квадратическое отклонение , не зависящие от n. Тогда по графику на рис. 159, отражающему зависимость (11), можно найти число экспертов n, при котором среднее квадратическое отклонение среднего арифметического будет соответствовать требуемому. Исходная численность экспертной группы составляет обычно не менее 7 человек. В отдельных случаях она достигает 15 ... 20 экспертов (массовый опрос проводится, как правило, только при социологических исследованиях). Если в подготовительный период не определено, то достижение требуемой точности за счет расширения экспертной группы достигается уже в процессе измерения экспертным методом так, как это показано на рис. 39.

В некоторых случаях требуется обеспечить максимально возможную точность измерения экспертным методом. В этих случаях состав экспертной группы целесообразно ограничить таким числом экспертов п, при котором разли­чия между средними арифметическими и оценками дисперсий результатов измерений при n и n + 1 экспертах перестают быть значимыми. Эти условия проверяются по алгоритмам, приведенным на рис. 41 и 43.

По тому, в какой форме эксперты выражают свое мнение, т.е. по способу проведения экспертизы, различают:

непосредственное измерение;

ранжирование;

сопоставление.

При непосредственных измерениях экспертным методом значения физических величин или показателей качества оп­ределяются сразу в установленных единицах (то ли в единицах СИ, то ли в баллах, нормо-часах, рублях, единицах условного топлива и т.д.). Такие измерения могут проводиться как по шкале отношений, так и по шкале интервалов или шкале порядка. Измерения по шкале отношений требуют наличия эталонов. К ним относятся органолептические методы измерения длины, массы, силы света и многие другие. Непосредственное измерение весовых коэффициентов, сумма которых должна равняться единице, производится по шкале порядка. Значения этих коэффициентов рассчитываются по формуле

где п - количество экспертов; m - число “взвешиваемых” показателей; - коэффициент весомости j -го показателя в баллах, данный i -м экспертом.

По реперным шкалам порядка измеряется в баллах сила морского волнения, сила землетрясений и т.п. Непосредственно путем приписывания баллов (обычно от 1 до 10) могут измеряться по шкале порядка и такие свойства, для которых нет ни эталонов, ни объективных критериев. В последнем случае из соотношения баллов нельзя делать каких-либо количественных выводов.

Непосредственное измерение экспертным методом является наиболее сложным и предъявляет к экспертам наиболее высокие требования.

Ранжирование состоит в расстановке объектов измерений или показателей в порядке их предпочтения, по важности или весомости. Место, занятое при такой расстановке, называется рангом. Чем выше ранг, тем предпочтительней объект, весомее, важнее показатель.

Пример ранжирования пятью экспертами семи объектов экспертизы приведен в табл. 45. Если это, допустим, художественные произведения, то результат измерения их качества по шкале порядка таков:

лучшим является седьмое, вторым по качеству - четвертое, затем - шестое, первое, второе, третье и пятое. Если же ранжирование прово­дилось с целью определения весовых коэффициентов g i для семи пока­зателей качества, то они рассчитываются по формуле (53), в которой - ранг j - го показателя, установленный i -м экспертом, В примере 75

Сопоставление бывает последовательным и попарным. Последовательное сопоставление каждого. Объекта экспертизы с совокупностью всех тех, которые ниже рангом, позволяет откорректировать ранжированный ряд, уточнить позиции входящих в него объектов с учетом их важности. Оно имеет смысл тогда, когда несколько объектов экспертизы можно рассматривать как один составной объект той же природы. Порядок последовательного сопоставления следующий.

1. Объекты экспертизы располагаются в порядке их предпочтения (ранжирование).

2. Наиболее важному объекту приписывается балл или весовой коэффициент, равный 1; всем остальным в порядке уменьшения их относительной значимости - баллы или весовые коэффициенты 1 до 0.

3. Сопоставляется первый объект с совокупностью всех остальных. Если, по мнению эксперта, он предпочтительнее, чем совокупность всех остальных вместе взятых, то результат его измерения в баллах или весовой коэффициент корректируется в сторону увеличения с таким расчетом, чтобы он стал больше (иногда определяют и на сколько больше) суммы баллов или весовых коэффициентов всех остальных объектов экспертизы, которые ниже рангом. В противном случае результат измерения или весовой коэффициент первого объекта корректируется в сторону уменьшения так, чтобы он оказался меньше суммы баллов или весовых коэффициентов остальных объектов.

4. Сопоставляется второй объект с совокупностью всех остальных, стоящих ниже рангом. По установленному выше правилу корректируется результат его измерения или значение весового коэффициента (при этом нужно следить, чтобы не нарушилось предпочтение первого объекта перед совокупностью всех остальных, если оно установлено на предыдущем этапе). Такая процедура сопоставлений и корректировок продолжается вплоть до предпоследнего объекта.

5. Полученные результаты измерений или весовые коэффициенты нормируют, т.е. делят на общую сумму баллов или весовых коэффициентов. После этого они принимают значения в пределах от 0 до 1, а их сумма становится равной 1.

Попарное сопоставление самое простое и наиболее оправданное с психологической точки зрения, рассмотрено в примерах 21 и 22. Как можно заметить, табл. 17 и 18 являются избыточными. При попарном сопоставлении достаточно данных, приведенных в таблицах по одну сторону от диагонали. Предпочтение при этом выражается указанием номера предпочтительного объекта так, как это показано в табл.46.

Балл j - го объекта или весомость j - го показателя рассчитываются по формуле (53). В данном случае

где - частота предпочтения i - м экспертом j - го объекта экспертизы; С - общее число суждений одного эксперта, свя­занное с числом объектов экспертизы m (числом измеряемых показателей или коэффициентов весомости) соотношением

Пример 76. Предположим для простоты, что пять экспертов, выра­зили свое мнение о шести объектах экспертизы одинаково: так как это представлено в табл. 46. Определить весомость каждого объекта и 1 построить ранжированный ряд.

Решение 1. Частоты предпочтений

Поэтому полученные в п.3 значения G j можно рассматривать уже как нормированные и, в частности, использовать как весовые коэффициенты.

5. Ранжированный ряд объектов экспертизы имеет вид: № 3; № 1;№2; №6; №5; №4.

Опыт попарного сопоставления по табл. 46 показывает, что в силу особенностей человеческой психики эксперты иногда бессознательно отдают предпочтение не тому объекту в очередной рассматриваемой паре, который важнее, а тому, который стоит в перечне первым. Чтобы избежать этого, используют свободную часть таблицы и проводят попарное сопоставление дважды (например, сначала первого объекта со вторым, третьим, четвертым и т.д., затем второго с первым, третьим, четвертым, ... и так до последнего, а потом в обратном порядке: последнего с предпоследним, и до первого; предпоследнего с последним, предыдущим... и вновь до первого). Таким образом, каждая пара объектов сопоставляется дважды, причем в разном порядке и по истечении некоторого времени. При таком сопоставлении, называемым полным или двойным, удается иногда избежать случайных ошибок и, кроме того, выявить экспертов, небрежно относящихся к своим обязанностям или не имеющих определенной точки зрения. Иначе говоря, двойное попарное сопоставление обладает более высокой надежностью, чем однократное. Порядок расчетов при нем остается прежним, за исключением того, что С = т (т-1).

Уточнить результаты измерений или значения весовых коэффициентов, полученные попарным сопоставлением, можно методом последовательного приближения. Первоначальные результаты (см. п. 3 примера 76) рассматриваются в этом случае как первое приближение. Во втором приближении они используются как весовые коэффициенты G j (1) суждений экспертов. Полученные с учетом этих весовых коэффициентов новые результаты в третьем приближении рассматриваются опять как весовые коэффициенты G j (2) тех же мнений экспертов и т.д. Согласно теореме Перрона-Фробениуса, при определенных условиях, которые на практике всегда выполняются, этот процесс сходится, т.е. нормированные результаты измерений g j или весовые коэффициенты стремятся к некоторым постоянным значениям, строго отражающим соотношения между объектами экспертизы при установленных экспертами исходных данных.

Пример 77 . Результаты полного попарного сопоставления одним экспертом пяти объектов экспертизы представлены табл. 47, подобной табл. 18, с той лишь разницей, что с целью исключения из рассмот­рения отрицательных чисел предпочтение j -го объекта перед i -м обозначено цифрой 2, равноценность- цифрой 1, а предпочтение i - го объекта перед j - м - цифрой 0.

Что можно сказать о результате измерения в третьем приближении? Решение.

1. В первом приближении

G 1 (1) = 1+2+2+1+2= 8;

G 2 (1) = 0+1+2+2+2= 7;

G 3 (1) = 0+0+1+0+0= 1;

G 4 (1) = 1+0+2+1+2= 6;

G 5 (1) = 0+0+2+0+1= 3.

2. Во втором приближении

G 1 (2) = 8 * 1+7 * 2+1 * 2+6 * 1+3 * 2= 36;

G 2 (2) = 8 * 0+7 * 1+1 * 2+6 * 2+3 * 2= 27;

G 3 (2) = 8 * 0+7 * 0+1 * 1+6 * 0+3 * 0= 1;

G 4 (2) = 8 * 1+7 * 0+1 * 2+6 * 1+3 * 2= 22;

G 5 (2) = 8 * 0+7 * 0+1 * 2+6 * 0+3 * 1= 5.

3. В третьем приближении

G 1 (3) = 36 * 1+27 * 2+1 * 2+22 * 1+5 * 2= 124;

G 2 (3) = 36 * 0+27 * 1+1 * 2+22 * 2 +5 * 2 = 83;

G 3 (3) = 36 * 0+27 * 0+1 *1+22 * 0+5 * 0 = 1;

G 4 (3) = 36 * 1+27 *0+1 * 2+22 * 1+5 * 2 = 70;

G 5 (3) = 36* 0+27* 0+1* 2+22 * 0+5 *1 = 7.

4. Значения g j , приведенные в табл. 47, заметно отличаются в первом и третьем приближении. С каждым следующим приближением они будут уточняться. В ходе уточнения все более подчеркивается предпочтительность первого объекта экспертизы и низкая значимость третьего (в меньшей мере- пятого).

5. Если экспертов несколько, то окончательные результаты должны быть получены путем усреднения их данных.

Метод последовательного приближения позволяет получить строгие количественные результаты измерения по шкале отношений, если известно (или определено экспертным ме­тодом), во сколько раз вес или показатель лучшего из объектов экспертизы превосходит вес или такой же показатель худшего объекта. В таком случае через это отношение, а предпочтение j - го объекта экспертизы перед i - м выражается числом 1 + , равноценность - единицей, а предпочтение i - го объекта перед j - м - числом 1 - , где

После этого попарное сопоставление производится методом последовательного приближения. Процесс уточнения значений g j продолжается до тех пор, пока точность не достигнет заданной. Так как с каждым приближением изменение g j становится все меньшим и меньшим, это условие можно записать в виде , где обычно принимается = 0,001, если 1 < <=1,5, и =0,01, если >5. При промежуточных значениях выбираются и промежуточные значения .

После окончания расчетов фактическое отношение значений крайних членов ранжированного ряда Ф сравнивается с исходным . Если отношение близко к единице, задача считается решенной. В противном случае корректируется и расчет повторяется.

Пример 78 . Лучший объект из шести по сравниваемому показателю превосходит худший в 2,4 раза. Следовательно,

Мнения эксперта об объектах представлены табл. 48.

Перейти к исходным данным для вычисления весовых коэффициентов с точностью не ниже 0,5 %.

6. Таким образом, исходные данные вычисления весовых коэффициентов с требуемой точностью имеют вид, представленный табл. 49.

Опрос экспертов может быть очным и заочным, групповым и индивидуальным, персонифицированным и анонимным. Свои мнения эксперты могут выражать в письменной (путем заполнения таблиц, анкет) или в устной форме (давая интервью, участвуя в дискуссии). Все эти и любые другие варианты экспертного опроса имеют свои достоинства и недостатки, поэтому выбор того или иного из них осуществляется в зависимости от конкретных условий и обстоятельств.

Зачастую необходимо выбрать среди множества альтернатив, при этом каждая обладает различными преимуществами. И как же выбрать лучшую, имея мнение десятков, а то и сотен экспертов?

Как вычисление рейтинга компьютерной игры, основанного на оценках критиками графики, геймплея и сюжета, так и коллективный выбор приоритетной задачи перед появлением заказчика, относится к методам экспертных оценок .

Краткий ликбез

Методы экспертных оценок являются частью обширной области теории принятия решений , а само экспертное оценивание - процедура получения оценки проблемы на основе мнения специалистов (экспертов) с целью последующего принятия решения (выбора).

В случаях чрезвычайной сложности проблемы, ее новизны, недостаточности имеющейся информации, невозможности математической формализации процесса решения приходится обращаться к рекомендациям компетентных специалистов, прекрасно знающих проблему, - к экспертам. Их решение задачи, аргументация, формирование количественных оценок, обработка последних формальными методами получили название метода экспертных оценок.

Существует две группы экспертных оценок:

1. Индивидуальные оценки основаны на использовании мнения отдельных экспертов, независимых друг от друга.
2. Коллективные оценки основаны на использовании коллективного мнения экспертов.

Грубо говоря, к первой группе относится оценка статей на хабре, голосование в опросах и т.д., когда каждый эксперт принимает решение самостоятельно. Подбор (отсев) экспертов осуществляется посредством кармы. Именно первая группа превалирует в интернете 2 за счет возможности охвата большего числа экспертов.

Способы измерения объектов

1. Ранжирование – это расположение объектов в порядке возрастания или убывания какого-либо присущего им свойства. Ранжирование позволяет выбрать из исследуемой совокупности факторов наиболее существенный.
2. Парное сравнение - это установление предпочтения объектов при сравнении всех возможных пар. Здесь не нужно, как при ранжировании, упорядочивать все объекты, необходимо в каждой из пар выявить более значимый объект или установить их равенство.
3. Непосредственная оценка . Часто бывает желательным не только упорядочить (ранжировать объекты анализа), но и определить, на сколько один фактор более значим, чем другие. В этом случае диапазон изменения характеристик объекта разбивается на отдельные интервалы, каждому из которых приписывается определенная оценка (балл), например, от 0 до 10. Именно поэтому метод непосредственной оценки иногда именуют также балльным методом.

Метод простой ранжировки заключается в том, что каждого эксперта просят расположить признаки в порядке предпочтения.

a ij - оценка признака экспертом. n - количество признаков, m - количество экспертов.
Затем, подсчитывается S i - среднее значение важности признака.

Метод задания весовых коэффициентов (a ij)

1. всем признакам назначают весовые коэффициенты так, чтобы суммы коэффициентов была равна какому-то фиксированному числу (например, единице, десяти или ста);
2. наиболее важному из всех признаков придают весовой коэффициент, равный какому-то фиксированному числу, а всем остальным – коэффициенты, равные долям этого числа.

Метод последовательных сравнений заключается в следующем:

1. эксперт упорядочивает все признаки в порядке уменьшения их значимости: А1>A2>…>An;
2. присваивает первому признаку значение, равное единице: A1=1, остальным же признакам назначает весовые коэффициенты в долях единицы;
3. сравнивает значение первого признака с суммой всех последующих.

В парном сравнении не нужно, как при ранжировании, упорядочивать все объекты, необходимо в каждой из пар выявить более значимый объект или установить их равенство. Парное сравнение можно проводить при большом числе объектов, а также в тех случаях, когда различие между объектами столь незначительно, что практически невыполнимо их ранжирование.
При использовании метода чаще всего составляется матрица размером n x n, где n – количество сравниваемых объектов.

При сравнении объектов матрица заполняется элементами a ij следующим образом (может быть предложена и иная схема заполнения):

• 2, если объект i предпочтительнее объекта j (i > j),
• 1, если установлено равенство объектов (i = j),
• 0, если объект j предпочтительнее объекта i (i < j).

Непосредственная оценка . Часто бывает желательным не только упорядочить (ранжировать объекты анализа), но и определить, на сколько один фактор более значим, чем другие. В этом случае диапазон изменения характеристик объекта разбивается на отдельные интервалы, каждому из которых приписывается определенная оценка (балл), например, от 0 до 10 . Именно поэтому метод непосредственной оценки иногда именуют также балльным методом .

А теперь, самое вкусное...

Анализ результатов экспертных оценок

Для анализа результатов применяются различные методы математической статистики . Причем, они могут комбинироваться и варьироваться в зависимости от типа задачи и необходимого результата.

Формирование обобщенной оценки

Итак, пусть группа экспертов оценила какой-либо объект, тогда x j – оценка j-го эксперта, где m – число экспертов.
Для формирования обобщенной оценки группы экспертов чаще всего используются средние величины . Например, медиана , за которую принимается такая оценка, по отношению к которой число больших оценок равняется числу меньших.
Определение относительных весов объектов
Иногда требуется определить, насколько тот или иной фактор (объект) важен (существенен) с точки зрения какого-либо критерия. В этом случае говорят, что нужно определить вес каждого фактора. Отличается от формирования обобщенной оценки тем, что определяется не общая оценка объекта, а оценка для каждого его признака.
А так же
Существует огромное множество возможных методов обработки оценок.
Как вариант, использовать систему рейтинга Эло для метода парных сравений .

Причем, результат может состоять из нескольких алгоритмов, переплетаясь с другими. Например, алгоритм расчета коэффициента компетентности эксперта может влиять на среднестатистическую оценку этого эксперта и т.д.

Установление степени согласованности мнений экспертов

В случае участия в опросе нескольких экспертов расхождения в их оценках неизбежны, однако величина этого расхождения имеет важное значение. Групповая оценка может считаться достаточно надежной только при условии хорошей согласованности ответов отдельных специалистов.
Для анализа разброса и согласованности оценок применяются статистические характеристики – меры разброса или статистическая вариация .
Итак, способы вычисления меры разбрса :
Вариационный размах

1. Понятие метода экспертных оценок

2. Области применения методов экспертной оценки

3. Этапы организации экспертизы

4. Требования, предъявляемые к экспертам

1. Метод экспертных оценок - метод анализа и обобщения сужде­ний и предположений с помощью экспертов. Данный метод используют, когда рациональные математические методы ма­лоэффективны при решении проблем. Производится интуи­тивно-логический анализ проблемы с последующей количе­ственной оценкой суждений и формальной обработкой ре­зультатов.

Решаемые проблемы могут быть условно разделены:

На проблемы, обеспеченные информацией;

Проблемы, по которым наблюдается недостаток информации. Данные методы особенно эффективны в условиях:

Большой неопределенности среды, в которой функционирует исследуемый объект;

Дефицита времени и в экстремальных ситуациях;

Отсутствия надежной теоретической основы.

2. Методы экспертной оценки применяют при решении следующих задач:

Составления перечня возможных событий в различных облас­тях за определенный промежуток времени;

Определения наиболее вероятных интервалов времени совер­шения совокупности событий;

Определения целей и задач управления с упорядочением их по степени важности;

Определения альтернативных вариантов решения задач с оцен­кой их предпочтительности;

Альтернативного распределения ресурсов для решения задач с оценкой их предпочтительности;

Альтернативных вариантов принятия решений в определенной ситуации с оценкой их предпочтительности.

3. Процесс организации экспертизы может быть разделен на сле­дующие этапы:

составление руководящего документа . В нем указываются ос­новные положения проведения экспертизы:

Задачи по ее выполнению;

Состав и обязанности рабочей группы и группы экспертов;

Ресурсы, необходимые для обеспечения работ, и сроки вы­полнения работ;

подбор рабочей и экспертной групп . Две группы принимают уча­стие в проведении экспертизы:

рабочая группа, которая состоит из организатора, специали­ста -системотехника и технического работника;

. экспертная группа , т. е. группа, мнения экспертов которой станут основой принятия будущих решений;

разработка методики проведения опроса (при необходимости). На данном этапе определяются: место и время проведения оп­роса; задачи; форма проведения; порядок фиксации и сбора результатов; состав необходимых документов. В зависимости от имеющегося времени на проведение экспертизы, сложности рассматриваемой проблемы, участвующих специалистов можно выделить следующие формы проведения опроса:

. индивидуальный - максимально используются способности и знания каждого специалиста;

. групповой (коллективный) - позволяет экспертам обмени­ваться мнениями и на их основе скорректировать свою оценку. Но при данном методе опроса может проявиться сильное влияние авторитетов на специалистов;

. личный (очный) - опрос осуществляется при непосредствен­ном контакте, например интервьюера и эксперта;

. заочный - одним из распространенных примеров данного метода опроса является пересылка анкет. Здесь нет прямого взаимодействия между интервьюером и экспертом;

. устный - например, интервью;

письменный - например, заполнение анкеты;

открытый - процесс опроса и его результаты могут быть изучены другими экспертами;

скрытый - высказанные идеи и решения экспертов являют­ся тайными;

разработка методики обработки данных опроса . Обработка данных опроса экспертов может быть осуществлена 2 способами:

Проверкой согласованности мнений экспертов (или класси­фикацией экспертов, если нет согласованности);

. усреднением мнений экспертов внутри согласованной группы;

оформление результатов работы. Осуществляется анализ ре­зультатов, полученных в результате проведения экспертизы, на основе которого составляется отчет. После обсуждения и ут­верждения полученных результатов итоги проделанной работы предоставляются заказчикам экспертизы.

4. При формировании экспертной и рабочих групп необходимо предъ­являть следующие требования к экспертам:

Выдвигаемые экспертами оценки должны быть стабильными во времени;

При введении дополнительной информации экспертная оценка дол­жна улучшаться, но она не должна принципиально изменяться от первоначально сформулированной оценки;

Эксперт должен быть признанным специалистом в изучаемой области знания;

У эксперта должен быть опыт участия в подобных экспертизах;

Мнения экспертов должны быть устойчивыми. Устойчивость оп­ределяется характером ошибок, которые могут допустить эксперты во время проведения экспертизы. В связи с этим выделяют 2 вида ошибок:

систематические , которые характеризуются устойчивым по­ложительным или отрицательным отклонением от истинного значения;

. случайные , когда выдаваемые значения экспертов характери­зуются большой дисперсией.

Синектика как метод исследования систем управления

1. Понятие «синектика»

2. Особенности метода синектики

3. Этапы проведения метода синектики

4. операторы синектики

1. Синектика (в переводе с греч.) - это сочетание разнородных, а иногда даже несовместных элементов . Метод "синектика" как метод поиска новых решений предложил У. Гордон в США в 1961 г . в своей книге "Синектика: развитие творческого вооб­ражения" с целью увеличения вероятности успеха в процессе постановки и решения задач.

Основная идея данного метода состоит в том, что во время творческой активности при создании особых условий человек вы­двигает неожиданные аналогии и ассоциации относительно ис­следуемой проблемы. Под творческий активностью понимается умственная деятельность в процессе решения проблем, резуль­татом которой является художественное или техническое от­крытие. Другими словами, человек приходит к решению путем включения бессознательных механизмов в процесс сознательного исследования проблем. Идея метода "синектики" как метода исследования систем управления заключается в создании спе­циальной, постоянной "группы синекторов" (5-7 человек) для выявления, постановки и решения проблем, возникающих при функционировании систем управления.

2. Метод синектики имеет следующие особенности:

подход к принятию решения состоит в том, что выдвинутая идея - законченная, целостная мысль, автором которой явля­ется индивид, который ее высказал. Целостная идея может быть принята окружающими или отвергнута, но никто другой не имеет права на ее авторство. Но другие члены группы могут прийти к иной мысли на основе данной идеи, высказывание которой может привести к проявлению в памяти метафор, об­разцов, смутных ощущений, действующих на чувства и интуи­цию человека;

творческая активность синекторов обеспечивается тем, что группа влияет на творческую активность каждого синектора таким образом, что в процессе выдвижения новых идей инди­виды пытаются превзойти самих себя, использовать нестан­дартные подходы принятия решений и взять на себя наиболь­шую часть трудностей;

отбор членов группы осуществляется при учете эмоционального типа индивида, который определяется следующими характери­стиками:

Пытается ли он сразу докопаться до сущности проблемы или же ходит вокруг да около;

Ведет ли он себя пассивно перед лицом неминуемого пора­жения или же настойчиво стремится добиться успеха;

Когда он не прав, связывает ли он это со своими действия­ми или оправдывается, ищет причины вовне;

. может ли он использовать эффективно свою интеллектуаль­ную энергию в трудных ситуациях или опускает руки в са­мый критический момент;

наличие "адвоката дьявола": в связи с тем, что "группа синек-торов" складывается из профессионалов различных областей знаний с целью исследования проблемы с различных точек зрения, она не может знать все. Поэтому в зависимости от ха­рактера исследуемой проблемы в ее состав входит "адвокат дья­вола"-эксперт в области исследуемой проблемы. К его функциям относится:

Перевод специфической терминологии своей области знаний в общедоступную;

. перевод выдвинутых идей в терминологию своей специ­альности;

. раскрытие и отклонение слабых сторон предложенных по­дходов;

Раскрытие особенностей его области знаний перед группой;

реализация выдвинутых идей: идеи, выдвинутые синекторами в процессе исследования проблемы, должны быть практически реализованы. Синекторы также участвуют в процессе реализа­ции выдвинутых ими идей.

3. Метод синектики состоит из следующих этапов:

Постановка задачи;

Перевод задачи, "как она поставлена", в задачу, "как она пони­мается";

Выявление вопроса, вызывающего аналогии;

Работа по поиску аналогий;

использование аналогий, среди которых:

Прямая аналогия;

. символическая аналогия;

. личностная аналогия;

. фантастическая аналогия;

Поиск возможностей перевода найденных аналогий и образов в предложения по решению поставленной задачи.

4. Операторы синектики - конкретные психологические факторы, которые способствуют творческому процессу, они предназначе­ны для активизации вовлеченности, эмпатии, игры и т. д.

Синектика состоит из двух основных процессов:

превращение неизвестного в известное: решение каждой про­блемы начинается с ее понимания, т. е. происходит сведение новой проблемы к уже известной с целью уменьшения ее угро­зы для человека (каждая новая вещь угрожает человеку в силу его консерватизма). Первоначально объяснение новой пробле­мы дается в рамках привычной модели;

превращение известного в неизвестное: известное переосмысли­вается, искажается в зависимости от новой проблемы. В по­вседневной нашей жизни одни и те же предметы неодинаково представляются разным людям. Превращение известного в неиз­вестное осуществляется при помощи 4 механизмов:

личной аналогии - личная идентификация исследователя с элементами проблемы, для которой необходимо исследова­телю обладать творческим воображением и искусством ис­следовательской деятельности. Такая аналогия помогает увидеть неизвестные ранее аспекты проблемы;

прямой аналогии - перенос параметров сравнения с одного объекта на другой из параллельно существующих областей знаний, технологий. Прямая аналогия требует от исследователя наличия образования, многостороннего знания, разно-профильной подготовки;

символической аналогии - основана на описании проблемы при помощи использования объективных и неличных обра­зов, т. е. суть проблемы или ее решение описывается краткой метафорой, которая, с одной стороны, является характери­стикой проблемы, а с другой - противоречием. Например, выставка - организованная случайность; прохладительный напиток - прозрачный призрак; книга - немой собеседник;

фантастической аналогии - использует свободу при исполь­зовании символов. При помощи использования фантастиче­ской аналогии исследователь может увидеть неожиданное решение проблемы, которое не может быть найдено в ре­альном мире в силу существования противоречащих объек­тивных законов.

Метод "Дельфи"

1. Определение понятия метода «Дельфи»

2. Этапы проведения метода «Дельфи»

3. Достоинства метода «Дельфи»

1. Метод "Дельфи" - один из методов экспертных оценок, при помощи которого осуществляется быстрый поиск решений, сре­ди которых выбирается наилучшее . Другое его название - "дельфийский оракул", которое он получил в Древней Греции. Данный метод был разработан О. Хельмером и его коллегами, первоначально он был создан с целью научно-технического прогнозирования будущего. В основе его лежит принцип по­вышения уровня достоверности информации, получаемой от группы экспертов, т. е. коллективных экспертных оценок.