какие методы относятся к методу экспертных оценок

Экспертная оценка

Экспертная оценка необходима для ведения практически любой деятельности. Человек с профильным образованием и опытом в области исследования, считается экспертом. Его знания и навыки помогают принять объективное решение относительно положения продвигаемых товаров или услуг. Экспертные оценки используются, когда требуется консультация стороннего специалиста, чтобы взглянуть на положение дел под другим углом.

Что такое экспертная оценка

Это заключение, которое дает человек или группа лиц, наделенные экспертностью. Специалисты выступают источниками информации, помогая владельцам компаний скорректировать бизнес-процессы, чтобы устранить недостатки и проблемы.

Виды экспертных оценок

Виды различаются числом людей, участвующих в проверке. Их количество обычно отличается, исходя из принципов формирования экспертной группы.

Индивидуальные

Такие оценки основываются на мнении одного или нескольких экспертов, работающих отдельно друг от друга. Принимаемые таким образом решения могут быть характерны и для коллективной экспертизы, но в этом случае вердикт основывается на заключении лидера мнения.

Коллективные

Итоговая оценка группы представляет собой объединенное мнение нескольких экспертов. Она формируется в результате предварительного согласования внутри коллектива.

Требования к экспертной группе

От оценки экспертной группы зависит не только положение определенного продукта, но и бизнес компании. Поэтому отбор специалистов — сложная, многогранная задача, успешный результат которой определяет эффективность используемых методов и решений. Эксперт должен обладать:

компетентностью в необходимой сфере;

знаниями в смежных областях, напрямую не относящимся к исследуемому вопросу;

опытом практической работы, академическими и научными достижениями;

объективностью при формировании оценки;

способностью нестандартно мыслить в тех случаях, когда это требуется.

Методы экспертных оценок

Экспертное оценивание базируется на нескольких методах. Среди наиболее популярных можно выделить:

Ассоциативный. Заключается в изучении объекта, имеющего схожие свойства.

Парные сравнения. Сопоставляет альтернативы одного решения с целью изучения наиболее предпочтительных вариантов развития событий.

Фокальные объекты. Метод основывается на перенесении свойств и признаков случайно выбранных аналогов на объект исследования.

Средняя точка. В процессе оценивания выделяют два пути решения проблемы: наиболее и наименее предпочтительный. Между ними находится «средняя точка» — альтернатива, учитывающая особенности первого и второго варианта.

Выбор конкретного метода зависит от назначения экспертной оценки и выбирается после общения с заказчиком.

Достоинства метода экспертных оценок

Экспертное оценивание дает массу преимуществ для бизнеса, позволяя владельцам компаний улучшать положение фирмы на рынке. К основным достоинствам такого метода можно отнести:

возможность посмотреть на ситуацию более широко, чтобы увидеть потенциальное решение;

получение исчерпывающей информации по заявленной проблеме;

надежность предлагаемых оценок и решений;

получение рекомендаций от специалистов со знаниями и опытом в определенной сфере.

Этапы экспертного оценивания

Все виды экспертных оценок проходят несколько стадий до конечной точки исследования, когда предоставляется ценная информация по изучаемой проблеме. Она достигается с помощью следующих шагов.

Постановка цели исследования

Перед началом любой работы важно задать основную цель, которая определяет ход действия всего проекта. Вместо нее может присутствовать проблема, которую необходимо решить. В любом случае заказчик обязан сформулировать правильный вопрос для экспертной комиссии, сообщить о деталях изучаемого предмета и выразить свои пожелания относительно хода экспертизы.

Выбор формы исследования, определение бюджета проекта

Среди основных форм проведения исследований можно выделить две разновидности: очную и заочную. Очный метод считается более достоверным, так как позволяет эксперту наглядно оценить происходящее и провести ряд тестов непосредственно на месте. В то же время заочный метод обходится дешевле и успешно применяется во многих сферах бизнеса. Особенно хорошо такой способ используется для онлайн-продаж.

Также формы исследования предполагают различия в итерациях. Они делятся на итерационные (предполагающие несколько повторений процедуры экспертной оценки) и одношаговые, выполняющие только один раз.

После выбора подходящего метода и определения деталей исследования заказчику необходимо определиться с бюджетом. Затраты на процесс оценивания включают в себя экспертные услуги, аренду помещения и приобретение дополнительного оборудования.

Подготовка информационных материалов

Экспертная группа перед окончательным вердиктом проверяет возможность использования альтернативных вариантов и рассматривает изучаемый объект с разных сторон. Чтобы этот процесс прошел быстрее и качественнее, необходимо подготовить информационные материалы, содержащие описание проблемы, статистику, справки, анкеты. Чем разнообразнее предоставляемые сведения, тем больше у экспертов материала для аналитики.

Подбор экспертов

Эксперты должны быть не только компетентные и опытные. Важно, чтобы они не были заинтересованы в результатах исследования. Необъективное заключение негативно скажется на развитии бизнеса. Для этой цели может использоваться специальный метод, по которому один эксперт рекомендует другого, пока не подберется собранный по независимым рекомендациям коллектив.

Собранной группе или привлеченному специалисту следует уметь не только излагать текущие тенденции, но и делать прогнозы на основании полученных результатов.

Проведение экспертизы

Экспертиза не может строиться исключительно на оценке имеющихся материалов. Цель работы специалистов состоит в построении собственных гипотез, которые должны подтверждаться практической экспертизой. Для этого заказчик устанавливает четкий срок принятия окончательного решения по исследуемому вопросу. Наличие регламента поможет сохранять темп и не затягивать процедуру.

Анализ результатов

На этом этапе обрабатываются сведения, полученные в результате экспертизы. После анализа наиболее удачные решения внедряются в работу компании, способствуя оптимизации внутренних бизнес-процессов.

Подходы к экспертным оценкам

Экспертное оценивание помогает установить степень актуальности и сложности представленных проблем, выявить факторы, влияющие на ситуацию, выбрать альтернативы. Обширный спектр задач определяет существующие подходы к экспертным оценкам:

прогнозирующие — предназначены для оценки возможных вариантов развития событий, выявления принципов предпочтительного распределения ресурсов и перспектив развития изучаемого объекта;

интуитивные — предполагают мобилизацию знаний и опыта экспертов в тех случаях, когда не достает исходных данных для оценки состояния объекта.

Подходы применяются как с коллективом, так и при формировании индивидуальной оценки одного эксперта.

Экспертные ошибки

В заключениях иногда встречаются ошибки. Зачастую они происходят не из-за отсутствия необходимых компетенций у эксперта, а по причине возникающих заблуждений. Это может не зависеть от проверяющего субъекта, или быть субъективным фактором, обусловленным особенностями мышления эксперта. Выделяют две разновидности экспертных ошибок.

Систематические

Это ошибки, которые повторяются у одного и того же специалиста из раза в раз. В результате значение показателей отклоняется через преувеличение или преуменьшение реальной картины, складывающейся в бизнесе. Чтобы систематические ошибки не так сильно влияли на бизнес-процессы, следует использовать поправочные коэффициенты.

Случайные

Это тот тип ошибок, который случается у экспертов в любых сферах. Они могут изменяться от одной оценки к другой, поэтому для избегания этих ошибок стоит проводить дополнительную проверку.

Повторная экспертная оценка

Повторная экспертиза поможет найти ошибки и предотвратить неприятные последствия внедрения в бизнес-процессы неверных решений. Те же вопросы могут исследоваться на протяжении того же срока, но для этого приглашаются уже другие эксперты. Это подтвердит достоверность и объективность полученных результатов.

Применимость метода экспертных оценок

Оценки от экспертов находят свое применение в любой сфере бизнеса на разных этапах проверок. Такие исследования могут проводиться при выходе компании на рынок, в случае застоев и кризисов, при необходимости расширения и поиска новых рынков сбытов. Чаще всего к таким методам прибегают, если при выборе конкретного пути нельзя оперировать точными расчетами.

Заключение

Экспертная оценка помогает собственнику бизнеса объективно взглянуть на происходящие процессы и скорректировать некоторые области. Если вовремя выявить проблему и оперативно решить ее, можно избежать ощутимых потерь в бизнесе.

Источник

Методы экспертных оценок

Зачастую необходимо выбрать среди множества альтернатив, при этом каждая обладает различными преимуществами. И как же выбрать лучшую, имея мнение десятков, а то и сотен экспертов?

Как вычисление рейтинга компьютерной игры, основанного на оценках критиками графики, геймплея и сюжета, так и коллективный выбор приоритетной задачи перед появлением заказчика, относится к методам экспертных оценок.

Краткий ликбез

В случаях чрезвычайной сложности проблемы, ее новизны, недостаточности имеющейся информации, невозможности математической формализации процесса решения приходится обращаться к рекомендациям компетентных специалистов, прекрасно знающих проблему, — к экспертам. Их решение задачи, аргументация, формирование количественных оценок, обработка последних формальными методами получили название метода экспертных оценок.

Говоря о согласованности мнений экспертов, стоит упомянуть, что ранжирование не подразумевает (или не всегда подразумевает) расстояние. То есть у одного эксперта A>B>C означает, что A>>B>C, а у другого A>B>>C. И всякие корреляции и расчеты средних оценок тут не помогут. Как вариант, считать индекс согласованности. Что-то типо количества противоречивых замкнутых цепочек мнений экспертов (Первый считает, что A лучше Б, второй, что Б лучше С, а третий, что С лучше А) к количеству всех подобных цепочек.

Рейтинги обычно базируются на некоторой вероятностной модели, поэтому нужно тщательно учитывать область их возможного применения.

Заключение

Статья и не претендует на полный многоэтапный разбор методов и алгоритмов оценки, лишь поверхностное их описание. Посему, если вы знаете применимые в данном случае (не описанные мной) методы и алгоритмы — с удовольствием добавлю их в статью. Или любую полезную тематическую литературу.

Засим откланиваюсь. Всех с праздником, раминь. А для тех, кто зашел посмотреть на девушек — вот вам

Источник

Какие методы относятся к методу экспертных оценок

4.1. Характеристика методов экспертных оценок

Экспертные исследования могут иметь как самостоятель­ное значение, так и использоваться при проверке истинности (верификации) логических исследований и моделирования.

Прогнозные экспертные оценки отражают индивидуаль­ность суждения специалистов относительно эффективности, расхода ресурсов, безопасности, а также перспектив развития объекта и основаны на мобилизации профессионального опыта и интуиции.

Экспертные методы исследований используют в следующих случаях:

1) когда объект или явление либо полностью, либо частично не поддается предметному описанию или математи­ческой формализации;

2) в условиях отсутствия достаточно представительной и достоверной статистики по характеристикам объекта;

3) в условиях большой неопределенности среды функционирования объекта, особенно рыночной среды;

4) при средне- и долгосрочном прогнозировании новых рынков, объектов новых областей промышленности, подвер­женных сильному влиянию инноваций;

5) в случаях, когда или время или средства, выделяемые на прогнозирование и принятие решений, не позволяют иссле­довать проблему с применением формальных моделей;

6) отсутствуют необходимые технические средства моде­лирования, например, вычислительная техника с соответствую­щими характеристиками;

7) в экстремальных ситуациях.

Методы экспертных оценок можно разделить на две группы: методы коллективной работы экспертной группы и методы получе­ния индивидуального мнения членов экспертной группы (рис.4.1).

Методы коллективной работы экспертной группы предполагают получение общего мнения в ходе совместного обсуждения решаемой проблемы. Иногда эти методы называют методами прямого получения коллективного мнения. Основное преимущество этих методов заключается в возможности разностороннего анализа проблем. Недостатками методов является сложность процедуры получения информации, сложность формирования группового мнения по индивидуальным суждениям экспертов, возможность давления авторитетов в группе. Методы коллективной работы включают методы “мозговой атаки”, сценариев, деловых игр, совещаний и “суда”, “дерева целей”.

Метод «мозговой атаки» получил распространение как «метод систематической тренировки творческого мышления», нацеленный «на открытие новых идей и достижение согласия группы людей на основе интуитивного мышления». Методы этого типа извест­ны также под названием коллективной генерации идей, мозгового штурма, дискуссионные методы. Все эти методы основаны на сво­бодном выдвижении идей, направленных на решение проблемы. За­тем из этих идей отбираются наиболее ценные.

Возможны различные варианты реализации этих методов. Наи­более распространенным является следующий.

Создаются две группы экспертов: генераторов идей и аналитиков. В состав первой группы включаются люди с богатым воображением, как правило, специалисты из смежных, с решаемой проблемой, областей. Организуется собрание группы, которым руководит ведущий. Основной задачей ведущего является всемерное поощрение инициативы и творчества, свободы выдвижения новых идей, даже на первый взгляд сомни­тельных или абсурдных, недопущение критики. Все выдвинутые идеи фиксируются и передаются группе аналитиков. Группа анали­тиков включает в основном специалистов по данной проблеме, анализирующих предложения и выбирающих среди них наиболее цен­ные.

«Мозговой штурм» проводится в два этапа: этап генерации идей и этап практического анализа выдвинутых идей.

Каждый из этапов осуществляется по конкретным принципам, отражающим его назначение и суть, определяющим его эффективность.

Первый этап (генерации идей) предполагает следующие принципы:

1. Принцип формирования группы по способностям к научному вообра­жению и развитой интуиции, разнообразию знаний и научных интере­сов.

2. Отбор группы для генерации идей можно делать по результатам специ­ального тестирования, с учетом психологических характеристик.

3. Необходимо создать в работе этой группы атмосфе­ру непринужденности, творчества, взаимоприемлемости.

4. Принцип строгого запрещения всякой критики.

5. Принцип запрещения обоснования выдвигаемых идей. Можно предла­гать лишь дополнительные идеи, отличные от высказанной. Нельзя «присоединяться к мнению» или «расшифровывать» свои или чужие идеи.

6. Принцип мотивации разнообразных идей, снятия ограничений по обла­сти знаний, богатству опыта, должностному статусу, возрасту, соци­альному положению.

8. Принцип регламента времени на выдвижение идей.

На втором этапе «мозгового штурма» (этапе анализа) также действует ряд принципов, отражающих назначение и суть этого этапа.

1. Принцип полноты анализа идей и их обобщения. Ни одна высказанная идея, как бы скептически она ни оценивалась первоначально, не долж­на исключаться из практического анализа.

2. Принцип аналитического потенциала. Группа должна состоять из ана­литиков, хорошо понимающих суть проблемы, цели и сферу исследо­вания.

3. Принцип критериальной четкости в оценке и анализе идей. Для обес­печения объективности оценки и анализа идей, должны быть сформу­лированы предельно четкие критерии, которыми должны руководство­ваться все члены аналитической группы.

4. Принцип дополнительной разработки идеи и ее конкретизации. Мно­гие первоначально высказанные идеи нуждаются в своем уточнении, конкретизации, дополнении. Они могут быть проанализированы, при­няты либо исключены из анализа только после соответствующей дора­ботки.

Что же касается оптимальной численности группы участников сессии КГИ, то этот вопрос исследовался экспериментально и наиболее продуктивными признаны группы в 10 – 15 человек.

Метод «мозгового штурма» имеет множество разновидностей.

Одной из них является метод коллективного обсуждения фиксированных идей. Суть его заключается в том, что все участники творческого процесса фиксируют на специальных карточках свои идеи относительно решения какой-либо проблемы. Далее карточки смешиваются и раздаются в случайном порядке всем участникам. Каждый из них должен дать гласную оценку попавшей к нему идее. Вокруг этого может возникнуть полемика, которая позволяет уточнить идею или ее отбросить как нереальную. В процессе полемики могут возникать и новые идеи.

Существует также метод «обратного мозгового штурма», при котором группа генерации идей проводит как бы обратную работу. Она выявляет проблемы при оценке ситуации, не оценивая возможности их решения.

Метод «двойного мозгового штурма» предполагает подготовительную ра­боту в генерации идей, затем их постановку без анализа и оценки, и, наконец, аналитическое обсуждение. Здесь, как правило, параллельно с твор­ческой группой работает группа экспертов, следящих за ходом полемики и улавливающих ценные мысли.

Существует и метод «конференции идей», который реализуется по спе­циальной технологии их презентации.

Метод сценариев представляет собой совокупность правил по изложению в письменном виде предложений специалистов по решае­мой проблеме. Сценарий представляет собой документ, содержащий анализ проблемы и предложения по ее реализации. Предложения вначале пишут эксперты индивидуально, а затем они согласуются и излагаются в форме единого документа.

Сценарий предусматривает не только содержатель­ные рассуждения, помогающие не упустить детали, ко­торые невозможно учесть в формальной модели (в этом собственно и заключается основная роль сценария), но и содержит, как правило, результаты количественного тех­нико-экономического или статистического анализа с предварительными выводами. Группа экспертов, подго­тавливающая сценарий, пользуется обычно правом по­лучения необходимых справок от предприятий и органи­заций, необходимых консультаций. Написание сценария – это метод, который пытается установить логическую последовательность событий, чтобы показать, как, исходя из существующей ситуации, может шаг за шагом развертываться будущее состояние.

· минимизируется действие положительных факторов и максимизируется действие отрицательных, т.е. определяется нижний предел развития системы.

В этом коридоре можно получить наиболее вероятное состояние системы и направить усилия на поддержание этого состояния.

Основным преимуществом сценария является комплексный ох­ват решаемой проблемы в доступной для восприятия форме. К не­достаткам можно отнести возможную неоднозначность, нечеткость излагаемых вопросов и недостаточную обоснованность отдельных решений.

Деловые игры основаны на моделировании функционирования социальной системы управления при выполнении операций, нап­равленных на достижение поставленной цели. В отличие от преды­дущих методов, где экспертные оценки формируются в ходе кол­лективного обсуждения, деловые игры предполагают активную дея­тельность экспертной группы, за каждым членом которой закреп­лена определенная обязанность в соответствии с заранее состав­ленными правилами и программой.

Деловые игры широко используются для принятия решений при управлении промышленными предприятиями и другими организациями и направлены также на исследование поведения и обучение специалистов в заданной обс­тановке.

Основным достоинством деловых игр является возможность выработки решения в динамике с учетом всех этапов исследуемого процесса при взаимодействии всех элементов общественной систе­мы управления. Недостаток заключается в сложности организации деловой игры в условиях, приближенных к реальной проблемной ситуации.

Достоинством метода является простота его реализации. Од­нако на совещании может быть принято ошибочное мнение одного из участников в силу его авторитета, служебного положения, настойчивости или ораторских способностей.

Метод «суда» целесообразно использовать при наличии нес­кольких групп экспертов, придерживающихся различных вариантов решения.

Метод “дерева целей”. Идеяметода дерева целей впервые была предложена У. Черменом в связи с проблемами принятия решений в промышленности.

Процесс разработки дерева целей напоминает строи­тельство пирамиды, только в отличие от каменных пира­мид эта строится не снизу вверх, а сверху вниз. Строя «пирамиду целей», разработчик от ее вершины передвигается вниз, каждый раз с учетом новой точки зрения воз­вращается к сделанному ранее, корректируя и подправ­ляя его. При этом имеется в виду сложный характер взаимосвязей между целями каждого уровня и различ­ных уровней, так что дерево целей приходится коррек­тировать все время по мере его построения.

Можно отметить четыре вида взаимозависимостей между целями:

1) взаимодополнение целей: цель А достигается толь­ко в случае достижения цели Б, и наоборот;

2) безразличие целей: цель А достигается независи­мо от достижения целиБ;

3) взаимоисключение целей: достигается либо цель А, либо Б;

4) конкуренция целей: ограниченное количество ре­сурсов может быть направлено либо на достижение цели А, либо Б.

В процессе формулировки каждой цели необходимо с самого начала проверять построенную пирамиду по следующим вопросам: имеются ли в принципе средства достижения этих целей; имеются ли в принципе ресурсы для создания этих средств.

Алгоритм построения дерева цели представлен на рисунке 4.3.

Достоинства метода “дерева целей”:

1. Позволяет эффективно принимать решения в различных управленческих ситуациях.

2. Позволяет повысить объективность принимаемых управленческих решений.

Недостаток – построение дерева целей требует больших затрат времени и усилий экспертов.

Методы получения индивидуального мнения членов экспертной группы основаны на предварительном сборе информации от экспер­тов, опрашиваемых независимо друг от друга, с последующей об­работкой полученных данных. К этим методам можно отнести мето­ды анкетного опроса, интервью и методы Дельфи. Основные преимущества метода индивидуального экспертного оценивания состоят в их оперативности, возможности в полной мере использовать индивидуальные способности эксперта, отсутствие давления авторитетов и в низких затратах на экспертизу. Главным их недостатком является высокая степень субъективности получаемых оценок из-за ограниченности знаний одного эксперта.

Метод анкетного опроса предполагает разработку специаль­ных анкет, содержащих перечень вопросов по решаемой задаче. Анкеты размножаются по количеству экспертов и направляются по соответствующим адресам.

Рисунок 4.3. Алгоритм построения “дерева целей”

В процессе заполнения анкет необходи­мо выполнить следующие требования: обеспечить взаимную незави­симость суждений экспертов; при необходимости проверить одноз­начное понимание экспертами вопросов анкеты; не допускать за­полнение одной анкеты несколькими экспертами; анкету заполнять и отправлять в заданные сроки.

Анкеты собирает руководитель экспертизы; обрабатываются они с использованием статистических методов обработки эксперт­ной информации.

Основными достоинствами метода анкетного опроса являются возможность сбора большого объема информации за достаточно ко­роткий срок и независимость суждений экспертов. К недостаткам следует отнести сложность разработки эффективной анкеты, со­держащей обоснованный перечень вопросов.

Метод интервью предполагает беседу руководителя эксперти­зы с экспертом, в ходе которой перед ним по заранее разрабо­танной программе ставятся сформулированные вопросы. Особен­ностью метода интервью является то, что руководитель и эксперт находятся в непосредственном контакте.

Достоинством метода интервью является возможность получить сведения, малодоступные анкетному опросу. Однако на результаты опроса может оказать влияние личность руководителя, способность эксперта к контакту, быстрота его мышления и другие факторы.

При этом соблюдается требование отсутствия личных контактов между экспертами и обеспечения их полной информацией по всем результатам оценок после каждого тура опроса с сохранением анонимности оценок, аргументации и критики.

При использовании метода Дельфи учитывают следующие требования:

1. Группы экспертов должны быть стабильными и численность их должна удерживаться в благоразумных рамках. Способ стабилизации экспертной группы заключается в следующем. На основе анализа литературы по прогнозируемой проблеме выбирается любой специалист, имеющий несколько публикаций в данной области. К нему обращаются с просьбой назвать 10 наиболее компетентных, по его мнению, специалистов по данной проблеме. Затем обращаются одновременно к каждому из десяти названных специалистов с просьбой указать 10 наиболее известных из коллег – ученых. Из полученного списка специалистов вычеркивают 10 первоначальных, а остальным рассылаются письма, содержащие указанную выше просьбу. Данную процедуру повторяют до тех пор, пока ни один из вновь названных специалистов не сможет добавить новые фамилии к списку экспертов, т.е. пока не стабилизируется группа экспертов. Полученную группу экспертов можно считать генеральной совокупностью специалистов, компетентных в области прогнозируемой проблемы. Однако в силу ряда практических ограничений оказывается нецелесообразным привлекать всех специалистов к экспертизе. Поэтому необходимо сформировать репрезентативную выборку из генеральной совокупности экспертов. Этот вопрос решается в рамках каждого конкретного метода экспертного прогнозирования.

2. Время между турами опросов должно быть не более месяца.

3. Вопросы в анкетах должны быть тщательно продуманы и четко сформулированы.

4. Число туров должно быть достаточным, чтобы обеспечить всем участникам возможность ознакомиться с причиной той или иной оценки, а также и для критики этих причин.

5. Должен проводиться систематический отбор экспертов.

Достоинством метода Дельфи является использование обратной связи в ходе опроса, что значительно повышает объективность экспертных оценок. Однако данный метод требует значительного времени на реализацию всей многоэтапной процедуры.

Выходные данные:

Григан А.М. Управленческая диагностика: теория и практика: Монография / А.М. Григан. Ростов н/Д: Изд-во РСЭИ, 2009. 316 с.

Источник