Математические основы теории принятия решений

роятных сценариев развития ситуаций, для создания моделей и оценки отдельных параметров, а также для поиска вариантов выхода из проблемных ситуаций.

9.1. Факторы успешности и основные проблемы экспертного оценивания

Успех экспертного оценивания в значительной степени определяется тремя важнейшими факторами.

1. Первый из решающих факторов успеха экспертизы – это компетентность эксперта как залог надёжности его оценок.

Степень надёжности эксперта определяется по объективным показателям его квалификации, а также по степени успешности

иадекватности его предыдущих экспертных оценок. Объективным показателем компетентности специалиста служит уровень его квалификации, подтверждённый соответствующими документами о его образовании, опыте работы, широте профессиональных интересов

иуспешности профессиональной деятельности (наличие учёных званий и степеней, наличие публикаций, степень цитирования, должность и т.п.).

Однако высокий уровень образования, успешность карьеры и наличие большого числа прекрасных научных публикаций не гарантируют, что высококлассный специалист качественно справится с особенностями работы эксперта-советчика ЛПР. Поэтому важным показателем надежности эксперта является оценка результатов его предыдущей работы в качестве эксперта. Методы апостериорной оценки компетентности эксперта будут указаны далее.

Для принятия решений в повторяющихся ситуациях руководители должны составлять банк данных об экспертах-специалистах в различных областях научных и технологических знаний и умений, и использовать этот банк, постоянно пополняя его вновь появляющимися сведениями.

2. Второй из важнейших факторов успеха – наличие у экспертов полной и достоверной информации о проблеме.

91

Зачастую ЛПР априори ошибочно предполагает, что эксперты обладают достаточной информацией и интерпретируют ее с одинаковых с ним позиций. Однако эксперту чаще всего приходится иметь дело с новыми, нестандартными ситуациями. И он, вообще говоря, не вправе делать необоснованные предположения. Потому руководитель должен предоставить в распоряжение экспертов необходимую информацию и обязательно согласовать с ними вопрос о полноте предоставленных сведений.

3. Третий решающий фактор успеха экспертизы – это точность формулировки проблемы.

Современный руководитель должен знать возможности экспертного оценивания, способы организации экспертизы и правила использования полученной экспертной информации. Прежде всего, ЛПР должен учитывать, что небрежно сформулированные вопросы

инекорректно поставленные перед экспертами задачи неизбежно приведут к неверным или, в лучшем случае, бесполезным результатам экспертного анализа.

Классический анекдот ярко иллюстрирует этот тезис. «Где мы находимся?» – вопрошают сверху потерявшие ориентировку воздушные путешественники у крестьянина, случайно замеченного ими внизу, на земле. И тот им резонно отвечает: «Вы находитесь на воздушном шаре». Секунда – и порыв ветра уносит бедных путешественников. Точный ответ!.. на (увы!) неверно поставленный вопрос,

ипотому ответ, бесполезный для вопрошавшего.

Руководителю стоит запомнить этот прекрасный пример, чтобы не совершать похожих ошибок. Ситуация, когда поставленный вопрос подразумевает, что представления эксперта о существе проблемы адекватны точке зрения ЛПР, является широко распространенной. Постановке задачи следует уделить особое внимание, чтобы получить ответ на те вопросы, который необходимо выяснить, а не на те, которые фактически были заданы экспертам.

Результаты экспертизы зависят от многих других факторов, в том числе от способов организации и методики проведения процедуры экспертного оценивания, от состава экспертной группы, степе-

92

ни конформизма, коммуникационных особенностей и других личностных характеристик экспертов. Поэтому ЛПР необходимо иметь достаточно полное представление о возможных методиках организации экспертного оценивания.

9.2. Общая схема организации экспертизы

Назовем основные этапы процесса экспертного оценивания.

1. Формулировка цели и постановка задач экспертного оце-

нивания. Определение цели и постановка задач экспертного оценивания является важнейшей функцией ЛПР.

При назначении процедуры независимой экспертизы или при обращении в специализированный центр по проведению экспертиз прерогатива постановки целей и задач экспертного оценивания, а также выбора экспертов принадлежит третьей стороне, которая и выполняет функции ЛПР как лица, заинтересованного в результатах экспертизы.

2. Выбор экспертов и управление процедурой экспертного оценивания. С целью управления процедурой экспертного оценивания ЛПР назначает руководителя (председателя) экспертной группы. В качестве председателя экспертной комиссии, как правило, выбирается один из наиболее компетентных и авторитетных специалистов. С председателем ЛПР должен согласовать список вопросов и проблем, подлежащих экспертной оценке. При этом ЛПР должен соблюдать правило относительной независимости экспертной группы даже в том случае, когда специалисты-эксперты подбираются из числа работников организации.

Руководитель экспертной группы определяет её состав в соответствии с поставленными целями и задачами, а также решает проблемы организации и проведения самой процедуры экспертного анализа. В состав экспертной группы обычно включают специалистов по выделенным для экспертной оценки вопросам (задачам). Руководитель является представителем группы экспертов и на него возлагается ответственность за итоги её работы.

93

В состав комиссии должны входить специалисты-аналитики. На начальном этапе они помогают сформулировать задачи экспертного оценивания и выбрать методы получения экспертной информации, а на конечном этапе проводят анализ экспертных данных и интерпретацию результатов экспертизы.

При решении проблем, имеющих теоретическую направленность, в составе экспертной группы, кроме аналитиков, желательно иметь специалистов с опытом практической работы. В то же время при необходимости получения экспертной информации от специали- стов-практиков желательно подключить к работе экспертной группы специалиста-теоретика, который может предложить иное видение проблемы и даже новую, неожиданную, но обоснованную постановку задачи об экспертном оценивании.

При очной процедуре экспертного оценивания необходимо заранее выбрать и согласовать с его участниками её форму, длительность, время проведения, возможность повторного обсуждения. При включении эксперта-специалиста в состав комиссии должна быть учтена возможность его непосредственного участия в процессе экспертного обсуждения. Как вариант привлечения высококлассных, но очень занятых экспертов, можно предусмотреть для них возможность заочного представления результатов анализа в соответствующую комиссию.

3.Уточнение информации, необходимой экспертам, согласо-

вание предмета экспертизы. В компетенцию руководителя экспертной группы входит информационное обеспечение успешной работы экспертной группы.

До начала процедуры экспертного оценивания руководитель экспертизы обязан выяснить у привлечённых специалистов степень полноты предоставленной им информации, и в случае необходимости, предоставить недостающие данные. Уточняются предмет экспертизы и форма представления экспертной информации (например, вид анкеты, список вопросов и т.д.). Только после этого можно приступать собственно к процедуре получения оценок.

4.Выбор метода получения экспертной информации и спосо-

бов её обработки. Выбор метода получения информации от экспер-

94

Эти недостатки могут быть исправлены при использовании очных процедур экспертного анализа.

В очной форме имеет смысл проводить коллективные процеду-

ры экспертного оценивания.

Основное достоинство коллективной процедуры экспертного оценивания состоит в том, что коллектив, как целое, всегда обладает принципиально новым качеством по сравнению со свойствами его отдельных членов, не теряя при этом их индивидуальных достоинств. Обсуждение вопросов в дискуссионной форме стимулирует умственные способности экспертов и способствует появлению новых нестандартных идей и способов оценивания.

Второе важное преимущество очных процедур экспертного оценивания вытекает из первого: сокращаются сроки выявления противоречивых оценок и их причин.

Основной недостаток очных процедур экспертного оценивания состоит в потере анонимности экспертов. Это обстоятельство приводит к двум возможным последствиям:

1)может проявиться зависимость экспертов-конформистов, что приводит к потере объективности оценки;

2)процедура очного выявления мнений подавляет робких экспертов. Невысказанное мнение может содержать важные замечания

иоценки. Поэтому важную роль при проведении коллективных совещаний играет выбор ведущего.

Ведущий процедуру экспертного оценивания назначается или выбирается при проведении многих коллективных процедур обсуждения. Атмосфера и результативность делового обсуждения во многом зависят от него.

Результаты устного совещания экспертов должны быть зафиксированы в письменной форме. Поэтому, кроме ведущего процедуру экспертизы, должен быть выделен секретарь, в задачу которого входит фиксация наиболее важных моментов обсуждения и его итогов.

Очевидный недостаток очного обсуждения – это большие потери рабочего времени непосредственно на проведение коллективного совещания.

97

7. Обработка и анализ результатов экспертного оценивания.

При очной процедуре экспертного анализа его результаты упорядочиваются и оформляются секретарём (или ведущим) и утверждаются председателем экспертной комиссии. Если полученные результаты нуждаются в обобщении и дальнейшем изучении, то они передаются аналитической группе. При заочной форме полученная экспертная информация передаётся непосредственно аналитической группе.

Если процедура экспертного оценивания проведена корректно и форма представления результатов заранее согласована, то аналитической группе остается обработать полученные результаты и предложить их интерпретацию. Председатель экспертной комиссии утверждает результаты и передаёт их ЛПР.

В случае неудачной экспертизы (неполнота оценок, их некорректность, то есть противоречивость или недостаточная точность), руководитель аналитической группы должен сообщить об этом председателю экспертной комиссии. В задачу председателя экспертной комиссии входит выяснение причин неудачи, возможностей и сроков исправления ситуации. Если результаты экспертизы неудовлетворительны и не могут быть откорректированы в заданные сроки, председатель комиссии должен поставить об этом в известность ЛПР.

ЛПР может обнаружить, что результаты экспертизы не могут быть интерпретированы корректно или не соответствуют целям экспертного оценивания. В этом случае ему следует, прежде всего, проанализировать возможность собственных ошибок при постановке задачи об экспертном оценивании, так как обычно коллектив экспертов является достаточно высококвалифицированным и ошибается редко. Второй возможный источник ошибок – это ошибки группы управления экспертизой, неверно выбравшей метод и способ экспертного оценивания.

8. Оформление итогового документа по результатам экс-

пертизы. Принятое решение о достоверности результатов экспертизы должно быть оформлено в форме итогового документа.

98

В итоговом документе в краткой форме должны быть зафиксированы:

–цель и задачи экспертизы;

–метод экспертного оценивания;

–состав экспертной группы и её председатель;

–выдвинутые альтернативные экспертные оценки и их авторы;

–итоговая экспертная оценка;

–особые мнения членов экспертной комиссии.

Итоговый документ подписывается председателя экспертной комиссии, с одной стороны, и ЛПР, с другой.

9.3. Апостериорная оценка компетентности эксперта

После проведения экспертизы можно оценить компетентность каждого из экспертов-участников по результатам его участия в процедуре.

Один из способов – это самооценка эксперта. Для получения самооценок эксперту предлагается самостоятельно оценить ценность своего участия в той или иной процедуре экспертизы. К этому методу примыкает метод коллективной самооценки, при котором эксперты оценивают степень компетентности друг друга: это повышает степень объективности оценок.

Имеется несколько способов представления апостериорной информации. В одном случае эксперту предлагается оценить свою компетентность в баллах, в другом – в порядковой шкале среди множества других экспертов. Иногда специалисту предлагается описать свои качества как эксперта в форме резюме. Можно пользоваться порядковой шкалой для сравнения степени компетентности, проявленной разными специалистами. В последнем случае согласованные апостериорные оценки компетентности экспертов можно получить по методу Кемени, представленному выше. Наконец, могут быть использованы количественные оценки, основанные на сравнении степени отклонения оценки, представленной экспертом, от согласованной экспертной оценки или от практически реализовавшегося результата.

99

9.4. Процедуры и методы проведения экспертизы

Опишем наиболее известные процедуры проведения экспертизы: методы комиссий и «мозгового штурма», процедуру Дельфы, а также метод суда и так называемый метод сценариев.

с целью разработки согласованного решения. Собрания могут быть однократными, посвящёнными решению отдельных вопросов. Они могут быть многократными (в том числе регулярными), если посвящаются комплексу проблем или решению сложной многоэтапной задачи.

Метод комиссий приводит к успеху, если в ходе дискуссии удаётся создать обстановку, способствующую свободному высказыванию различных точек зрения.

Отсутствие анонимности и гласность обсуждения зачастую приводят к тому, что часть экспертов отказывается от публичного высказывания своего мнения, если оно противоречит мнению большинства, мнению наиболее авторитетных экспертов и во многих других случаях. Поэтому при организации экспертизы по методу комиссий следует иметь в виду некоторые обстоятельства. Например, в армии принято начинать обсуждение с младших по рангу офицеров. Старший по рангу берёт слово последним и завершает дискуссию после того, как высказаны все точки зрения. В гражданской жизни ведущий может направлять дискуссию, отмечая достоинства и недостатки каждой из точек зрения, а также поощрять экспертов, выдвигающих соображения и идеи, отличные от очевидных.

Основные рекомендации руководителю экспертизы при использовании обсуждения в комиссии:

100