- •Часть I
- •Снижение уровня шума при назначении наказаний
- •К разговору о шуме при вынесении приговоров
- •Лотерея, создающая шум
- •Ревизия шумовых помех выявляет системный шум
- •Нежелательный разброс против желаемого разнообразия
- •Иллюзия согласия
- •К разговору о системном шуме в страховой компании
- •Уникальные или типовые
- •Шум в уникальных решениях
- •Как контролировать шум в уникальных решениях
- •К разговору об уникальных решениях
- •Процесс вынесения суждения: пример
- •Цель суждения: внутренний сигнал
- •Как оценивается суждение: результат и процесс
- •Оценочные суждения
- •В чем проблема с шумом
- •Нежелательный, но поддающийся измерению
- •К разговору о профессиональных суждениях
- •Нужно ли компании GoodSell сокращать уровень шума?
- •Среднеквадратические значения
- •Уравнения расчета погрешности
- •Цена шума
- •Ревизия шумовых помех при назначении наказаний
- •Средний срок приговора
- •Лотерея при вынесении приговоров
- •Некоторые судьи особенно суровы: межэкспертный шум
- •Не все судьи одинаковы: внутриэкспертный шум
- •Составляющие шума
- •К разговору об анализе шума
- •Вторая лотерея
- •Измерение уровня ситуативного шума
- •Один в поле воин
- •Источники ситуативного шума
- •Определение масштабов ситуативного шума
- •Ситуативный шум, внутренние причины
- •К разговору о ситуативном шуме
- •Шум в музыке
- •Не только скачивание музыки
- •Каскады
- •Групповая поляризация
- •К разговору о групповых решениях
- •Часть III
- •Суждение или формула?
- •Пол Мил: оптимальная модель одерживает над вами верх
- •Голдберг: ваша модель одерживает над вами верх
- •К разговору об оценках и моделях
- •Больше простоты: грубые и прекрасные
- •Еще больше простоты: простые правила
- •Больше сложности: методы машинного обучения
- •Освобождение под залог: оптимальные решения
- •Почему мы не так часто используем правила?
- •Объективная неосведомленность
- •Излишне самоуверенные эксперты
- •Беспомощные эксперты и немногим лучшие модели
- •Отрицание неведения
- •К разговору об объективной неосведомленности
- •Прогнозирование жизненного пути
- •Понимание и прогнозирование
- •Каузальное мышление
- •Понимание в долине правдоподобности
- •Взгляд изнутри и взгляд со стороны
- •К разговору о границах понимания
- •Часть IV
- •Диагностика искажений
- •Подстановка
- •Предопределенность вывода
- •Избыточная когерентность
- •Психологические искажения как причина шума
- •К разговору об эвристике, искажениях и шуме
- •Сравнение и когерентность
- •Сравнение интенсивности
- •Искажения в сравнительных прогнозах
- •Шум в сравнительных прогнозах: пределы абсолютных оценок
- •К разговору о сравнениях
- •Гипотеза о возмущении
- •«Шумные» шкалы
- •Доллары и якорение
- •Неутешительные выводы
- •К разговору о шкалах
- •Задачи трудные и задачи легкие
- •Внутриэкспертный шум: постоянный или временный
- •Аналогия с чертами характера человека
- •К разговору о внутриэкспертном шуме
- •Компоненты шума
- •Систематизация компонентов шума
- •Объяснение ошибок
- •Шум как статистическое явление
- •К разговору об источниках шума
- •Эксперты и лидеры мнений
- •Интеллектуальные способности
- •Когнитивные стили
- •К разговору о «лучших судьях»
- •Предупреждать или исправлять?
- •Ограничения методов устранения искажений
- •Наблюдатель за процессом принятия решений
- •Снижение уровня шума: гигиена принятия решений
- •Отпечатки пальцев
- •Ситуативный шум в дактилоскопии
- •Насколько шум чреват ошибками?
- •Прислушиваясь к шуму
- •Управление информационным потоком
- •К разговору об управлении информационным потоком
- •Улучшение качества прогнозов
- •Проект «Верное суждение»
- •Вечная бета-версия
- •Шум и смещение в прогнозировании
- •В каких случаях срабатывают методы отбора и обобщения
- •К разговору об отборе и агрегировании
- •Общий обзор
- •Значение методических рекомендаций: снижение шума в медицине
- •Психиатрия – удручающий пример
- •К разговору о методических рекомендациях в медицине
- •Требуется суждение…
- •Старая проблема: в поисках решения
- •Аргументы в пользу суждений относительного характера
- •Ранжируем без принуждения
- •Что же дальше?
- •К разговору об определении шкалы оценки профессиональной эффективности
- •Риски интервью
- •Шум при собеседованиях
- •Психология интервьюера
- •Структурирование как метод оптимизации подбора персонала
- •К разговору о структурировании процесса найма персонала
- •Первая встреча: согласование подхода
- •Вторая встреча: определение факторов для промежуточных оценок
- •Команда аналитиков
- •Решающее совещание
- •Протокол промежуточных оценок при типовых решениях
- •Перемены, которые вносит протокол
- •К разговору о протоколе промежуточных оценок
- •Меньше шума – больше ошибок?
- •«Бесшумные» предвзятые алгоритмы
- •К разговору о цене снижения шума
- •Изменение системы ценностей
- •Обман системы и обход правил
- •Предупреждение правонарушений Аппетит к риску
- •Творческое начало, моральный настрой и свежие идеи
- •К разговору о достоинстве
- •Неоднородность и неосведомленность
- •Боссы и контроль над подчиненными
- •Возврат вытесненного
- •Обоснование концепции
- •Объявим шум вне закона?
- •К разговору о правилах и стандартах
- •Суждения
- •Ошибки: смещение и шумовые помехи
- •Измерение смещения и шума
- •Шум – серьезная проблема
- •Разновидности шума
- •Психология суждений и влияние шума
- •Шум – «вещь в себе»
- •Как снизить уровень шума и влияние искажений
- •Допустимое количество шума
- •Подготовка материалов исследования
- •Предварительная встреча с руководством компании
- •Проведение исследования
- •Анализ и выводы
- •Чек-лист для выявления искажений
- •Выражение признательности
- •Об авторах
- •Примечания
Ранжируем без принуждения
В принципе принудительное ранжирование должно привнести долгожданные улучшения в систему оценки, и все же нередко подобная стратегия терпит крах. Мы не ставим перед собой задачу провести анализ всех возможных нежелательных эффектов (которые частенько больше связаны со слабым качеством исполнения, чем с самой концепцией). И все же выделим два нюанса, которые послужат нам уроком.
Первый из них – смешение оценки эффективности в абсолютном и относительном выражении. Разумеется, 98 % всех менеджеров компании не могут попасть в группу лучших работников, если она по условиям задачи составляет не более 20 % от общей численности (или 50 %, или даже 80 %). С другой стороны, каждый из них вполне может «соответствовать ожиданиям», если подобные ожидания определены предварительно, причем в абсолютном выражении.
Многие руководители не согласятся с утверждением, что практически все сотрудники соответствуют ожиданиям. Если подобное происходит, говорят они, значит, ожидания занижены – вероятно, по причине царящей в компании самоуспокоенности. Призна́ем, что подобная трактовка имее право на жизнь, однако возможно и другое: большинство работников действительно удовлетворяют высоким требованиям. В самом деле, именно такого результата мы и ожидаем от
действительно эффективной компании. Вряд ли вы с усмешкой заметите, что руководство NASA снисходительно подходит к процедурам оценки эффективности, если вам скажут, что все космонавты, вернувшиеся из успешного полета в космос, полностью соответствовали ожиданиям.
Каков же наш вывод? Система, полагающаяся на относительные оценки, адекватна лишь при условии, что компания действительно заинтересована в относительной оценке эффективности труда. Например, относительная оценка имеет смысл в том случае, когда, независимо от абсолютных показателей эффективности персонала, лишь определенный процент работников может получить повышение по службе. Однако принудительное внедрение относительного ранжирования в ситуациях, подразумевающих измерение абсолютного уровня эффективности, является совершенно нелогичным. Введение обязательного требования о доле работников, не соответствующих ожиданиям абсолютного характера, не просто жестоко; подобное требование абсурдно. Разве не глупо прозвучит заявление, что 10 % состава элитного армейского подразделения следует определить в категорию «неудовлетворительно»?
Еще одна проблема заключается в том, что принудительное распределение оценок подразумевает отражение истинной эффективности, и, в общем случае, подобный подход близок к нормальному распределению. В то же время, если даже распределение оценок эффективности в пределах груп-
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
пы примерно известно, аналогичное распределение не сработает, если состав группы сузить. Допустим, вы произвольно выбрали десять человек из нескольких тысяч. Нет никаких гарантий, что двое из них окажутся в элите, составляющей по условиям задачи 20 % от общего количества. «Нет гарантий» – это еще мягко сказано: вероятность, что вы попадете в точку, составляет всего лишь 30 %. На практике все еще хуже, ибо в одних подразделениях служат исключительно эффективные работники, в других же могут оказаться сплошь нерадивые.
В подобных условиях принудительное ранжирование неизбежно является источником ошибки и несправедливого подхода. Представим, что команда, которую оценивает один эксперт, составлена из пяти человек, степень эффективности которых практически неотличима. Принудительное распределение по шкале в условиях отсутствия различий не понизит вероятность ошибки. Наоборот, тем скорее ошибка произойдет.
Критики системы принудительного ранжирования часто нападают на сам принцип, который осуждают как жестокий, бесчеловечный и приводящий к обратному результату. Вы можете не согласиться с их аргументами, однако фатальный недостаток принудительного ранжирования – не сам факт распределения, а именно его принудительный характер. Ваши суждения насильственным образом распределяются по несоответствующей реальности шкале: либо шкалу относи-
тельных ценностей ошибочно используют для измерения абсолютной эффективности, либо судей заставляют различать неразличимое – в каждом из подобных случаев выбор неверной шкалы оценки автоматически создает дополнительный шум.
Что же дальше?
Попытки компаний оптимизировать системы измерения эффективности, прямо скажем, разочаровывают. Более того, в результате всех этих усилий затраты на оценку эффек-
тивности взлетели до небес. Еще в 2015 году в Deloitte364 подсчитали, что на оценку эффективности шестидесяти пяти тысяч человек ежегодно уходит два миллиона часов. Аттестации остаются одним из самых устрашающих ритуалов; их ненавидят и сами оценивающие, и аттестуемый персонал.
В ходе одного исследования365 выяснилось, что 90 % боссов, сотрудников и глав кадровых служб считают, что процесс управления эффективностью не приносит тех результатов, на которые рассчитывают компании. Ошеломляющая цифра! Между тем исследование всего лишь подтвердило ощущения большинства руководителей. Хотя обратная связь в отношении результатов работы (если считать оценку планом развития работника) способна дать положительный эффект, сам рейтинг эффективности (или, во всяком случае, методы его присвоения) лишает работника мотивации столь же
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
часто, сколь и стимулирует. В одном из обзоров подведен
следующий итог: «Какие бы меры366 ни принимались за последние десятилетия для оптимизации процесса [управления эффективностью], любые попытки порождают потоки неточной информации и практически не способствуют повышению эффективности».
Некоторые доведенные до отчаяния компании (а их становится все больше) сегодня рассматривают радикальные методы полного отказа от систем оценки. Среди сторонни-
ков революции в процессе управления эффективностью367 немало компаний из сферы высоких технологий и профессиональных услуг, а также ряд компаний из традиционных секторов экономики. В лагере революционеров больше сосредоточились на развивающих и работающих на будущее методах обратной связи, нежели на технологиях ретроспективной оценки. Кое-кто даже применяет системы анализа, не содержащие количественных значений, – то есть происходит отказ от традиционного формирования рейтинга эффективности.
Как оптимизировать систему рейтингов тому, кто не намерен сдаваться? Ведь таких компаний подавляющее большинство. Повторим, что одна из стратегий снижения шума заключается в выборе правильной шкалы с целью обеспечить общую систему отсчета. Результаты исследований заставляют предположить, что сочетание усовершенствованных форматов оценки и обучение составляющих отзывы экс-
пертов помогут добиться большей слаженности действий в применении шкалы.
Как минимум шкала оценки эффективности должна быть привязана к достаточно точным характеристикам, которые дадут возможность их единообразной интерпретации. Мно-
гие компании пользуются шкалой, привязанной к поведен-
ческим показателям. Каждое деление на подобной шкале соответствует определенной поведенческой характеристике. Подобный пример приведен в левой секции рисунка 18.
Руководствуясь имеющимся опытом368, скажем, что поведенческая шкала не устраняет шум в достаточной степени.
Следующий шаг на этом пути – обучение экспертов принци-
пам общей системы отсчета, позволяющей достигнуть межэкспертного согласия. На данной стадии они учатся распознавать различные измерительные характеристики эффек-
тивности369, набивая руку на присвоении оценок с помощью коротких обучающих видеороликов. В процессе подготовки каждый из них видит, насколько составленный ими рейтинг совпадает с «истинной» оценкой. Обучающие ролики служат рекомендуемой моделью, и каждый из них определяет какое-либо опорное значение на шкале оценки. Данная шкала содержит конкретные примеры, как указано в правой секции рисунка 18.
В случае применения шкалы опорных значений рейтинг каждого работника является сравнением с эталонным случаем, а суждение приобретает относительный характер. Учи-
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
тывая, что сравнительные суждения меньше подвержены воздействию шума, чем абсолютные рейтинги, шкала опорных значений надежнее системы, использующей количественные, описательные или поведенческие характеристики.
Специалист по работе с клиентами:
Предупредителен и вежлив с каждым клиентом; надлежащим образом применяет знания о каждом товаре, помогая клиенту сделать выбор; прислушивается к каждому слову, старается выглядеть жизнерадостным, позитивным, полезным.
Рис. 18370. Пример поведенческой шкалы оценки (слева) и шкалы опорных значений (справа)
Обучение общей системе отсчета уже несколько десятков лет дает результат в виде снижения шума и способствует более точным оценкам. И все же данный метод не получил широкого распространения – о причинах подобного отношения догадаться несложно. Обучение общей системе отсчета, разработка шкалы опорных значений и иные инструмен-
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/
ты, преследующие аналогичные цели, сложны и требуют времени. Повысить их ценность можно, адаптировав методы к специфике каждой компании и даже конкретного подразделения, осуществляющего оценку. Каждую методику следует регулярно обновлять по мере эволюции требований к работе персонала. Таким образом, любой из указанных нами методов предполагает регулярные дополнительные инвестиции в системы управления эффективностью. Современные тенденции, к сожалению, имеют иной знак. В части VI мы подробнее остановимся на затратах, связанных со снижением шума.
Следует добавить, что любая компания, идущая по пути нейтрализации шума, в процессе оценивания снижает способность «судей» влиять на итоговый рейтинг в личных целях. Заставляя менеджеров пройти дополнительное обучение, затратить больше усилий на процесс вынесения суждений и отказаться от контроля над результатами тестирования, вы, разумеется, встретите с их стороны серьезное со-
противление. Характерно, что большинство исследований 371 метода обучения общей системе отсчета пока проводилось на студентах, не затрагивая реальных руководителей.
Оценка эффективности – масштабная тема, вызывающая множество практических и философских вопросов. Порой спрашивают: насколько само понятие индивидуальной эффективности актуально для современных компаний, когда итоговый результат нередко зависит от умения сотрудни-
ков взаимодействовать друг с другом? Если мы полагаем, что оно все же значимо, – следует задуматься: как эффективность распределяется между сотрудниками организации? Распределение может быть равномерным, хотя порой в ком-
пании работает «звезда»372, вносящая непропорционально большой вклад в общую эффективность по сравнению с коллегами. Если ваша цель заключается в том, чтобы выявить лучшие качества каждого работника, имеются основания для следующего вопроса: нет ли у вас ощущения, что методы измерения эффективности пробуждают в сотрудниках страх и корысть? Если да – точно ли подобный подход является лучшим (или хотя бы эффективным)?
Если вы задались целью построить систему управления эффективностью или проводите ее ревизию, вам придется ответить на подобные вопросы – и не только на них. Мы не стремимся подробно изучить каждую из указанных проблем в контексте книги, а всего лишь подсказываем: при измерении эффективности следует помнить, что ваша методика оценки может изобиловать системным шумом, в результате чего окажется фактически бесполезной, а то и контрпродуктивной. Снижение уровня шума – та еще задача, и простыми техническими методами с ней не справиться. Данная проблема требует четкого представления о тех суждениях, что вы ждете от специалистов по оценке. Вероятно, вы придете к выводу, что сумеете оптимизировать качество суждений, создав недвусмысленную шкалу оценки и обучив персонал
Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/