Дуглас Хаббард - Как измерить все, что угодно [Оценка стоимости нематериального в бизнесе]

Как и в случаях уже обсуждавшихся ранее ошибок эксперимента и смещений выборок, первое, что необходимо сделать, — признать само существование проблемы. Только подумайте о том, как перечисленные выше эффекты могут сказаться на экспертных оценках затрат на реализацию проекта, объемов будущих продаж, возможного роста производительности труда и т. п. Специалисты обычно не ощущают, что на их мнение повлияла не имеющая к делу информация, — ведь люди вообще редко осознают, что повинны в искажении. Всем нам хотелось бы думать, что мы не так интеллектуально лабильны, как объекты этих исследований, но лично я обнаружил, что наиболее внушаемы как раз те, кто уверен в непоколебимости своих суждений.

Казалось бы, декан факультета информатики и принятия решений Университета штата Иллинойс (Чикаго) должен предпочитать сложные количественные методы для оценки буквально любого объекта. И все же когда доктору Аркалгуду Рамапрасаду потребовалось измерить эффективность деятельности преподавателей факультета, он придумал довольно простой подход. «Раньше аттестационные комиссии копались в кучах бумаг, — говорит доктор Рам (он предпочитает, чтобы его называли так). — Члены комиссии усаживались за столом, заваленным личными делами преподавателей, и обсуждали их работу». Публикации, полученные гранты, сделанные каждым сотрудником предложения, присвоение профессиональных званий и степеней обсуждались в произвольном порядке и оценивались по пятибалльной шкале. Подобный бессистемный подход использовался для принятия таких важных решений, как повышение заработной платы профессорско-преподавательскому составу.

Доктор Рам понимал, что главным недостатком этой процедуры является неупорядоченность представляемой информации и что любое усовершенствование данного процесса, даже простая систематизация данных, может дать большой положительный эффект. Чтобы исправить положение, он проанализировал подаваемые на аттестацию сведения о работе преподавателей и представил их в виде большой матрицы. Каждая ее строка содержала данные об одном преподавателе, а каждый столбец показывал отдельную категорию профессиональных достижений (публикации, награды и т. д.).

Ученый даже не пытался далее формализовать анализ этих данных, он по-прежнему пользовался пятибалльной шкалой. Оценки эффективности в баллах основаны на консенсусе мнений членов аттестационной комиссии, а новый метод просто гарантирует, что они изучают одни и те же сведения. Мне этот метод показался слишком простым, и когда я предложил рассчитывать на основе этих данных какие-нибудь показатели, Рам ответил: «Когда информация представлена в таком явном виде, люди сразу обращают внимание на разницу между собой и своими коллегами, а это совсем не одно и то же, что попытка разобраться в неких условных показателях. Комиссия спорит о присваиваемых баллах, но не о предложенных к рассмотрению данных». Когда ранее ее членам приходилось анализировать разнородную информацию, в их оценки вкрадывалось больше ошибок.

Это еще один полезный пример конструктивного разностороннего подхода к измерению. Наверное, нашлись бы возражения против самой идеи оценивать результаты деятельности преподавателей на основании того, что новый метод принесет с собой новые ошибки и не решит проблему исключений. Не менее вероятно и то, что на самом деле критиков данного подхода беспокоит вероятность оказаться на последнем месте в случае использования подобного подхода. Но доктор Рам знает, что при всех своих недостатках новый метод измерения все же лучше того, что делалось до сих пор. Ведь неопределенность снижается, а значит, то, что он делает, — это измерение. Сегодня доктор Рам в соответствии с таксономией Стивенса (см. главу 3) может, по крайней мере, с определенной уверенностью сказать, что преподаватель А работает лучше преподавателя В. А если учесть, что эти оценки используются для принятия решений о продвижении по службе или повышении зарплаты, то большего и не требуется.

Моя единственная претензия к этому подходу — возможность (и это было бы нетрудно) использовать более аналитический метод расчета и тем самым усовершенствовать процедуру оценки. Доктор Рам не решил ни одну из обсуждавшихся нами проблем когнитивного искажения; он только устранил потенциальный информационный «шум» и погрешность, связанную с анализом разнородной информации о преподавателях. Вот почему я считаю, что систематизация данных — всего лишь необходимое условие применения других способов решения этих проблем.

Существует еще один метод, не самый теоретически обоснованный и даже не самый эффективный, но простой. Когда приходится формулировать суждения по аналогичным вопросам, рассчитывают взвешенные значения. Если сравнивают «деловые возможности», например варианты инвестиций в недвижимость, то можно определить несколько наиболее важных для вас факторов, оценить эти факторы для каждого варианта в баллах и объединить полученные результаты в некую агрегированную величину. Для инвестиций в недвижимость такими критериями могут быть желательное местоположение, затраты, возможный рост спроса на этот вид недвижимости, наличие залогов и т. д. Затем следует «взвесить» каждый фактор путем умножения его баллов на определенный весовой коэффициент и суммировать все результаты, чтобы получить общее значение.

Одно время я категорически отрицал ценность метода взвешенных коэффициентов, уподобляя его астрологии. Однако последующие исследования убедили меня, что он все-таки имеет определенные преимущества. К сожалению, методы, обладающие, на первый взгляд, некими преимуществами, не относятся к тем, которые обычно выбирают компании.

По мнению исследователя в области науки о принятии решений и автора ряда работ Джея Эдварда Руссо, эффективность метода взвешенных коэффициентов «зависит от того, что вы делаете. Людям обычно нужно зайти слишком далеко в своих усилиях, чтобы понять: и простые методы дают хорошие результаты». На самом деле, даже расчет простейших взвешенных коэффициентов, похоже, облегчает процесс принятия решений. В 1979 г. Робин Доуз из Мичиганского университета опубликовал статью под названием «Robust Beauty of Improper Linear Models» («Строгая красота неправильных линейных моделей») [42] Robyn M. Dawes. The Robust Beauty of Improper Linear Models in Decision Making // American Psychologist, 1979, 34, p. 571–582. , в которой писал: «Весовые параметры в этих моделях нередко не имеют значения. Главное — знать, что измерить, а затем сложить».

Здесь необходимо сделать два уточнения. Во-первых, опыт доктора Рама в области оценки эффективности преподавателей вполне согласуется с тем, что говорят Руссо и Доуз. Ранее использовавшиеся в университете методы давали такую погрешность, что одна только систематизация исходных данных уже способствовала улучшению измерений. Кроме того, когда Доуз говорит о коэффициенте, он на самом деле говорит о нормированном z-показателе, а не о балле какой-то условной шкалы. Он берет значения одного параметра для всех оцениваемых вариантов и строит их нормированное распределение так, что его среднее значение равно нулю, а каждая величина преобразовывается в ряд средних квадратичных отклонений от среднего в ту или иную сторону (например, — 1,7, +0,5 и т. д.). Доуз может, например, взять из матрицы доктора Рама число публикаций преподавателя и проделать с этими данными следующие процедуры: