Светлана Гуцыкова - Метод экспертных оценок. Теория и практика

Значительная доля исследований в области оценивания фокусируется на разнообразных измерительных техниках и посвящена изучению конструктивной валидности и других психометрических свойств измерений.

На основании конфирматорного факторного анализа данных исследователями была подтверждена конструктивная валидность оценок работы, выполненных супервизорами, самими испытуемыми и равными им в отношении должностной позиции лицами (Vance et al., 1988). Была обнаружена сходимость этих трех различных по источнику рейтингов, также как и их значимая дискриминантная валидность.

Результаты метаанализа внутренней и внешней надежности оценок работы позволили исследователям прийти к заключению, что оценки супервизоров обладают более высокой внутренней надежностью, чем оценки равных. Кроме того, внешние оценки надежности выше, чем внутренние (Viswesvaran et al., 1996). Изучение различий в надежности в зависимости от специфических измерений показало, что оценки супервизоров по коммуникативной и межличностной компетенциям менее надежны, чем оценки производительности и качества.

Было также установлено, что оценки выполнения работы в большей степени ориентированы на негативные установки, нежели на позитивные (Ganzach, 1995). Подверглось пересмотру и существовавшее ранее мнение о наличии линейной связи между различными оценками и установками.

Известно, что сама комбинация установок может быть различной по своей природе. Но оценки, даваемые по отношению к негативным установкам, оказываются более весомыми, чем по отношению к позитивным установкам. При этом поведение оценивающих в отношении взвешивания и комбинации информации о целях оценки соответствует самой цели оценки и крайне чувствительно к негативной информации о ней (McIntyre, James, 1995).

В рамках проблематики совершенствования методов измерения следует отметить работы, посвященные рассмотрению экспертных оценок в контексте репрезентативной теории измерений, связанной с анализом заключений экспертов (Орлов, 2007). Эти работы посвящены математическим методам анализа и обработки экспертной информации, использованию инвариантных алгоритмов, закономерностям преобразований шкал, выявлению зон противоречивости во мнениях экспертов и пр.

В целом, в отечественной и зарубежной литературе достаточно широко освещены вопросы, касающиеся методов повышения достоверности и надежности экспертной информации (Бешелев, Гурвич, 1980; Литвак, 1996; Шошин, 1997 и др.). Работы этого направления указывают на ряд сложностей, связанных с реализацией метода экспертных оценок. Они представлены как несогласованностью экспертных оценок, так и неоднозначностью выбора отдельных параметров оценки в целях их дальнейшего анализа (Гуцыкова, 2009).

В целом, из практики центров оценки известно, что эксперты склонны оценивать испытуемых с точки зрения их общей эффективности, несмотря на то, что в центрах оценки требуется вынесение узких оценок по отдельным навыкам и способностям. Более того, эксперты склонны давать согласованные оценки отдельного параметра в пределах одного задания и различные – для разных заданий (Мучински, 2004).

Это предопределяет значимость постановки вопроса о согласованности экспертных мнений и повышения надежности получаемой от экспертов информации. К сожалению, большая часть работ в области повышения надежности экспертной информации оперирует различными алгоритмами статистической обработки результатов экспертного опроса, и применимость предлагаемых авторами схем редко может быть использована в практике психологических исследований без их творческой переработки и интерпретации (Гуцыкова, 2010б).

Текст предоставлен ООО «ЛитРес».

Прочитайте эту книгу целиком, купив полную легальную версию на ЛитРес.

Безопасно оплатить книгу можно банковской картой Visa, MasterCard, Maestro, со счета мобильного телефона, с платежного терминала, в салоне МТС или Связной, через PayPal, WebMoney, Яндекс.Деньги, QIWI Кошелек, бонусными картами или другим удобным Вам способом.