Светлана Гуцыкова - Метод экспертных оценок. Теория и практика

Что касается аварийных ситуаций, то они могут служить показателями успешности профессиональной деятельности только для ограниченного круга профессий (производственная сфера деятельности, водители, летчики и пр.). Релевантность этого показателя ограничена сферами деятельности, предусматривающими возможность возникновения особых ситуаций, а сама частота и серьезность происшествий, а также их последствия зависят от множества факторов (Котик, Емельянов, 1993).

Следует принимать во внимание, что оба перечисленные показателя – абстентеизм и аварийные ситуации – в большей мере характеризуют плохое, нежели хорошее выполнение деятельности. Эти показатели не исчерпывают всего спектра кадровых данных, которые могут быть задействованы для оценки, но приходится констатировать, что в целом кадровая статистика редко позволяет получить полную картину того, насколько человек успешен в своей профессиональной деятельности.

Остановимся на субъективных данных . Классификация основных методов оценки работы, основанная на субъективных данных, которая была предложена П. Мучински (2004), включает: 1) графические рейтинговые шкалы; 2) сравнительные методы; 3) поведенческие шкалы и опросные листы. Наиболее широко используемый метод графических рейтинговых шкал предполагает вынесение балльной оценки по ряду характеристик или факторов, таких как объем выполненной работы, ее качество, профессиональные навыки, надежность, практичность, сотрудничество и прочие. На практике количество оцениваемых факторов, как правило, не превышает 20-и, а оценки выставляются по 5– или 7-балльной шкале.

Основные сравнительные методы, в соответствии с данной классификацией, представлены такими способами оценивания, как ранжирование, попарное сравнение и метод принудительного распределения. При ранжировании оцениваемых от худшего к лучшему по определенному параметру приходится сталкиваться со сложностями определения ранга при большом количестве оцениваемых лиц. Если определение худших и лучших испытуемых, как правило, не представляет сложностей, то ранг для тех, чей уровень выполнения работы не слишком очевиден, часто может быть произвольным (Мучински, 2004).

Метод попарных сравнений также имеет ограничения и не может быть использован при большом количестве сравниваемых признаков или большой численности оцениваемой группы. В методе попарного сравнения осуществляется сравнение каждого оцениваемого со всеми остальными членами группы с тем, чтобы определить, кто из оцениваемых обладает наиболее выраженным значением по определенному параметру. Наиболее часто используется сравнение обследуемых по общей способности выполнять профессиональную деятельность. По окончании оценивания подсчитывается, сколько раз тот или иной кандидат выбирался в качестве лучшего из сравниваемых. Недостаток метода состоит в том, что при увеличении сравниваемых признаков или численности группы количество сравнений возрастает и становится неэффективным из-за временных издержек.

Метод принудительного распределения, напротив, целесообразен при больших выборках; он основан на распределении оцениваемых по категориям в соответствии с определенным параметром оценки. Обычно используют не более 5-и или 7-ми таких категорий, построенных исходя из предположения, что уровни эффективности работы подчиняются закону нормального распределения. Однако существуют свидетельства ряда исследователей, что само это предположение и основанный на нем метод создают искусственные различия между оцениваемыми.

Использование поведенческих шкал и опросных листов опирается на постулат, что поведение является наиболее значительным и существенным фактором в оценке работы, нежели остальные. В основе поведенческих шкал лежит метод анализа критических событий, конечным результатом которого является список форм поведения, присущих успешному или неуспешному выполнению деятельности.

Согласно Я. Райскуп, метод анализа критических событий относится к специальным методам психологической профессиографии и изучения трудовой деятельности. Он имеет целью «при помощи различных способов и на основании соответствующих критериев выявить и оценить основные моменты, события и обстоятельства, которые могут способствовать успешному преодолению критической ситуации, если они были причиной ее возникновения» (Райскуп, 1979, с. 57). Критические события целесообразно группировать по разнообразным аспектам работы, таким как профессиональные знания и навыки, способность принимать решения, ответственность и прочие. Две разновидности наиболее часто используемых в практике поведенческих шкал – это рейтинговые шкалы с поведенческими аналогами и поведенческие шкалы наблюдений.

Отметим, что в настоящее время значительное внимание исследователей и практиков привлечено к вопросу о соотношении данных, полученных с помощью различных методов оценки, с реальными прогностическими возможностями этих методов. Так, на протяжении длительного времени предметом полемики среди исследователей является вопрос о преимуществах и недостатках использования данных, полученных с помощью стандартизованных тестов и метода экспертных оценок. Стандартизованные тесты и экспертные оценки принято рассматривать как два взаимодополняющих фильтра в процессе профессионального отбора и вынесения итогового суждения о степени профессиональной пригодности (Шмелев, 2004).

Суть дискуссии продиктована тем, что использование только стандартизованных тестов не дает оснований для окончательного положительного диагноза о профессиональной пригодности. Тест может выступать как первичный, формализованный фильтр, предшествующий применению более сложных и дорогостоящих экспертных процедур.

Изолированное использование одного из этих фильтров выглядит оправданным в случае, когда результаты оценки направлены на то, чтобы отсеять тестируемых с показателями ниже определенного порога. В случае же отбора из ограниченной выборки тех кандидатов, которые в максимальной степени обладают каким-то качеством или группой качеств, предпочтительным является вариант одновременного использования стандартизованных тестов и экспертных оценок.

Вывод о профессиональной пригодности может быть сделан на основании совокупного позитивного исхода теста и позитивного исхода экспертной оценки, в то время как вывод о непригодности потенциального кандидата в определенном виде деятельности является вполне обоснованным в случаях сочетаний негативных результатов теста или экспертной оценки. При этом приходится принимать во внимание, что при оценке работы и ее результатов всегда существует некий субъективный или контекстуальный компонент, а ориентация исключительно на объективные показатели может служить источником заблуждений (Мучински, 2004).