Юрий Курносов - Аналитика: методология, технология и организация информационно-аналитической работы

Для решения задачи обработки и анализа экспертных оценок широко используются как общие математические и статистические методы, так и специфические методы — такие, как:

— методы ранжирования и гиперупорядочения;

— методы попарных сравнений;

— метод отбрасывания альтернатив;

— алгоритмы отыскания медианы и иные.

Важную группу методов образуют методы математической обработки результатов измерений:

— методы отбраковки результатов аномальных измерений;

— методы оценки ошибок и погрешностей;

— методы обработки неравноточных измерений;

— метод наименьших квадратов;

— методы корреляционного анализа.

При обработке индивидуальных экспертных оценок обычно применяется метод согласования оценок , имеющий массу вариантов реализации, различающихся способами, при помощи которых из индивидуальных оценок получается обобщенная. Для этого в качестве оценки могут использоваться усредненная вероятность, средневзвешенное значение вероятности (когда учитываются также и веса, приписываемые оценке каждого эксперта) — вплоть до специальных методов оценки измерения и повышения коэффициентов согласованности (конкордации или коэффициентов непротиворечивости) мнений экспертов. Кроме того, еще на этапе формирования экспертной группы могут применяться методы, основанные на отборе экспертов с высоким коэффициентом согласованности мнений.

Существенную роль в обработке числовых данных — именно к этому типу преобразовывается большинство терминов, используемых для обозначения точек в пространстве признаков — играют методы, основанные на преобразовании типов шкал. К числу таких преобразований могут быть отнесены преобразования дискретной шкалы в непрерывную, абсолютной — в нормированную и иные. Такие методы могут применяться как до, так и после выполнения процедуры ранжирования (например, до построения частотнорангового распределения оценок и группирования экспертов по степени согласованности ответов на поставленные вопросы).

В качестве одного из методов повышения согласованности экспертных оценок применяют метод Дельфи.

Метод решающих матриц , идея которого была предложена Г.С. Поспеловым, относится к еще одному классу методов — к методам организации сложных экспертиз. Идея метода заключается в управлении процессом синтеза нового знания в ходе многоэтапного экспертного опроса. Это достигается за счет стратифицированного (послойного) рассмотрения проблемы по уровням, относящимся к различным этапам ее решения. Для научных исследований рассматриваются слои, соответствующие этапам фундаментальных научно-исследовательских работ, прикладных научноисследовательских работ, опытно-конструкторских работ и подпроблем. Для решения проблем управленческой деятельности эти слои могут быть иными, например, следующими: методологический, организационный, технологический слои и слой подпроблем.

На начальном этапе в результате проведения экспертного опроса в общей (глобальной) проблеме выделяются подпроблемы (направления), сумма весов которых (полученных опять же в результате опроса) равна ста процентам. Количество столбцов матрицы определяется числом подпроблем или направлений работы, строки же соответствуют слоям. В каждом слое некоторому направлению ставится в соответствие одно мероприятие, преимущественно нацеленное на решение той или иной задачи в сфере методологического, организационного или технологического обеспечения решения подпроблемы (перечень мероприятий также получают в ходе очередного тура экспертного опроса). Однако, поскольку любое мероприятие дает помимо основного результата еще и ряд косвенных, постольку в ходе следующего тура эксперты оценивают относительный вклад предшествующих мероприятий в проведение последующих (сумма весов дуг входящих в элемент более высокого уровня со стороны элементов более низкого уровня также должна быть равна ста процентам). В результате пересчета весов каждого элемента решающей матрицы могут быть аналитически исчислены коэффициенты важности мероприятий. Соответственно, неопределенность снижается поэтапно, и те данные, которые не могли быть получены методом прямого экспертного опроса, становятся доступными, благодаря разбиению исходной неопределенности на меньшие фрагменты, не требующие от эксперта стратегического мышления.

В завершение этой главы отметим, что ни одна сложная реальная задача, стоящая перед коллективом аналитиков, не может быть решена исключительно за счет применения какой-то одной неизменной совокупности процедур. Чаще всего, новый проект становится в том числе и вкладом в методологическое, технологическое и организационное обеспечение аналитической деятельности. Это и не удивительно — достаточно обратиться к реальным примерам масштабных проектов, чтобы убедиться в этом и понять причины, по которым так происходит.

Пример организации процесса комплексного перспективного моделирования приведен в Приложении 1 к этой книге. Данный пример иллюстрирует то, каким образом в 1996-98 годах специалистами ВВС США проводилось формирование перспективного плана развития ВВС на период до 2025 года в контексте оценки альтернатив развития мировой ситуации. Многие пункты подготовленного в результате этой работы отчета сегодня подтверждаются реальным развитием мировой ситуации.

В этой главе мы попытались вчерне, без прорисовки деталей, обозначить контуры методологии информационно-аналитической деятельности. К сожалению, штрихи, которыми мы пытались очертить эти контуры, оказались слишком крупными — многих проблем, существующих в этой области, нам даже вскользь затронуть не удалось. Это вызвано многообразием методов аналитической деятельности и ограниченностью объема данной книги. Еще одним фактором сдерживания явилась ограниченная применимость ряда специфических методов и методик.

Однако авторы надеются, что им удалось главное — пробудить интерес к аналитике и ее методам, а также показать, что в сущности, ничего особенно сложного и недоступного пониманию в аналитике нет — все определяется уровнем изложения. Этот раздел, как это ни странно, совершенно не содержит формул… Плохо ли это? — Для кого-то — да, для кого-то — нет. Формулы чаще всего требуются тем, кому еще не удалось выйти на тот уровень, на котором требуется практическая аналитика, вернее ее результаты. Но уж, коль скоро вышел на него, то знания столь высокой степени детализации могут оказаться и бесполезными, более того, их может оказаться мало. А управлять аналитиками нужно, причем весьма квалифицированно — иначе шансов получить от них именно то, что требуется, очень мало.