Юрий Курносов - Аналитика: методология, технология и организация информационно-аналитической работы

Кроме того, используя лингвистические технологии, системы гибридного интеллекта способны регламентировать процесс информационного взаимодействия между аналитиками как на уровне представления данных, так и на уровне управления временными параметрами процесса коммуникации. Благодаря первой группе регламентов может быть снят (или ослаблен) стресс дезадаптации, вызванный различиями в способах представления данных, а благодаря введению временных регламентов может быть снижен эффект неожиданности акта коммуникации, сформирована привычка к разбиению ИАР на временные интервалы, посвященные различным видам активности.

Однако и это не все положительные свойства таких систем… Они могут стать мощным инструментом подготовки аналитиков, их ввода в контекст текущей ситуации, формирования рабочих групп в распределенных средах, что очень важно в крупных территориально распределенных информационно-аналитических службах государственного и ведомственного подчинения, диспетчирования информационных потоков по информационным направлениям и так далее.

Комментированному перечислению преимуществ такой идеологии построения систем комплексной поддержки ИАР можно было бы посвятить еще много страниц. Но мы предоставляем читателям возможность, как-нибудь на досуге, самостоятельно поразмышлять в этом направлении.

Класс инструментальных средств поддержки процессов анализа данных — это весьма пестрый по составу класс, объединенный одним свойством входящих в него средств: все они направлены на преодоление проблемы большой размерности. Сущность проблемы заключается в том, что человек, хотя и устроен как мощнейшая система анализа и обработки данных, но система эта обладает недостаточно мощной подсистемой сбора данных. Она, эта подсистема сбора данных, обладает относительно низким разрешением, инерционна и обладает множеством иных недостатков. Отсюда это стремление к созданию все новых инструментальных средств, расширяющих возможности органов чувств… Но, как только очередная проблема этого сорта решена, так сразу появляются проблемы коммуникации с очередным созданным инструментом, преодоления избыточности массива измерений, обеспечения избирательности и иные — то есть, все то, что порождено высокой размерностью массива измерений. Эти проблемы порождены «неинтеллектуальностью» инструментария сбора данных.

В результате человек концентрируется на изыскании путей снижения размерности, выделения именно тех фрагментов данных, которые представляют интерес для решения конкретной проблемы, сведения процесса анализа к оцениванию минимального числа интегральных показателей, позволяющих с заданной точностью решать те или иные задачи.

В принципе, весь инструментарий ИАР может быть по ряду признаков отнесен именно к этому классу, однако лучше всего в этот класс вписываются средства статистической, корреляционной и спектральной обработки результатов наблюдений. Наибольшее распространение получили здесь программные комплексы статистической обработки данных.

Для пользователей, имеющих дело со сверхбольшими объемами данных, характеризующихся высоким уровнем формализации представления, серьезной альтернативы использованию этого класса программного обеспечения пока нет. Сегодня на этом рынке лидируют профессиональные западные пакеты статистической обработки и среды математического моделирования. В большинстве из них реализованы специальные высокоуровневые языки программирования для реализации собственных алгоритмов обработки данных. Их разработка осуществляется путем комбинирования готовых подпрограмм, поставляемых с данным программным продуктом в специализированных библиотеках. При этом задача пользователя состоит, главным образом, в исследовании информативности и выделении наиболее информативных признаков функционирования объекта изучения, установлении взаимосвязи между их изменениями и состоянием объекта. Кроме того, пользователям предоставляется возможность разработки собственных процедур с применением встроенных средств разработки или внешних сред программирования.

Существует условное деление инструментальных средств этого класса на профессиональные (специализированные) и универсальные, не имеющие привязки к отрасли исследований программные продукты. Безусловно, специализированные программные продукты за счет адаптации к классу решаемых задач обладают большей эффективностью при решении прикладных задач в заданной области исследований, но при проведении междисциплинарных исследований универсальным средам альтернативы нет. Поэтому на рынке представлены как специализированные системы обработки данных (например, предназначенные для экономических или социологических исследований), так и универсальные системы.

Универсальные пакеты обладают несколько меньшими возможностями. Но, с другой стороны, их стоимость значительно ниже, чем стоимость профессиональных. Универсальные пакеты во многом схожи по составу методов обработки, реализованы по модульному принципу и за счет обращения к процедурам и функциям операционной системы упрощают работу с графикой и интерфейсными элементами. Однако, при приобретении таких систем следует убедиться, что они действительно реализуют требуемые методы и алгоритмы обработки данных.

Существует около тысячи распространяемых на мировом рынке пакетов, решающих в том или ином виде задачи статистического анализа данных, и реализованные для различных операционных систем.

Среди западных универсальных пакетов наиболее известны и выделяются высоким качеством системы SAS (SAS Institute), SYSTAT, SPSS [69] Бююль А., Цефель П. SPSS: искусство обработки информации. Анализ статистических данных и восстановление скрытых закономерностей. Пер. с нем. — М.: Диасофт, 2001. (SSPS Inc.), Minitab (MiniTab Inc.), Statgraphics (Manugistics, Inc.), Statistica (StatSoft, Inc.). Все эти продукты реализованы на высоко профессиональном уровне, а их производители активно осваивают все новые и новые «ниши» аналитики, обращаясь к технологиям анализа текстов, интеллектуального анализа данных, операционному анализу и иным отраслям, связанным с анализом данных. Заметим, что в последние годы усиливается тенденция к специализации по отраслям — на базе основной версии выпускаются программные продукты, адаптированные к решению задач в медицине, экономике и т. д.

Особый класс программного обеспечения, представленного на рынке, — это специализированные библиотеки подпрограмм обработки данных, предназначенные для встраивания в прикладные программные продукты, разрабатываемые силами собственных отделов автоматизации организаций, нуждающихся в проведении тех или иных исследований. В этом классе несомненными лидерами являются библиотека численных и статистических методов IMSL (Visual Numerics) и библиотека S-Plus (AT&T Bell Labs), сочетающая в себе как библиотеку подпрограмм, разработанных на объектном языке программирования S, так и интерактивную среду-интерпретатор, которая обеспечивает возможность полноценного графического анализа данных. Кроме того, существует масса других библиотек, в том числе, и бесплатно распространяемых через ГСТК Интернет.