В. Корогодин - Информация как основа жизни

В 1924 г. X. Найквист предложил измерять количество информации, приходящееся на одну букву текста, передаваемого по каналу связи, величиной Н-1/п, где п – число букв в используемом языке. Спустя четыре года Р. Хартли, исходя из требования аддитивности, в качестве такой меры начал применять логарифм этой величины, т. е. log(1/n). Двадцать лет спустя, в 1948 г., К. Шеннон для этой же цели ввел величину (6)

где H i– количество информации, связанное с i-ой буквой алфавита, p i– частота встречаемости этой буквы в данном языке, q - основание логарифмов, а k – коэффициент пропорциональности, величина которого зависит от q и от избранных единиц измерения количества информации; знак "минус" перед k поставлен для того, чтобы величина H iвсегда была положительной. Тогда суммарное количество информации для сообщения, состоящего из М букв, будет (7):

где m i– число i-х букв в сообщении

К. Шеннон показал, что с увеличением длины сообщения М почти всегда будет иметь "типичный состав": ( т i/М ® р i ). Следовательно, (8)

В случае бинарного кода, когда n = 2, а р 1= р 2= 0.5, q=2 и k=1, количество информации Н мстановится равным М и выражается в так называемых бинарных единицах – битах.

Приведенные формулы послужили К. Шеннону основанием для исчисления пропускной способности каналов связи и энтропии источников сообщений, для улучшения методов кодирования и декодирования сообщений, для выбора помехоустойчивых кодов, а также для решения ряда других задач, связанных с оптимизацией работы технических систем связи. Совокупность этих представлений, названная К. Шенноном "математической теорией связи", и явилась основой классической теории информации.

Теперь обратим внимание на три характерные черты этой работы К. Шеннона. Во-первых, в ней отсутствует определение понятия "информация". Во-вторых, термин "количество информации" здесь используется как синоним статистических характеристик букв, составляющих сообщение. В-третьих, по отношению к источнику сообщений здесь применяется слово "энтропия". Черты эти, несущественные в контексте математической теории связи, оказали значительное влияние на судьбу теории информации.

Отсутствие определения понятия "информация" в работах К. Шеннона и его предшественников, по-видимому, довольно естественно – они в нем просто не нуждались. Ведь работы эти были посвящены не теории информации, а теории связи. То, что по каналам связи передают осмысленные сообщения, т. е. информацию, было очевидно, – ведь для этого их и создавали. Замечательной особенностью каналов связи является то, что по ним можно передавать любую информацию, пользуясь ограниченным числом сигналов или букв. При этом передают по каналам связи именно буквы, сигналы, а не информацию как таковую. Объекты передачи, следовательно, имеют материальную, физическую природу – обычно это модуляции напряженности электрического тока. Ответа требовал не вопрос "Что такое информация?", а вопрос "Какое количество информации можно передать в единицу времени, пользуясь данным набором сигналов?". Предложенное К. Шенноном определение "количества информации" (6) хорошо согласовывалось с дискретной[1] природой сигналов, обычно передаваемых по каналам связи. И в то же время, такая мера "количества информации" создавала ощущение, не встречающее сопротивления на психологическом уровне, что чем реже происходит данное событие – появление данного сигнала на выходе канала связи, тем больше это событие "несет с собой" информации.

Со всем этим можно было бы вполне согласиться, если бы не одно обстоятельство: отдельные сигналы или буквы, передаваемые по каналам связи, сами по себе не несут той информации, для обмена которой существуют системы связи. Информацию содержат лишь сочетания сигналов или букв, причем отнюдь не любые, а лишь осмысленные, наполненные определенным содержанием. Введение единой меры количества информации, содержащейся в сообщениях, меры, не зависящей от их семантики, как будто бы блестяще решало задачу соизмеримости бесконечного количества возможных различающихся по смыслу сообщений. И в то же время введение такой меры создавало видимость дробления, квантируемости информации, видимость возможности оценивать ее количество как сумму элементарных количеств информации, связанных с каждой отдельной буквой содержащего ее сообщения.

Напомним, что ко времени выхода в свет работы К. Шеннона [3] научная общественность была уже подготовлена к ее восприятию. Зарождавшаяся тогда же кибернетика, или "наука об управлении и связи в животном и машине" [2], уже использовала термин "информация" для обозначения тех сигналов, которыми могут обмениваться между собой люди или животные, человек и машина, или сигналов, воспринимаемых животными или машиной с помощью специальных рецепторов из окружающей среды с целью оптимизировать свое "поведение". Уже был пущен в оборот термин "генетическая информация" [4]. Бурное развитие самых разных технических систем связи (телеграфа, телефона, радио, телевидения) остро нуждалось в ограничении присущего понятию "информация" полиморфизма в целях разработки все более совершенных методов ее передачи, приема и хранения. Всем этим запросам, казалось, прекрасно соответствовала шенноновская концепция количества информации.

Однако надо ясно представить себе, что, не давая определения понятию "информация" и в то же время называя "количеством информации" частотную характеристику букв кода, К. Шеннон как бы создавал возможность для отождествления двух совершенно разных по своей природе феноменов информации как семантики сообщения и "информации" как частоты осуществления какого-либо события. Это делало возможной подмену терминов, что и было быстро реализовано. Уже через несколько лет французский физик Л. Бриллюэн [5,6] в качестве основного достоинства новой теории называл отождествление информации с величиной, обратной частоте осуществления какого-либо события. Термин "информация" в указанном выше смысле окончательно слился с термином "количество информации".

Формула К. Шеннона (6) по структуре своей подобна формуле, предложенной Л. Больцманом для выражения количества энтропии. Это формальное сходство послужило К. Шеннону поводом называть "энтропией", по аналогии с физической энтропией, свойство источника сообщений порождать в единицу времени то или иное число сигналов на выходе, а "энтропией сообщения" – частотную характеристику самих сообщений, выражаемую формулами (6) и (7).

Кажущаяся простота предложенного К. Шенноном решения проблемы измерения количества информации создавала видимость столь же легкого решения и других связанных с использованием термина "информации" проблем. Это и породило ту эйфорию, ту шумиху вокруг зарождающейся теории информации, характерную для пятидесятых годов, которую одним из первых заметил сам К. Шеннон и против которой было направлено его провидческое эссе "Бандвагон" [7].