Юрий Радеев - Основатели кибернетики. История кибернетической мысли

Любовь Шеннона к математическим абстракциям и всевозможным устройствам проявилась в раннем возрасте. Он родился в 1916 году в пригороде Гейлорда, штат Массачусетс, и провел там значительную часть детства. Шеннон обожал играть со всевозможными радио-наборами – их покупал ему отец. Еще Шеннону очень нравилось решать математические головоломки, которые задавала ему сестра, будущая профессор математики.

«Даже будучи маленьким ребенком, я всегда интересовался криптографией и всякими такими штуками» – рассказывает Шеннон. Одна из его любимых книг – «Золотой Жук» Эдгара По, мистический детектив со счастливым концом. Разгадывая таинственную карту, главный герой находит зарытое в земле сокровище.

В Мичиганском университете Шеннон был одинаково хорош как в математике, так и в электронике. Хорошее понимание обеих этих областей позволило ему добиться первого значительного успеха: его приняли в аспирантуру MIT. После беседы о сложной системе переключения телефонных линий с Амосом Джоэлем, признанным экспертом Bell Laboratories, Шеннон подготовил свою дипломную работу. В ней он, прибегая к концепциям из булевой алгебры, таким как: «Если происходит либо X, либо Y, но не Z, в результате получится Q», смог описать работу переключателей и реле в электрических цепях.

Выводы, сделанные 22-х летним студентом, оказались на удивление глубокими: электрические цепи перед строительством можно протестировать математически, а не путем проб и ошибок. Современные инженеры уже давно проектируют компьютерное «железо», софт, телефонные линии и прочие сложные системы с помощью булевой алгебры.

Дипломная работа Шеннона была названа «вероятно, важнейшей дипломной работой столетия», но сам автор, как обычно, принижает ее значимость. «Просто так совпало, что на тот момент только я был хорошо знаком и с математикой, и с электроникой» – говорит он. И тут же добавляет: «Мне всегда нравилось это слово – „Булев“!».

После получения докторской степени в MIT в 1940 году (его диссертация была посвящена математике в передаче генов) Шеннон провел год в принстонском Институте перспективных исследований. Театральным шепотом Шеннон рассказывает, как он однажды держал в институте речь, и тут в заднюю дверь аудитории вошел легендарный Эйнштейн. Он поглядел на Шеннона, что-то прошептал одному из ученых и покинул комнату. Сразу после выступления Шеннон бросился к этому ученому, чтобы узнать, о чем говорил Эйнштейн. Тот, сохраняя серьезный вид, ответил: «Эйнштейн поинтересовался, где у нас лежит чай».

В 1941 году Шеннон устроился в Bell Laboratories и проработал там 15 лет. Во время Второй мировой войны он участвовал в разработке цифровых систем шифрования. Одной из них пользовались Черчилль и Рузвельт для проведения трансокеанских переговоров.

Как говорит сам Шеннон, эта работа и привела к появлению теории коммуникации. Он понял, что при помощи числовых кодов можно защитить информацию от чужих глаз. Соответственно, и от помех тоже. Кроме того, эти коды можно использовать для эффективного упаковывания информации и дальнейшей передачи по выделенному каналу.

«Первое, о чем я подумал [в ключе теории информации]» – говорит Шеннон, – «это как улучшить передачу информации по сильно зашумленному каналу. Это была острая проблема для телеграфных и телефонных систем. Но когда думаешь о таких вещах, в голове тут же появляется широкий спектр применений [для возможного решения проблемы]».

Определение информации, изложенное в статье Шеннона от 1948 года, имеет решающее значение в его теории коммуникации. Избегая вопросов о смысле информации (Шеннон подчеркивает, что его «теория не могла и не собиралась решать этот вопрос»), он явно демонстрирует, что информация – это измеримый продукт. Он показал, что объем информации в конкретном сообщении определяется вероятностью того, что из всех сообщений, которые могут быть отправлены, выбрано будет именно оно.

Он определил общий потенциал информации в системе как ее «энтропию». В термодинамике этот термин обозначает случайность или «смешанность» «системы». (Великий математик и компьютерный теоретик Джон фон Нейман убедил Шеннона использовать слово энтропия. То, что никто не знает, что такое энтропия, утверждал фон Нейман, даст Шеннону преимущество в дискуссиях по теории информации.)

Шеннон определил базовую единицу информации как сообщение, представляющее одно из двух возможных состояний. Позднее Джон Тьюки из Bell Laboratories назвал это двоичной единицей, а затем битом. Можно закодировать большое количество информации в сравнительно небольшом количестве битов. Это похоже на старинную игру в «Двадцать вопросов». В ней также можно быстро вычислить верный ответ, задавая правильные вопросы.

Опираясь на математику, Шеннон показал, что любой канал связи обладает некой максимальной пропускной способностью, выше которой надежная передача информации невозможна. На самом деле, с помощью хитрого кодирования есть вероятность достичь этого максимума, однако на практике это невозможно. Этот максимум стал известен как «предел Шеннона».

В той же статье 1948 года говорится, как рассчитать предел Шеннона. Но не о том, как его достичь. И Шеннон, и его коллеги занялись этим вопросом позже. В первую очередь требовалось устранить из сообщений избыточность. Точно так же, как экономный Ромео кодирует свое послание Джульетте до «я тб лбл», хороший код в первую очередь хорошенько сжимает информацию.

Затем добавляется так называемый код коррекции – достаточный, чтобы шум не подавил сообщение окончательно. Например, коррекционный код для потока чисел может добавить уравнение полинома, на график которого попадают все эти числа. А декодер на принимающей стороне знает, что любые числа, выбивающиеся из графика, были искажены при передаче.

Идеи Шеннона слишком опережали свое время, чтобы воплотиться моментально. «Многие практичные ученые из Bell Labs считали эту теорию интересной, но не слишком полезной» – говорит Эдгар Гилберт. В 1948 году он приехал в Bell Labs – в том числе, чтобы поработать совместно с Шенноном. Вакуумные трубки просто не могли обрабатывать сложные коды, необходимые для приближения к пределу Шеннона. Статья Шеннона даже получила отрицательный отзыв от Дж. Л. Дуба, известного математика из Университета Иллинойса. Историк Уильям Аспрей отмечает, что для реального применения теории информации в то время отсутствовала всякая концептуальная основа.

Только в начале 1970-х годов с появлением высокоскоростных интегральных схем инженеры начали полноценно пользоваться теорией информации. В наши дни идеи Шеннона применяются практически во всех системах, которые хранят, обрабатывают или передают информацию в цифровом виде, от компакт-дисков до суперкомпьютеров, от факсимильных аппаратов до зондов для исследования дальнего космоса, таких как Voyager.