Бенуа Мандельброт - Фрактальная геометрия природы

Гиперболические законы, аналогичные распределению Парето, были позднее обнаружены во многих отраслях экономики, а на объяснение их столь широкой распространенности потрачены немалые усилия. Однако позвольте мне прежде описать один еретический подход к этой задаче.

В такой области, как экономика, ни в коем случае нельзя забывать о том, что «данные», которыми нам приходится оперировать, представляет собой весьма разнородную смесь. Поэтому распределение данных является результатом совместного действия базового фиксированного «истинного распределения» и в высшей степени изменчивого «фильтра». В [342] я отмечаю, что асимптотически гиперболические распределения с D<2 очень «крепки» в этом смысле, т.е. многие самые разнообразные фильтры практически не изменяют их асимптотического поведения. С другой стороны, почти все прочие распределения таким свойством не обладают. Следовательно, гиперболическое истинное распределение можно наблюдать всегда: всевозможные наборы искаженных данных предполагают одно и то же распределение с одинаковым показателем D . При попытке применить тот же подход к большинству других распределений мы получим «хаотические» несовместимые результаты. Иными словами, практической альтернативой асимптотически гиперболическому распределению является не какое-то другое распределение, но хаос. Поскольку хаотические результаты, как правило, не публикуются (а если публикуются, то не замечаются), факт широкой распространенности асимптотически гиперболических распределений не представляет собой ничего неожиданного и мало может сообщить нам об истинной их распространенности в природе.

Слово есть не что иное, как последовательность «правильных» букв, заканчивающаяся «неправильной» буквой, называемой пробелом. Возьмем образец речи некого индивидуума и расположим в ряд содержащиеся в этом образце слова по следующему принципу: на первое место поставим слово, встретившееся в тексте наибольшее количество раз, далее – второе по частоте употребления и т.д., причем слова с одинаковой частотой будем располагать в произвольном порядке. В такой классификации ρ обозначает порядковый номер (ранг) слова, встречающегося в речи с вероятностью P , а термин распределение частотности слов описывает соотношение между ρ и P .

Можно ожидать, что это соотношение подвержено самым беспорядочным изменениям, находящимся в зависимости от языка и индивидуальных особенностей оратора, однако в действительности это не так. Эмпирический закон, обнаруженный Ципфом [615] (о Дж. К. Ципфе смотрите очерк в главе 40), гласит, что соотношение между ρ и P «универсально», т.е. независимо от параметров, и имеет следующий вид:

P∝1/ρ .

А во втором приближении, которое я получил теоретически (тщетно пытаясь теоретически же вывести беспараметрический закон P∝1/ρ ), все различия между языками и индивидуумами свелись к выражению

P=F(ρ+V) −1/D .

Поскольку ΣP=1 , параметры D , F и V оказываются связаны соотношением F −1=∑(ρ+V) −1/D .

В совокупности эти параметры служат мерой того, насколько богат словарный запас данного индивидуума.

Основным параметром является показатель D . Представляется разумным измерять богатство словарного запаса через относительную частоту использования субъектом редких слов: взяв, например, в качестве эталона частоту слова ранга ρ=1000 , а не слова ранга ρ=10 . Эта относительная частота возрастает при увеличении D .

Почему вышеописанному закону присуща такая универсальность? Учитывая, что он почти идеально гиперболичен, и принимая во внимание все то, что мы уже успели узнать из настоящего эссе, в высшей степени разумным будет попробовать соотнести закон Ципфа с неким лежащим в его основе скейлинговым свойством. (В 1950 г., когда я впервые столкнулся с этой задачей, такая процедура вовсе не казалась столь очевидной.) Как можно заключить из обозначения, показатель здесь играет свою обычную роль – роль размерности. Вторым параметром является префактор F (см. главу 34).

В данном случае и впрямь имеется «объект», который можно подвергать преобразованию подобия: назовем этот объект лексикографическим деревом. Прежде всего, определим его и опишем, что в данном контексте имеется в виду под преобразованием подобия. Затем докажем, что в случае масштабной инвариантности лексикографического дерева частотность слов следует приведенному выше двухпараметрическому закону. Далее мы обсудим справедливость объяснения и особо остановимся на интерпретации показателя D как размерности.

Деревья.Лексикографическое дерево имеет N+1 стволов, пронумерованных от 0 до N . Первый ствол соответствует «слову», состоящему из одной только «неправильной» буквы – «пробела»; каждый из остальных стволов соответствует одной из N «правильных» букв. Ствол «пробела» гол, а каждый из остальных стволов несет на себе N+1 главных ветвей, которые соответствуют пробелу и N правильным буквам. В следующем поколении ветвь пробела остается голой, а остальные ветви разветвляются, как и прежде, на N+1 меньших ветвей. То есть пустой конец каждой ветви пробела соответствует слову, состоящему из правильных букв, за которым следует пробел. Построение продолжается до бесконечности. На конце каждой пустой ветви вырезана вероятность употребления соответствующего слова. На конце же непустой ветви вырезана полная вероятность употребления слов, которые начинаются с последовательности букв, определяющей данную ветвь.

Масштабно-инвариантные деревья.Дерево можно назвать масштабно-инвариантным, если каждая взятая в отдельности ветвь представляет собой в некотором роде уменьшенную копию всего дерева. Усечение такого дерева означает, почти буквально, отсечение от него какой-либо ветви. Отсюда выводим наше первое заключение – ветвление масштабно-инвариантного дерева не должно иметь каких-либо пределов. В частности, неразумно – хотя на неподготовленный взгляд это совсем не очевидно – пытаться измерить богатство словарного запаса исчислением общего количества различных слов. (Почти каждый из нас «знает» настолько больше слов, чем употребляет в речи, что словарный запас среднего человека практически бесконечен.) Далее можно определить (соответствующее рассуждение мы опустим) вид, какой принимает вероятность P пустой ветви k - го уровня, т.е. растущая над k «живыми» ветвями.