Рэймонд Курцвейл - Эволюция разума

Присвоить начальное значение «синаптического потенциала» каждой созданной связи.

Эти параметры сначала могут быть одинаковыми, могут быть выбраны случайным образом или определены каким-то другим путем (см. ниже).

Выходные сигналы нейронов уровня M представляют собой результирующие сигналы на выходе из сети нейронов (ниже см. возможные варианты).

Тест.

Как работает каждый нейрон.

Когда нейрон определен, в каждом тесте он выполняет следующую функцию.

Каждый поступающий на нейрон взвешенный сигнал обсчитывается путем умножения выходного сигнала от другого нейрона (или исходного входного сигнала), с которым соединен данный нейрон, на величину синаптического потенциала данной связи.

Все взвешенные сигналы, поступающие на данный нейрон, суммируются.

Если эта сумма выше порогового значения возбуждения нейрона, данный нейрон считается возбужденным, и его выходному сигналу присваивается значение 1. В противном случае выходной сигнал получает значение 0 (см. варианты ниже).

В каждом тесте проводится следующая процедура.

Для каждого уровня — от 0 до M:

Для каждого нейрона данного уровня:

Суммируются взвешенные входные сигналы (каждый взвешенный входной сигнал = выходной сигнал другого нейрона (или исходный входной сигнал), с которым связан данный нейрон, х синаптический потенциал связи).

Если эта сумма взвешенных сигналов выше порогового значения возбуждения нейрона, данный нейрон считается возбужденным, и его выходному сигналу присваивается значение 1. В противном случае выходной сигнал получает значение 0.

Тестирование сети нейронов.

Проводят серию повторных тестов для простой задачи.

После каждого теста показатели синаптических потенциалов всех связей настраивают таким образом, чтобы улучшить производительность сети нейронов в данной задаче (ниже обсуждается, как это сделать).

Продолжают тестирование до тех пор, пока точность распознавания не перестанет повышаться (то есть выйдет на асимптоту).

Ключевые решения.

В рамках описанной выше простой схемы создатель алгоритма должен прежде всего определить следующие параметры:

— чему соответствуют значения входных параметров;

— количество уровней нейронов;

— количество нейронов на каждом уровне (на разных уровнях не обязательно должно содержаться одинаковое количество нейронов);

— количество входных сигналов, приходящих на каждый нейрон каждого уровня. Количество входных сигналов (то есть связей между нейронами) может быть различным для разных нейронов и разных уровней;

— список «возбужденных» связей. Для каждого нейрона каждого уровня создается список других нейронов, выходные сигналы которых являются входными сигналами на данный нейрон. Это ключевой момент в создании программы. Сделать это можно несколькими способами:

1) возбужденные связи выбираются случайным образом; или

2) для оптимального возбуждения применяется эволюционный алгоритм (см. ниже); или

3) для определения возбужденных связей используется лучшее конструктивное решение.

Определение исходного синаптического потенциала (то есть веса) каждой связи. Сделать это можно несколькими способами:

1) всем синаптическим потенциалам присваивается одинаковое значение; или

2) синаптическим потенциалам присваиваются разные случайные значения; или

3) для определения оптимального набора синаптических потенциалов применяется эволюционный алгоритм; или

4) для определения исходных значений синаптических потенциалов используется лучшее конструктивное решение.

Порог возбуждения каждого нейрона.

Определение выходного сигнала. Выходной сигнал может быть:

1) выходными сигналами после уровня M; или

2) выходным сигналом единственного нейрона, входным сигналом на который являются выходные сигналы после уровня M; или

3) функцией (например, суммой) выходных сигналов после уровня M; или

4) другой функцией выходных сигналов нейронов разных уровней.

Определение степени подгонки синаптических потенциалов всех связей в процессе тестирования сети нейронов. Это очень важный элемент подготовки программы, который активно исследуется и широко обсуждается. Для осуществления этой процедуры существует несколько возможностей:

1) в каждом тесте повышают или понижают величину синаптического потенциала на небольшую фиксированную величину, чтобы выходной сигнал нервной сети как можно ближе подходил к правильному результату. Один из способов — пытаться и увеличивать, и уменьшать значение, чтобы выяснить, какое действие приближает систему к желаемому результату. Однако для этого может потребоваться много времени, так что существуют другие методы, позволяющие определить, в каком направлении (уменьшения или увеличения потенциала) следует двигаться;

2) существуют другие статистические методы изменения синаптического потенциала после каждого теста, чтобы добиться лучшего совпадения получаемых результатов с истинным значением.

Заметим, что тренировка системы будет происходить даже в тех случаях, когда не все результаты испытаний близки к истинным значениям. Это позволяет использовать результаты тестов, даже содержащих ошибку. Ключ к успеху при создании системы распознавания на основе сетей нейронов заключается в использовании большого количества тренировочных данных. Обычно для получения удовлетворительных результатов требуется весьма большой объем данных. Для системы на основе сетей нейронов, как и для студентов, процесс обучения — важнейший фактор в достижении высокой эффективности.

Вариации алгоритма.

Возможно множество вариаций.

Существуют разные способы определения топологии. В частности, возбуждение связей между нейронами можно задавать случайным образом, а можно с помощью эволюционного алгоритма.

Существуют разные способы определения исходных значений синаптического потенциала.

Входные сигналы на нейроны уровня i не обязательно являются выходными сигналами от нейронов уровня i-1. Входные сигналы на нейроны любого уровня могут приходить от нейронов любого уровня.

Существуют разные пути определения конечного выходного сигнала.

Описанный выше метод приводит к возбуждению по принципу «все или ничего» (1 или 0) — это так называемая нелинейная функция. Но могут использоваться и другие нелинейные функции. Обычно применяют функцию, изменяющуюся в пределах от 0 до 1 достаточно быстро, но все же ступенчато. Кроме того, выходным сигналам могут присваиваться другие значения, отличные от 0 и 1.

Выбор метода подгонки величины синаптического потенциала в процессе наладки программы — очень важный момент. Описанная выше схема относится к «синхронным» сетям нейронов, в которых каждое испытание происходит путем вычислений выходов на каждом уровне нейронов, начиная от уровня 0 и заканчивая уровнем M. В истинно параллельных системах, где каждый нейрон действует независимо от остальных, нейроны могут функционировать «асинхронно». При асинхронном подходе каждый нейрон постоянно сканирует свои входные сигналы и возбуждается в том случае, если сумма взвешенных входных сигналов превышает определенное пороговое значение (или при определенной специфике его выходного сигнала).