Е. Миркес - Учебное пособие по курсу «Нейроинформатика»

В программе Pade , во второй колонке находятся значения синаптических весов сумматора числителя функционального элемента, на которые будут подаваться соответствующие первой колонке входные сигналы. В третьей колонке находятся значения синаптических весов сумматора знаменателя функционального элемента, на которые будут подаваться соответствующие первой колонке входные сигналы. В четвертой колонке стоят номера нейронов, сигналы с которых будут подаваться на синапсы, веса которых указаны в пятой (сумматор числителя) и шестой (сумматор знаменателя) колонках.

Выполнение этой функции приводит к замене текущей синаптической картына случайную, с указанными Вами параметрами. Если Вы указали уровень синапсов равным L, то каждый синапс будет получен с помощью случайной величины, равномерно распределенной внутри интервала [-L,L] ( для программыPade — в интервале [0,L]).

Выполнение этой функции приводит к изменению всех весов синаптической картына случайную величину, равномерно распределенную в диапазоне [-L,L], где L — задается в меню Параметры,в пункте Уровень УДАРА.Для каждого синаптического веса генерируется своя случайная поправка.

Программа Hopfield.

Эта процедура удаляет из сети «лишние» связи. Вы можете задать понятие лишних связей, задав параметры контрастированияв меню Параметры.

Все программы, кроме программы Hopfield.

Эта процедура удаляет из сети«лишние» связи, замораживает медленно обучающиесяи размораживает ранее замороженные или отконтрастированные. Вы можете задать понятие лишних, медленных и подлежащих размораживанию связей задав значения параметров контрастированияв меню Параметры.Ниже приведена схема процедуры контрастирования:

Накопление показателей чувствительности

↓

Выделение размораживаемых связей

↓

Контрастирование связей

↓

Замораживание связей

↓

Размораживание выделенных связей

Накопление показателей чувствительности для размораживания (Норма для включения)и для замораживания и контрастирования (Норма для исключения)ведется раздельно в ходе указанного Вами числа (Число циклов накопления критерия)тактов обучения сетипо методу Усредненного антиградиентного спуска.

После накопления показателей чувствительности определяются связи подлежащие размораживанию — Количество размораживаемых связейс самым большим показателем чувствительности. Отметим, что связи только отмечаются, но не размораживаются.

Среди обучаемых связей выделяем Количество контрастируемых связейс самыми маленькими модернизированными показателями чувствительности. Модернизация производится по следующему алгоритму:

Для каждой неотконтрастированной связи определяем расстояние до ближайшего выделенного значения.

Умножаем показатель чувствительности этой связи на вычисленное расстояние.

Величины отобранных связей заменяем ближайшим выделенным значением и замораживаем (исключаем из обучения).

Среди незамороженных (обучаемых) связей находим Количество замораживаемых связейи замораживаем, не изменяя их величин.

Связи, включенные в список подлежащих размораживанию на втором шаге алгоритма, размораживаем, не изменяя их величин.

Программа Hopfield

В этом подменю, Вы можете установить параметры Метода обучения, Контрастированияи Уровень УДАРА.

Все программы, кроме программыHopfield.

В меню «Параметры» Вы можете задать следующие параметры:

Параметры сети

Число нейронов в сети

Число срабатываний сети

Характеристика нейронов

Параметры метода обучения

Использовать MParTan

Организация обучения

Вычисление направления

Способ оценивания

Уровень УДАРА

Параметры контрастирования

Норма для исключения

Норма для включения

Количество контрастируемых связей

Количество замораживаемых связей

Количество размораживаемых связей

Число циклов накопления критерия

Набор выделенных значений (1/2^n)

Методы предобработки

Чистый образ

Сдвиговый автокоррелятор

Автокоррелятор сдвиг+отражение

Автокоррелятор сдвиг+вращение

Автокоррелятор сдвиг+вращение+отражение

Программа Hopfield

Этот пункт позволяет Вам выбрать один из двух заложенных в программу алгоритмов построения синаптической картыпо обучающему множеству.Если Вы выбрали "Классический Хопфилд", то формирование происходит так, как описано в разделе обучение.Если Вы предпочли "Проекционный Хопфилд", то производится предварительная обработка обучающего множества. Входные данные, задаваемые каждым примером, можно рассматривать как стомерный вектор. Процедура предварительной обработки состоит в ортонормировании системы векторов, задаваемых всеми примерами обучающего множества. Отметим, что при тестировании предобработка отсуствует.

Все программы, кроме программыHopfield.

В этом меню Вы можете задать следующие параметры метода обучения:

Использовать MParTan

Организация обучения

Вычисление направления

Способ оценивания

Уровень УДАРА

Все программы, кроме программы Hopfield.

При построении метода обученияВы пользуетесь следующей схемой:

Использовать MParTan Да или Нет

↓

Процедура спуска

↓

Организация обучения Усредненная Позадачная Задаче номер

↓

Вычисление направления Случайный спуск Градиентный спуск

↓

Метод оценивания Метод наименьших квадратов Расстояние до множества

↓

Нейронная сеть

Входными параметрами процедуры MParTan являются:

1. Начальная карта.

2. Процедура вычисления Направления спуска.

3. Локальное обучающее множество.

4. Процедура вычисления оценки.

Процедура ParTan работает по следующему алгоритму:

1. Запоминаем текущую карту и оценку текущего Обучающего множества,определяемую в соответствии с тремя более низкими уровнями схемы.

2. Используя процедуру вычисления Направления спуска, вычисляет направление спуска и производит спуск в этом направлении. Этот шаг алгоритма выполняется дважды.

3. Запоминаем текущую карту и оценку текущего Обучающего множества,

4. Делаем спуск в направлении, ведущем из первой запомненной карты во вторую.

5. Если оценка не равна 0, то повторяем всю процедуру сначала.

Процедура MParTan несколько отличается от предыдущей, но ее описание слишком сложно. Однако в ее основе лежит та же идея. Если Вы не используете MParTan, то используется следующая процедура

1. Используя процедуру вычисления Направления спуска,вычисляет направление спуска и производит спуск в этом направлении.