Е. Миркес - Учебное пособие по курсу «Нейроинформатика»
- Название:Учебное пособие по курсу «Нейроинформатика»
- Автор:
- Жанр:
- Издательство:КРАСНОЯРСКИЙ ГОСУДАРСТВЕННЫЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ
- Год:2002
- Город:Красноярск
- ISBN:нет данных
- Рейтинг:
- Избранное:Добавить в избранное
-
Отзывы:
-
Ваша оценка:
Е. Миркес - Учебное пособие по курсу «Нейроинформатика» краткое содержание
Данное учебное пособие подготовлено на основе курса лекций по дисциплине «Нейроинформатика», читавшегося с 1994 года на факультете Информатики и вычислительной техники Красноярского государственного технического университета.
Несколько слов о структуре пособия. Далее во введении приведены учебный план по данному курсу, задания на лабораторные работы. Следующие главы содержат одну или несколько лекций. Материал, приведенный в главах, несколько шире того, что обычно дается на лекциях. В приложения вынесены описания программ, используемых в данном курсе (Clab и Нейроучебник), и проект стандарта нейрокомпьютера, включающий в себя два уровня — уровень запросов компонентов универсального нейрокомпьютера и уровень языков описания отдельных компонентов нейрокомпьютера.
Данное пособие является электронным и включает в себя программы, необходимые для выполнения лабораторных работ.
Учебное пособие по курсу «Нейроинформатика» - читать онлайн бесплатно полную версию (весь текст целиком)
Интервал:
Закладка:
(5)
Способ вычисления константы Липшица
Для непрерывных функций константа Липшица является максимумом производной в направлении r =( r 1, …, r n) по всем точкам и всем направлениям. При этом вектор направления имеет единичную длину:
Напомним формулу производной функции f ( x 1, …, x n) в направлении r :
(6)
Синапс
Обозначим входной сигнал синапса через x , а синаптический вес через α. Тогда выходной сигнал синапса равен α x . Поскольку синапс является функцией одной переменной, константа Липшица равна максимуму модуля производной — модулю синаптического веса:
Λ s=|α| (7)
Умножитель
Обозначим входные сигналы умножителя через x 1, x 2Тогда выходной сигнал умножителя равен . Используя (6) получаем . Выражение r 1 x 2+ r 2 x 1является скалярным произведением векторов ( r 1, r 2) и, учитывая единичную длину вектора r , достигает максимума, когда эти векторы сонаправлены. То есть при векторе
Используя это выражение, можно записать константу Липшица для умножителя:
(8)
Если входные сигналы умножителя принадлежат интервалу [ a,b ], то константа Липшица для умножителя может быть записана в следующем виде:
(9)
Точка ветвления
Поскольку в точке ветвления не происходит преобразования сигнала, то константа Липшица для нее равна единице.
Сумматор
Производная суммы по любому из слагаемых равна единице. В соответствии с (6) получаем:
(10)
поскольку максимум суммы при ограничении на сумму квадратов достигается при одинаковых слагаемых.
Нелинейный Паде преобразователь
Нелинейный Паде преобразователь или Паде элемент имеет два входных сигнала и один выходной. Обозначим входные сигналы через x 1, x 2. Используя (6) можно записать константу Липшица в следующем виде:
Знаменатель выражения под знаком модуля не зависит от направления, а числитель можно преобразовать так же, как и для умножителя. После преобразования получаем:
(11)
Нелинейный сигмоидный преобразователь
Нелинейный сигмоидный преобразователь, как и любой другой нелинейный преобразователь, имеющий один входной сигнал x , имеет константу Липшица равную максимуму модуля производной:
(12)
Адаптивный сумматор
Для адаптивного сумматора на n входов оценка константы Липшица, получаемая через представление его в виде суперпозиции слоя синапсов и простого сумматора, вычисляется следующим образом. Используя формулу (7) для синапсов и правило (5) для вектор-функции получаем следующую оценку константы Липшица слоя синапсов:
.
Используя правило (4) для суперпозиции функций и оценку константы Липшица для простого сумматора (10) получаем:
Λ A ≤ Λ ΣΛ L = √ n ||α||. (13)
Однако, если оценить константу Липшица адаптивного сумматора напрямую, то, используя (6) и тот факт, что при фиксированных длинах векторов скалярное произведение достигает максимума для сонаправленных векторов получаем:
(14)
Очевидно, что оценка (14) точнее, чем оценка (13).
Константа Липшица сигмоидной сети
Рассмотрим слоистую сигмоидную сеть со следующими свойствами:
1. Число входных сигналов — n 0.
2. Число нейронов в i- м слое — n i .
3. Каждый нейрон первого слоя получает все входные сигналы, а каждый нейрон любого другого слоя получает сигналы всех нейронов предыдущего слоя.
4. Все нейроны всех слоев имеют вид, приведенный на рис. 1 и имеют одинаковую характеристику.
5. Все синаптические веса ограничены по модулю единицей.
6. В сети m слоев.
В этом случае, учитывая формулы (4), (5), (12) и (14) константу Липшица i- го слоя можно оценить следующей величиной:
Используя формулу (4) получаем оценку константы Липшица всей сети:
Если используется нейроны типа S 1, то Λ P = c и оценка константы Липшица сети равна:
Для нейронов типа S 2 , то Λ P =1/- и оценка константы Липшица сети равна:
Обе формулы подтверждают экспериментально установленный факт, что чем круче характеристическая функция нейрона, тем более сложные функции (функции с большей константой Липшица) может аппроксимировать сеть с такими нейронами.
Предобработка, облегчающая обучение
При обучении нейронных сетей иногда возникают ситуации, когда дальнейшее обучение нейронной сети невозможно. В этом случае необходимо проанализировать причины. Возможно несколько видов анализа. Одной из возможных причин является высокая сложность задачи, определяемая как выборочная оценка константы Липшица.
Для упрощения задачи необходимо уменьшить выборочную оценку константы Липшица. Наиболее простой способ добиться этого — увеличить расстояние между входными сигналами. Рассмотрим пару примеров — x i , xj — таких, что
Определим среди координат векторов x i и x j координату, в которой достигает минимума величина | x i l-x j l |, исключив из рассмотрения совпадающие координаты. Очевидно, что эта координата является «узким местом», определяющим сложность задачи. Следовательно, для уменьшения сложности задачи требуется увеличить расстояние между векторами x i и x j , а наиболее перспективной координатой для этого является l- я. Однако увеличение расстояние между x i l и x j l не всегда осмыслено. Дело в том, что все параметры, как правило, измеряются с конечной точностью. Поэтому, если величина | x i l-x j l | меньше чем точность измерения l- го параметра, значения x i l и x j l можно считать совпадающими. Таким образом, для изменения масштаба надо выбирать тот из входных параметров, для которого значение | x i l-x j l | минимально, но превышает точность измерения этого параметра.
Таблица 7. Кодирование параметра после разбиения на два сигнала
Предположим, что все входные параметры предобработаны в соответствии с формулой (1). Перенумеруем примеры обучающего множества так, чтобы были верны следующие неравенства: x l 1< x l 2<,…, x l N , где N — число примеров в обучающем множестве. При этом, возможно, придется исключить ряд пар параметр-ответ с совпадающими значениями параметра. Если в какой-либо из таких пар значения ответов различаются, то это снижает возможную полезность данной процедуры.
Наиболее простой путь — разбить диапазон l- го параметра на два. Зададимся точкой x . Будем кодировать l- й параметр двумя входными сигналами в соответствии с табл. 7. При таком кодировании критерий Липшица, очевидно, уменьшится. Вопрос о выборе точки x может решаться по-разному. Простейший путь — положить x =( a-b )/2. Более сложный, но часто более эффективный — подбор x исходя из требования минимальности критерия Липшица.
Читать дальшеИнтервал:
Закладка: