Е. Миркес - Учебное пособие по курсу «Нейроинформатика»

Приведенный выше способ уменьшения критерия Липшица не единственный. В следующем разделе рассмотрен ряд способов предобработки, решающих ту же задачу.

В данном разделе будет рассмотрено три вида предобработки числовых признаков — модулярный, позиционный и функциональный. Основная идея этих методов предобработки состоит в том, чтобы сделать значимыми малые отличия больших величин. Действительно, пусть для ответа существенно изменение величины признака на единицу при значении признака порядка миллиона. Очевидно, что простейшая предобработка (1) сделает отличие в единицу неразличимым для нейронной сети при абсолютных значениях порядка миллиона.

Все эти виды предобработки обладают одним общим свойством — за счет кодирования входного признака несколькими сигналами они уменьшают сложность задачи (критерий Липшица).

Зададимся некоторым набором положительных чисел y 1, …, y k . Определим сравнение по модулю для действительных чисел следующим образом:

x mod y = x-y·Int ( x/y ), (15)

где Int ( x ) — функция, вычисляющая целую часть величины x путем отбрасывания дробной части. Очевидно, что величина x mod y лежит в интервале (- y, y ).

Кодирование входного признака x при модулярной предобработке вектором Z производится по следующей формуле:

(16)

Таблица 8. Пример сигналов при модулярном вводе

Однако модулярная предобработка обладает одним отрицательным свойством — во всех случаях, когда y i ≠ y r 1, при целом r , разрушается отношение предшествования чисел. В табл. 8 приведен пример векторов. Поэтому, модульная предобработка пригодна при предобработке тех признаков, у которых важна не абсолютная величина, а взаимоотношение этой величины с величинами y 1, …, y k .

Примером такого признака может служить угол между векторами, если в качестве величин y выбрать y i =π/ i .

Функциональная предобработка преследует единственную цель — снижение константы Липшица задачи. В разделе «Предобработка, облегчающая обучение», был приведен пример такой предобработки. Рассмотрим общий случай функциональной предобработки, отображающих входной признак x в k- мерный вектор z . Зададимся набором из k чисел, удовлетворяющих следующим условиям: x min< y 1<���…< y k -1< y k < x max.

Таблица 9. Пример функциональной предобработки числового признака x ∈[0,5], при условии, что сигналы нейронов принадлежат интервалу [-1,1]. В сигмоидной предобработке использована φ( x )= x /(1+| x |), а в шапочной — φ( x )=2/(1+ x ²)-1. Были выбраны четыре точки y i=i .

Пусть φ — функция, определенная на интервале [ x min- y k , x max- y 1], а φ min, φ max— минимальное и максимальное значения функции φ на этом интервале. Тогда i- я координата вектора z вычисляется по следующей формуле:

(17)

Линейная предобработка. В линейной предобработке используется кусочно линейная функция:

(18)

Графики функций z i ( x ) представлены на рис. 2а. Видно, что с увеличением значения признака x ни одна функция не убывает, а их сумма возрастает. В табл. 9 представлены значения этих функций для двух точек — x 1=1.5 и x 2=3.5.

Сигмоидная предобработка. В сигмоидной предобработке может использоваться любая сигмоидная функция. Если в качестве сигмоидной функции использовать функцию S 2, приведенную в разделе «Нейрон»этой главы, то формула (17) примет следующий вид:

Графики функций z i ( x ) представлены на рис. 2б. Видно, что с увеличением значения признака x ни одна функция не убывает, а их сумма возрастает. В табл. 9 представлены значения этих функций для двух точек x 1=1.5 и x 2=3.5.

Шапочная предобработка. Для шапочной предобработки используются любые функции, имеющие график в виде «шапочки». Например, функция φ( x )=1/(1+ x ²).

Графики функций z i ( x ) представлены на рис. 2 в. Видно, что с увеличением значения признака x ни одна из функций z i ( x ) , ни их сумма не ведут себя монотонно. В табл. 9 представлены значения этих функций для двух точек x 1=1.5 и x 2=3.5.

Основная идея позиционной предобработки совпадает с принципом построения позиционных систем счисления. Зададимся положительной величиной y такой, что y k ≥( x min- x max). Сдвинем признак x так, чтобы он принимал только неотрицательные значения. В качестве сигналов сети будем использовать результат простейшей предобработки y- ичных цифр представления сдвинутого признака x . Формулы вычисления цифр приведены ниже:

(19)

где операция сравнения по модулю действительного числа определена в (15). Входные сигналы сети получаются из компонентов вектора z путем простейшей предобработки.

Поскольку на вход нейронной сети обычно подается несколько входных сигналов, каждый из которых обрабатывается своим предобработчиком, то предобработчик должен быть составным. Представим предобработчик в виде совокупности независимых частных предобработчиков. Каждый частный предобработчик обрабатывает одно или несколько тесно связанных входных данных. Как уже отмечалось ранее, предобработчик может иметь один из четырех типов, приведенных в табл. 10. На входе предобработчик получает вектор входных данных (возможно, состоящий из одного элемента), а на выходе выдает вектор входных сигналов сети (так же возможно состоящий из одного элемента).

Таблица 10. Типы предобработчиков

Необходимость передачи предобработчику вектора входных данных и получения от него вектора входных сигналов связана с тем, что существуют предобработчики получающие несколько входных данных и выдающие несколько входных сигналов. Примером такого предобработчика может служить предобработчик, переводящий набор координат планеты из сферической в декартову.