Е. Миркес - Учебное пособие по курсу «Нейроинформатика»

Подводя итоги, можно сказать, что все сети ассоциативной памяти типа (2) можно получить, комбинируя следующие преобразования:

1. Произвольное преобразование. Например, переход к автокорреляторам, позволяющий объединять в один выходной образ все образы, отличающиеся только положением в рамке.

2. Тензорное преобразование, позволяющее сильно увеличить способность сети запоминать и точно воспроизводить эталоны.

3. Переход к ортогональному проектору, снимающий зависимость надежности работы сети от степени коррелированности образов.

Наиболее сложная сеть будет иметь вид:

(12)

где r ij -1— элементы матрицы, обратной матрице Грама системы векторов { F ( x i )} ⊗k, F(x) — произвольное преобразование.

Возможно применение и других методов предобработки. Некоторые из них рассмотрены в работах [68, 91, 278]

Работа ортогональных тензорных сетей при наличии помех сравнивалась с возможностями линейных кодов, исправляющих ошибки. Линейным кодом, исправляющим k ошибок, называется линейное подпространство в n- мерном пространстве над GF 2, все вектора которого удалены друг от друга не менее чем на 2 k +1. Линейный код называется совершенным, если для любого вектора n- мерного пространства существует кодовый вектор, удаленный от данного не более, чем на k . Тензорной сети в качестве эталонов подавались все кодовые векторы избранного для сравнения кода. Численные эксперименты с совершенными кодами показали, что тензорная сеть минимально необходимой валентности правильно декодирует все векторы. Для несовершенных кодов картина оказалась хуже — среди устойчивых образов тензорной сети появились «химеры» — векторы, не принадлежащие множеству эталонов.

Таблица 3. Результаты численного эксперимента. МР — минимальное расстояние между эталонами, ЧЭ — число эталонов

В случае n= 10, k =1 (см. табл. 3 и 4, строка 1) при валентностях 3 и 5 тензорная сеть работала как единичный оператор — все входные вектора передавались на выход сети без изменений. Однако уже при валентности 7 число химер резко сократилось и сеть правильно декодировала более 60% сигналов. При этом были правильно декодированы все векторы, удаленные от ближайшего эталона на расстояние 2, а часть векторов, удаленных от ближайшего эталона на расстояние 1, остались химерами. В случае n= 10, k =2 (см. табл. 3 и 4, строки 3, 4, 5) наблюдалось уменьшение числа химер с ростом валентности, однако часть химер, удаленных от ближайшего эталона на расстояние 2 сохранялась. Сеть правильно декодировала более 50% сигналов. Таким образом при малых размерностях и кодах, далеких от совершенных, тензорная сеть работает довольно плохо. Однако, уже при n =15, k =3 и валентности, большей 3 (см. табл. 3 и 4, строки 6, 7), сеть правильно декодировала все сигналы с тремя ошибками. В большинстве экспериментов число эталонов было больше числа нейронов.

Таблица 4. Результаты численного эксперимента

Подводя итог можно сказать, что качество работы сети возрастает с ростом размерности пространства и валентности и по эффективности устранения ошибок сеть приближается к коду, гарантированно исправляющему ошибки.

В данном разделе приведено доказательство теоремы о числе линейно независимых образов в пространстве k- х тензорных степеней эталонов.

При построении тензорных сетей используются тензоры валентности k следующего вида:

(13)

где a j — n- мерные вектора над полем действительных чисел.

Если все вектора a i=a , то будем говорить о k- й тензорной степени вектора a , и использовать обозначение a ⊗k. Для дальнейшего важны следующие элементарные свойства тензоров вида (13).

1. Пусть и , тогда скалярное произведение этих векторов может быть вычислено по формуле

(14)

Доказательство этого свойства следует непосредственно из свойств тензоров общего вида.

2. Если в условиях свойства 1 вектора являются тензорными степенями, то скалярное произведение имеет вид:

(15)

Доказательство непосредственно вытекает из свойства 1.

3. Если вектора a и b ортогональны, то есть ( a , b ) = 0, то и их тензорные степени любой положительной валентности ортогональны.

Доказательство вытекает из свойства 2.

4. Если вектора a и b коллинеарны, то есть b = λa , то a ⊗k= λ ka ⊗k.

Следствие.Если множество векторов содержит хотя бы одну пару противоположно направленных векторов, то система векторов будет линейно зависимой при любой валентности k .

5. Применение к множеству векторов невырожденного линейного преобразования Bв пространстве R nэквивалентно применению к множеству векторов линейного невырожденного преобразования, индуцированного преобразованием B, в пространстве .

Сюръективным мультииндексом α( L) над конечным множеством Lназовем k- мерный вектор, обладающий следующими свойствами:

1. для любого i Lсуществует j ∈{1, …, k } такое, что α j=i ;

2. для любого j ∈{1, …, k } существует i ∈ Lтакое, что α j=i .