Е. Миркес - Учебное пособие по курсу «Нейроинформатика»

или пока l не окажется равной N– 1. Оценкой является расстояние от точки b до точки

Она равна следующей величине

Производная оценки по выходному сигналу β m равна

Для перехода к производным по исходным выходным сигналам α i необходимо обратить сделанные на первом этапе вычисления оценки преобразования.

3. Двоичный интерпретатор.Оценка для двоичного интерпретатора строится точно также как и для знакового интерпретатора при кодировании номером канала. Пусть правильным ответом является k- ый класс, тогда обозначим через K множество номеров сигналов, которым в двоичном представлении k соответствуют единицы. При уровне надежности оценка задается формулой:

Производная оценки по i- му выходному сигналу равна:

4. Порядковый интерпретатор.Для построения оценки по порядковому интерпретатору необходимо предварительно переставить компоненты вектора a в соответствии с подстановкой, кодирующей правильный ответ. Обозначим полученный в результате вектор через β º. Множество точек, удовлетворяющих условию задачи, описывается системой уравнений , где e — уровень надежности. Обозначим это множество через D. Оценка задается расстоянием от точки b до проекции этой точки на множество D . Опишем процедуру вычисления проекции.

1. Просмотрев координаты точки β º, отметим те номера координат, для которых нарушается неравенство β º i+ e≤β º i+1.

2. Множество отмеченных координат либо состоит из одной последовательности последовательных номеров i , i +1,…, i+l , или из нескольких таких последовательностей. Найдем точку β ¹, которая являлась бы проекцией точки β º на гиперплоскость, определяемую уравнениями β ¹ i + e≤β ¹ i +1, где i пробегает множество индексов отмеченных координат. Пусть множество отмеченных координат распадается на n последовательностей, каждая из которых имеет вид , где m — номер последовательности. Тогда точка β ¹ имеет вид:

3. Точка β ¹ является проекцией, и следовательно, расстояние от β º до β ¹ должно быть минимальным. Это расстояние равно

Для нахождения минимума этой функции необходимо приравнять к нулю ее производные по γ m . Получаем систему уравнений

Решая ее, находим

4. Если точка удовлетворяет неравенствам, приведенным в первом пункте процедуры, то расстояние от нее до точки β º является оценкой. В противном случае, повторяем первый шаг процедуры, используя точку β ¹ вместо β º; Объединяем полученный список отмеченных компонентов со списком, полученным при поиске предыдущей точки; находим точку β ², повторяя все шаги процедуры, начиная со второго.

Отметим, что в ходе процедуры число отмеченных последовательностей соседних индексов не возрастает. Некоторые последовательности могут сливаться, но новые возникать не могут. После нахождения проекции можно записать оценку:

Обозначим через I mm- ую последовательность соседних координат, выделенную при последнем исполнении первого шага процедуры вычисления оценки: I m ={ i m , i m +1,…, i m + l m }. Тогда производную оценки по выходному сигналу β º i можно записать в следующем виде:

Таким образом, построение оценки по интерпретатору сводится к следующей процедуре.

1. Определяем множество допустимых точек, то есть таких точек в пространстве выходных сигналов, которые интерпретатор ответа будет интерпретировать как правильный ответ со стопроцентным уровнем уверенности.

2. Находим проекцию выданной сетью точки на это множество. Проекцией является ближайшая точка из множества.

3. Записываем оценку как расстояние от точки, выданной сетью, до ее проекции на множество допустимых точек. Оценка обучающего множества. Вес примера

В предыдущем разделе был рассмотрен ряд оценок, позволяющих оценить решение сетью конкретного примера. Однако, ситуация, когда сеть хотят обучить решению только одного примера, достаточно редка. Обычно сеть должна научиться решать все примеры обучающего множества. Ряд алгоритмов обучения, которые будут рассматриваться в главе «Учитель», требуют возможности обучать сеть решению всех примеров одновременно и, соответственно, оценивать решение сетью всех примеров обучающего множества. Как уже отмечалось, обучение нейронной сети — это процесс минимизации в пространстве обучаемых параметров функции оценки. Большинство алгоритмов обучения используют способность нейронных сетей быстро вычислять вектор градиента функции оценки по обучаемым параметрам. Обозначим оценку отдельного примера через H i , а оценку всего обучающего множества через H OM . Простейший способ получения H OM из H i — простая сумма. При этом вектор градиента вычисляется очень просто:

Таким образом, используя способность сети вычислять градиент функции оценки решения одного примера, можно получить градиент функции оценки всего обучающего множества.

Обучение по всему обучающему множеству позволяет задействовать дополнительные механизмы ускорения обучения. Большинство этих механизмов будет рассмотрено в главе «Учитель». В этом разделе будет рассмотрен только один из них — использование весов примеров. Использование весов примеров может быть вызвано одной из следующих причин.

Один из примеров плохо обучается.

Число примеров разных классов в обучающем множестве сильно отличаются друг от друга.

Примеры в обучающем множестве имеют различную достоверность.

Рассмотрим первую причину — пример плохо обучается. Под «плохо обучается» будем понимать медленное снижение оценки данного примера по отношению к снижению оценки по обучающему множеству. Для того чтобы ускорить обучение данного примера, ему можно приписать вес, больший, чем у остальных примеров. При этом оценка по обучающему множеству и ее градиент можно записать в следующем виде: где w i — вес i- го примера. Эту функцию оценки будем называть оценкой взвешенных примеров. При этом градиент, вычисленный по оценке решения сетью этого примера, войдет в суммарный градиент с большим весом, и, следовательно, сильнее повлияет на выбор направления обучения. Этот способ применим также и для коррекции проблем, связанных со второй причиной — разное число примеров разных классов. Однако в этом случае увеличиваются веса всем примерам того класса, в котором меньше примеров. Опыт показывает, что использование весов в таких ситуациях позволяет улучшить обобщающие способности сетей.

В случае различной достоверности примеров в обучающем множестве функция взвешенных примеров не применима. Действительно, если известно, что достоверность ответа в k- ом примере в два раза ниже, чем в l- ом, хотелось бы, чтобы обученная сеть выдавала для k- ого примера в два раза меньший уровень уверенности. Этого можно достичь, если при вычислении оценки k- ого примера будет использоваться в два раза меньший уровень надежности. Оценка обучающего множества в этом случае вычисляется по формуле без весов, а достоверность учитывается непосредственно при вычислении оценки по примеру. Такую оценку будем называть оценкой взвешенной достоверности.