Е. Миркес - Учебное пособие по курсу «Нейроинформатика»
- Название:Учебное пособие по курсу «Нейроинформатика»
- Автор:
- Жанр:
- Издательство:КРАСНОЯРСКИЙ ГОСУДАРСТВЕННЫЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ
- Год:2002
- Город:Красноярск
- ISBN:нет данных
- Рейтинг:
- Избранное:Добавить в избранное
-
Отзывы:
-
Ваша оценка:
Е. Миркес - Учебное пособие по курсу «Нейроинформатика» краткое содержание
Данное учебное пособие подготовлено на основе курса лекций по дисциплине «Нейроинформатика», читавшегося с 1994 года на факультете Информатики и вычислительной техники Красноярского государственного технического университета.
Несколько слов о структуре пособия. Далее во введении приведены учебный план по данному курсу, задания на лабораторные работы. Следующие главы содержат одну или несколько лекций. Материал, приведенный в главах, несколько шире того, что обычно дается на лекциях. В приложения вынесены описания программ, используемых в данном курсе (Clab и Нейроучебник), и проект стандарта нейрокомпьютера, включающий в себя два уровня — уровень запросов компонентов универсального нейрокомпьютера и уровень языков описания отдельных компонентов нейрокомпьютера.
Данное пособие является электронным и включает в себя программы, необходимые для выполнения лабораторных работ.
Учебное пособие по курсу «Нейроинформатика» - читать онлайн бесплатно полную версию (весь текст целиком)
Интервал:
Закладка:
2. Если оценка не равна 0, то повторяем всю процедуру сначала.
Организация обученияВсе программы, кроме программы Hopfield.
При построении метода обученияВы пользуетесь следующей схемой:
Использовать MParTan Да или Нет
↓
Процедура спуска
↓
Организация обучения Усредненная Позадачная Задаче номер
↓
Вычисление направления Случайный спуск Градиентный спуск
↓
Метод оценивания Метод наименьших квадратов Расстояние до множества
↓
Нейронная сеть
Под организацией обучения будем понимать способ порождения обучающего множествадля одного шага обучения. Исторически самым первым был способ позадачного обучения. Если быть более точным — то попримерного. Процедура попримерного обучения состоит из следующих шагов:
1. Подаем на вход сети задачу.
2. Получаем ответ.
3. Вычисляем оценку.
Производим корректировку сети. (Процедура спуска)
Таким образом, локальное обучающее множество для процедур MParTan, Процедура спускаи Вычисление направлениясостоит только из одного примера.
Алгоритмы получения локального обучающего множества для различных способов организации обучения:
| Попримерный | Для каждого шага обучения новый пример. |
| Позадачный | Для первого шага обучения — все примеры первой задачи, для второго второй и т. д. |
| Задаче номер N | На всех шагах обучения локальное обучающее множество состоит из всех примеров N-ой задачи. |
| Усредненный | Локальное обучающее множество совпадает с полным, то есть включает в себя все примеры всех пяти задач обучающего множества. |
Все программы, кроме программы Hopfield.
При построении метода обученияВы пользуетесь следующей схемой:
Использовать MParTan Да или Нет
↓
Процедура спуска
↓
Организация обучения Усредненная Позадачная Задаче номер
↓
Вычисление направления Случайный спуск Градиентный спуск
↓
Метод оценивания Метод наименьших квадратов Расстояние до множества
↓
Нейронная сеть
Данная программа предусматривает два способа вычисления направления спуска. Первый способ известен как Случайный поиск, а второй как метод наискорейшего спуска. В первом случае в качестве направления спуска используется случайный вектор, а во втором — вектор антиградиента функции оценки.
Уровень УДАРАЭтот пункт позволяет задать параметр Случайного изменения карты.Уровень УДАРА должен лежать в пределах от 0.001 до 1.
Процедура спускаВсе программы, кроме программы Hopfield.
При построении метода обученияВы пользуетесь следующей схемой:
Использовать MParTan Да или Нет
↓
Процедура спуска
↓
Организация обучения Усредненная Позадачная Задаче номер
↓
Вычисление направления Случайный спуск Градиентный спуск
↓
Метод оценивания Метод наименьших квадратов Расстояние до множества
↓
Нейронная сеть
Входными параметрами процедуры спуска являются
1. Начальная карта.
2. Направление спуска.
3. Локальное обучающее множество.
4. Процедура вычисления оценки.
Алгоритм процедуры спуска:
1. Вычисляем оценку по локальному обучающему множеству (Е1).
2. Делаем пробный шаг, добавляя к начальной карте вектор направления спуска умноженный на шаг S.
3. Вычисляем оценку по локальному обучающему множеству (Е2).
4. Если Е2E1. Карта, которой соответствует оценка E1,и является результатом работы процедуры.
5. Если после первого выполнения шага 3 оказалось, что E2>E1, то уменьшаем шаг S, полагаем E1=E2 и повторяем шаги алгоритма 1–3 и 5 до тех пор, пока не станет E2
Метод оцениванияВсе программы, кроме программыHopfield.
При построении метода обученияВы пользуетесь следующей схемой:
Использовать MParTan Да или Нет
↓
Процедура спуска
↓
Организация обучения Усредненная Позадачная Задаче номер
↓
Вычисление направления Случайный спуск Градиентный спуск
↓
Метод оценивания Метод наименьших квадратов Расстояние до множества
↓
Нейронная сеть
В данной программе принят способ кодирования ответа номером канала: номер того из пяти ответных нейронов, который выдал на последнем такте функционирования наибольший сигнал, задает номер класса, к которому сеть отнесла предъявленный образ. Оценка, таким образом, может быть вычислена только для задачи, ответ которой известен.
Данная программа предусматривает два различных способа оценивания решения. Различие в способах оценки связано с различием требований, накладываемых на обученную сеть. Пусть пример относится к N-ой задаче. Тогда требования можно записать так:
Метод наименьших квадратов ( Программа Pade )
N-ый нейрон должен выдать на выходе 1.
Остальные нейроны должны давать на выходе 0 (как можно более близкое к 0 число).
Метод наименьших квадратов ( Программы Sigmoid и Sinus ).
N-ый нейрон должен выдать на выходе 1 (поскольку сигнал 1 для нейрона невозможен (см. Нейрон),то число как можно более близкое к 1).
Остальные нейроны должны давать на выходе –1 (как можно более близкое к –1 число).
Расстояние до множества
В этом случае требование только одно — разница между выходным сигналом N-го нейрона и выходными сигналами остальных нейронов должна быть не меньше уровня надежности.
Таким образом, для Метода наименьших квадратов оценка примера N-ой задачи равна
H = (Сумма по I<>N от 1 до 5 (A[I]+1)^2)) + (A[N]-1)^2
и является обычным Евклидовым расстоянием от правильного ответа до ответа, выданного сетью.
Как следует из названия второго метода оценивания, вычисляемая по этому способу оценка равна расстоянию от выданного сетью ответа до множества правильных ответов. Множество правильных ответов для примера N-ой задачи задается неравенствами
A[N]-R > A[I], для всех I<>N.
Предобработка входных данныхВсе программы, кроме программы Hopfield.
Входные данные задачи распознавания черно-белых изображений представляют собой последовательность 0 и 1 (есть точка — 1, нет — 0). Такие данные не всегда оптимальны для решения задачи распознавания. В связи с этим возникает задача предобработки данных. Возможны различные виды предобработки — преобразования Фурье, построение различных инвариантов и т. п. В этой программе предусмотрено несколько видов предобработки:
Чистый образ
Сдвиговый автокоррелятор
Автокоррелятор сдвиг+отражение
Автокоррелятор сдвиг+вращение
Автокоррелятор сдвиг+вращение+отражение
В результате предобработки получается не только более информативный вектор входных сигналов, но иногда и вектор меньшей размерности. Кроме того, вектор входных сигналов, полученный предобработкой типа "сдвиговый автокоррелятор" является инвариантным к сдвигу.
Читать дальшеИнтервал:
Закладка:
