Александр Кириченко - Основы теории искусственных нейронных сетей

© Александр Аполлонович Кириченко, 2020

ISBN 978-5-4498-2598-8

Создано в интеллектуальной издательской системе Ridero

Искусственные нейронные сети – один из разделов науки Искусственный интеллект. К этой науке приковано пристальное внимание с 1980 года, когда Япония объявила о создании вычислительных систем 5 поколения. Предполагалось, что создаваемые вычислительные системы кроме обычных компьютеров будут содержать машины логического вывода (решатель, планировщик или логический блок), базу знаний, систему общения.

В основе всех существующих компьютеров с 1940-х гг. лежала архитектура с разделенным процессингом и памятью. Ее принципиальным ограничением являлась неспособность к самостоятельному ассоциированию и синтезу нового знания.

Сегодня на рынке представлены сотни нейральных симуляторов самого разного уровня исполнения и возможностей. В сети представлено множество их компаративных обзоров. Большинство из них поддерживает лишь ограниченное число возможных для построения стандартных архитектур классических нейросетей и методов при очень небольшом числе нейронов, которые можно включить в сеть.

В начале 2000 годов начался переход к новой архитектурной парадигме – ассоциативным искусственным когнитивным системам, способным к самообучению и синтезу нового знания путем ассоциативной рекомбинации полученной информации .

Под «искусственными когнитивными системами» понимаются технические системы, способные к

· познанию, распознаванию образов и самостоятельному усвоению новых знаний из различных источников,

· продолжительному обучению, пониманию контекстуального значения и субъективной оценке получаемой информации,

· синтезу нового знания,

· мышлению и поведению для успешного решения существующих проблем в условиях реального мира.

Основными зарубежными проектами создания подобных ИКС являются

· европейские проекты BBP/HBP,

· американская инициатива BRAIN,

· проект IBM DeepQA «Watson»,

· проект «Siri» корпорации Apple,

· проект нейросетевого искусственного интеллекта и использующих его роботов компании Google,

· японские проекты JST,

· канадский проект «Spaun» и др.

С 2012 года в России началось активное проведение ИТ-исследований в сфере разработки искусственных когнитивных систем, разработана Стратегическая программа создания Центра прорывных исследований в области информационных технологий «Искусственные когнитивные системы».

Повышение интереса к тематике искусственного интеллекта требует появления достаточного количества публикаций о структуре и возможностях нейросистем, о типах искусственных нейросетей и открываемых ими возможностях автоматизации мыслительных процессов. Для удовлетворения возникающих потребностей необходимы с одной стороны – новые информационные материалы, и с другой стороны – программные средства, которые позволяют без особых затрат проверить новую информацию на практике, создавать свои нейросетевые системы разных типов, модели нейросетевых устройств и даже узлов нейрокомпьютеров на своём ноутбуке. Необходимую информацию даёт эта книга, а доступные программные средства можно получить из Интернет [3]. Большинство примеров в книге выполнено на freeware пакете MemBrain.

Искусственные нейросети являются электронными моделями нейронной структуры мозга.

Продолжительный период эволюции придал мозгу человека много качеств, отсутствующих в современных компьютерах с архитектурой фон Неймана. К ним относятся:

· способность к обучению и обобщению

· ассоциативность и адаптивность

· толерантность к ошибкам

· параллельность работы

Множество проблем, не поддающиеся решению традиционными компьютерами, могут быть эффективно решены с помощью нейросетей.

Достижения в области нейрофизиологии дают начальное понимание механизма естественного мышления, в котором хранение информации происходит в виде сложных образов. Процессы хранения информации в виде образов, использования образов при решении поставленной проблемы определяют новую область в обработке данных, которая, не используя традиционного программирования, обеспечивает создание нейронных сетей и их обучение. В лексиконе разработчиков и пользователей нейросетей присутствуют слова, отличные от традиционной обработки данных, в частности, «вести себя», «реагировать», «самоорганизовывать», «обучать», «обобщать» и «забывать».

Изучение человеческого мозга началось очень давно.

В 1791 году итальянский врач, анатом и физиолог, один из основателей электрофизиологии Луиджи Гальвани (1737—1798) издал «Трактат об электрических силах при мышечном движении», основанный на его выводах о наличии в живых организмах гальванического электричества [1].

О Луиджи Гальвани известно:

Дата рождения‎: ‎9 сентября 1737

Дата смерти‎: ‎4 декабря 1798 (61 год)

Место рождения‎: ‎Италия, Болонья‎, Папская область

Место работы‎: ‎Болонский университет

В 1759 г. он окончил Болонский университет

В 1763 году синьор Гальвани становится профессором.

В 1791 г. – Гальвани заметил сокращение мышц препарированной лягушки при прикосновении нервных окончаний к металлическим стержням (медному и цинковому). С этим было связано начало активного изучения нервной системы живых организмов.

С появлением современной электроники начались попытки аппаратного моделирования нейрофизиологических процессов вплоть до самого сложного – мышления. Самым значительным событием стало появление электронных вычислительных машин.

Первым цифровым вычислительным устройством, а также первой электронной вычислительной машиной стал компьютер ABC (Atanasoff and Berry Computer) [2]. Задуманный в 1939 году, компьютер создавался в целях решения систем линейных уравнений. В 1942 году он был успешно собран и протестирован. Дальнейшая разработка была приостановлена из-за того, что Атанасов покинул Университет штата Айова, будучи призванным на военную службу в связи со вступлением США во Вторую мировую войну.

Для ABC были характерны использование электронных ламп, двоичной системы счисления, наличие триггерной памяти и набираемой на коммутационной доске компьютерной программы.

Работа Джона Винсента Атанасова и Клиффорда Берри над вычислительной машиной долгое время не была широко известна, пока в 1960-х годах она не всплыла в ходе конфликта по поводу того, кто являлся первым изобретателем электронного компьютера. Первоначально считалось, что первым компьютером являлся ENIAC, однако в 1973 году Федеральный районный суд США постановил отозвать патент ENIAC и заключил, что ABC является первым «компьютером», изобретателем которого являлся John Vincent Atanasoff, американский физик, математик и инженер-электрик болгарского происхождения: