Александр Кириченко - Конструирование искусственных нейронных ансамблей (ИНА)

С 2012 года в России началось активное проведение ИТ-исследований в сфере разработки искусственных когнитивных систем, разработана «Стратегическая программа создания Центра прорывных исследований» в области информационных технологий «Искусственные когнитивные системы». Повышение интереса к тематике искусственного интеллекта требует появления достаточного количества публикаций о структуре и возможностях нейросистем, о типах искусственных нейросетей и открываемых ими возможностях автоматизации мыслительных процессов. Для удовлетворения возникающих потребностей необходимы с одной стороны – новые информационные материалы, и с другой стороны – программные средства, которые позволяют без особых усилий и затрат проверить новую информацию на практике, создавать свои нейросетевые системы разных типов, модели нейросетевых устройств и даже узлы нейрокомпьютеров на своём ноутбуке (так называемые «нейропакеты» и «нейроконструкторы»).

Необходимую информацию даёт эта книга, а доступные программные средства можно получить из Интернет [5, 6]. Большинство примеров в книге выполнено на freeware пакете MemBrain [7].

Основными зарубежными проектами создания подобных ИКС являются:

– европейские проекты BBP/HBP,

– американская инициатива BRAIN,

– проект IBM Deep QA«Watson»,

– проект «Siri» корпорации Apple,

– проект нейросетевого искусственного интеллекта и использующих его роботов компании Google,

– японские проекты JST,

– канадский проект «Spaun» и др.

При изучении нейросетевых технологий используются различные программные инструменты. Обычно такими инструментами являются нейропакеты, реже – нейроконструкторы.

Чем нейроконструктор отличается от нейропакета? Они очень похожи. Просто они предназначены для решения разных задач. Нейропакет предназначен для создания нейросети требуемого типа, загрузки в эту нейросеть исходных данных (обучающей, контролирующей и экзаменационной выборок), обучения нейросети, и промышленного решения задач на обученной нейросети.

Нейроконструктор кроме перечисленных задач в отличие от нейропакета предназначен ещё и для создания, исследования, моделирования различных нейросетей – от элементарных до необыкновенно сложных, в пределе – до создания и моделирования различных нейрокомпьютеров. Нейроконструктор является инструментом нейросетевого программирования.

Программный комплекс MemBrain удачно сочетает в себе свойства как нейропакета, так и нейроконструктора. Этот программный комплекс разработан Thomas Jetter в виде свободнораспространяемого (freeware) и размещён по адресу http://www.membrain-nn.de/.

Описание программного комплекса, как нейропакета приведено в монографии [Универсальный нейропакет] и охватывает различные стороны процесса создания нейросетевой модели, например, определяет 5 функциональных узлов для создания нейросети требуемого типа, загрузки в эту нейросеть исходных данных, обучения нейросети, и промышленного решения задач на обученной нейросети:

1. Нейроны и действия с ними (Neurons in MemBrain):

– Группировка нейронов, их выравнивание (Aligning Neurons),

– Экстренный выбор нейронов (Neuron Extra Selection),

– Быстрая Активация (Quick Activation),

– Автоматическое присваивание имён нейронам (Neuron Auto Naming))

– Основные виды нейронов:

– перемещаемые нейроны (Moving Neurons)

– нейроны задержки (Adding Delay Neurons),

– дифференциальные нейроны (Add Differential Neuron),

– интегрирующие нейроны (Adding Integrator Neurons),

– нейроны контекста

– функции активации нейронов (Activation Functions)

– логистический закон (LOGISTIC)

– линейный закон (IDENTICAL)

– линейный в интервале от 0 до 1 (IDENTICAL 0 TO 1)

– гипертангенс (TAN HYP)

– бинарный, или единичная функция Хэвисайда (BINARY)

– минимальное Евклидово расстояние (MINIMUM EUCLIDEAN DISTANCE)

2. Соединение нейронов в нейросети (Полная связь, Случайная связь, связь «один к одному» (1:1), связь слоёв нейросети на основе Матрицы).

3. Моделирование связей и особенности их эксплуатации.

В MemBrain cвязи между нейронами выполняются с помощью ссылок. Ссылки имеют два основных свойства, которые определяют их функциональность (вес и логическую длину).

Вес ссылки определяет, какая величина сигнала передается на вход целевого (target) нейрона. Для этого сигнал умножается на вес ссылки. Это значение появится на входе целевого нейрона на другом конце связи. Вес ссылки не ограничен определенным диапазоном и может быть даже отрицательным.

Логическая длина характеризует продолжительность прохождения ссылки по каналу (от одного нейрона к другому). Ссылки визуализируются в MemBrain с помощью «пиков или шипов активации» (Activation Spikes), которые появляются во время каждого «шага моделирования» () на схеме нейросети при активированной опции <���Вид> <���Показать пики активации в ссылках>.

Логическая длина ссылки определяет, сколько шагов вычисления (Think Steps) требуется, чтобы распространить сигнал от входного конца ссылки к ее выходному концу (т.е. между двумя соседними нейронами). Логическую длину (Length) можно определить в диалоге «Select net characteristics to be exported» из основного меню пакета Neural Networks -> Net Analysis -> Exporting a Net.

Для примера: канал с (логической) длиной 1 (минимально допустимое значение) распространяет сигналы так, что задержка не возникает.

4. Основные характеристики нейронов – диапазоны активаций нейронов, которые обычно имеют величину, отличную от -1 до 1 или от 0 до 1, обычно устанавливаются при настройке функций активации нейронов. При нормализации нейронов они могут быть изменены (MemBrain_Help. pdf -> Normalize I/O Data).

5. Управление данными в MemBrain (Managing I/O Data)

Для управления данными в MemBrain служит Редактор уроков или разделов (The Lesson Editor).

С Редактором Разделов можно выполнить следующие функции:

– Добавить-Удалить раздел;

– Выбрать активный раздел/образец;

– Редактировать имя раздела/образца;

– Добавить комментарий;

– Отредактировать данные;

– Синхронизировать раздел с сетью;

– Исполнить текущий/следующий входной образец или весь раздел;

– Сохранить раздел в виде CSV файла;

– Загрузить раздел из CSV файла;

– Разделить текущий раздел;

– И др.

В отличие от нейропакетов, нейроконструкторы могут содержать дополнительные разделы.

В MemBrain имеются такие разделы, которые могут рассматриваться как дополнительные:

1. Работа с нейронными сетями (Neural Networks):

2. Экспорт нейросети (Exporting a Net)

3. Объединение обученных нейросетей в единую конструкцию

4. Выбор наилучшей нейросети

5. Автоматизация управления программным пакетом

6. Генерация C-кода текущей нейронной сети

7. Организация динамической библиотеки

8. Соединение различных нейросетей с использованием TCP