Component design of neural networks to process knowledge bases

Нейронные сети являются эффективным средством решения сложных, плохо формализуемых задач и широко используются на практике. Накоплено большое количество различных алгоритмов обучения и архитектур нейронных сетей (НС), приемов использования НС для решения прикладных задач ^[1].

Но для решения задач с использованием нейросетевых методов требуется установить технологию использования соответствующих операций, последовательно выполняя которые пользователь получит требуемые результаты. Исследователи, занимающиеся проблемами нейроинформатики, определяют свои частные методы, описывают различные подходы и предлагаются новые интерпретации.

Тем не менее, до сих пор технология проектирования и использования нейросетевых методов слабо систематизированы. Существуют отдельные устоявшиеся рекомендации по работе с НС, которые носят в основном слишком частный или наоборот общий характер. Кроме того, недостаточно внимания уделяется проблеме совместимости и систематизации данных методов, каким образом они соотносятся с уже существующими, каким образом проводить их интеграцию с другими методами представления и обработки информации в гибридных системах^[2]. Не существует единого взгляда на данный процесс. В обобщенном виде работа с НС осуществляется в следующей последовательности ^[1]:

1. Выбор архитектуры НС.
2. Инициализация структуры.
3. Обучение НС.
4. Использование обученной НС.

Приведенный упрощенный механизм разработки НС не учитывает целые группы операций, не описывает методику интеграцию с другими методами решения задач, а также с базой знаний, которая является основой любой интеллектуальной системы.

Одним из возможных путей решения данных проблем может быть разработка методики проектирования и использования НС на основе унифицированной модели НС ^[3] и компонентного подхода.

В основу библиотеки совместимых НС-компонентов положены следующие принципы:

• использование унифицированной модели НС;
• отношение к НС, как к нетривиальному методу решения задачи обработки информации;
• простота средств для работы с НС;
• компонентное проектирование и многократное использование.

Рассмотрим подробнее каждый из них.

Унифицированная модель НС использует семантическую модель представления и обработки информации, основу которой составляет унифицированное кодирование информации с помощью SC-кода ^[4]. Это позволяет сократить срок разработки НС, решить задачу интеграции НС с другими методами обработки информации при создании интеллектуальных систем.

В соответствии со вторым принципом, НС представляет собой метод решения задачи, который реализует разные стратегии и тактики, направленные на поиск решения задачи. Поэтому НС можно трактовать как специализированную модель решения задачи и, тогда НС можно рассматривать как интеллектуальную систему, которая включает базу знаний НС и многоагентную систему^[5] (sc-машину), состоящую из семантической памяти (sc-памятью) и коллектива агентов (sc-операций).

Ряд нейросетевых библиотек предлагают пользователю широчайшие возможности по настройке разрабатываемых НС. Однако практика показывает, что широкая функциональность часто не востребована - есть ряд типовых архитектур и методов обучения НС, которые нельзя существенно улучшить тонкой настройкой. Кроме того, даже в том случае, если без тонкой настройки не обойтись, то использование этого механизма часто может поставить в тупик конечного пользователя. Отсюда вывод - хороший нейросетевой пакет (биюлиотека) не должен требовать сложной настройки. В соответствии этим принципом, в рамках библиотеки совместимых НС-компонент все компоненты четко классифицируются и детально специфицируются, что позволяет пользователю сосредоточиться на действительно важных вопросах при разработке интеллектуальных систем, сократить сроки разработки и снизить требования к квалификации конечного пользователя.

На сегодняшний день библиотека НС-компонент имеет следующую структуру:

• Библиотека готовых НС-компонентов:
• НС-компоненты с прямыми связями (персептрон Розенбланта),
• НС-компоненты с обратными связями (дискретная модель Хопфилда, двухнаправленная НС);
• НС-компоненты с самоорганизацией (НС Кохонена, НС ART),
• НС-компоненты гибриды и другие.
• Библиотека базовых НС-компонентов:
• топологические компоненты (афферентные нейроны, эфферентные нейроны, ассоциативные нейроны),
• активационные компоненты (пороговая функция, сигмоидальная функция, гиперболический тангенс) и другие.
• Библиотека операций:
• операции с НС-компонентами (поиск компонента по спецификации, добавление нового компонента, удаление компонента, сравнение компонентов),
• операции-конструкторы (конструктор афферентных нейронов (рецепторов), конструктор эфферентных нейронов (эффекторов), конструкторы ассоциатиных нейронов (промежуточных), конструктор слабосвязанной архитектуры, конструктор полносвязаной архитектуры),
• операции преобразований (операция масштабирования, операция предподготовки входных/выходных данных, операции начальной инициализации),
• операции настройки/обучения НС-компонентов (обучение по правилу Хебба, обучение по правилу Хопфилда, обучение по дельта правилу, обучение методом соревнования, обучение по правилу градиентного спуска, обучение с использование обратного распостранения ошибки),
• операции сборки и использования НС-компонент,
• операции “сборки мусора” (удаление временных конструкций) и другие.

Спецификация готовых НС-компонентов в общем случае состоит из следующих параметров:

• название НС-компонента;
• используемые базовые НС-компоненты
  • типы базовых НС-компонент и др.;
• используемые операции
  • типы операций и др.;
• вид вопроса/ответа (вход/выход);
• область применения или классы решаемых задач;
• автор;
• история версий;
• статистика использования компонента.

Спецификация базовых НС-компонентов:

• название базового НС-компонента;
• тип базового НС-компонента;
• правила использования
  • типы базовых НС-компонент, с которыми может использоваться;
  • типы операций, с которыми может использоваться;
• автор;
• история версий;
• статистика использования компонента.

Методика компонентного проектирования НС базируется на использовании библиотеки совместимых НС-компонент и включает следующие этапы:

• Анализ постановки задачи. Обобщение и формализация постановки задачи (выбор класса решаемой задачи, выделение входных данных и т.д.).
• Поиск готовой НС в разделе библиотеки готовых НС-компонент согласно формализованной постановке задачи с помощью операция поиска компонента по спецификации и операции сравнения компонентов из раздела библиотеки операций. Если не найден НС-компонент, то переход к следующему этапу.
• Конструирование. Выбор топологических и активационных компонентов из раздела библиотеки базовых НС-компонентов. Выбор операций-конструкторов из раздела библиотеки операций.
• Инициализация. Загрузка входных данных. Выбор операции предобразования из раздела библиотеки операций.
• Обучение. Выбор операций настройки/обучения из раздела библиотеки операций.
• Сборка и использование. Выбор и применение операций сборки выбранных НС-компонент из раздела библиотеки операций и интеграция готового НС-компонента для решения задачи.
• Составление спецификации для спроектированной НС и размещение в соответствующем разделе библиотеки готовых НС-компонент с помощью операции добавления нового НС-компонента из раздела библиотеки операций.

В описаном подходе к проектированию НС для обработки баз знаний за основу взята обобщенная методология работы с НС, дополненная унифицированной моделью представления НС и принцпом компонентности.

Использование предлагаемой методики компонентного проектирования НС позволит облегчить трудозатраты при проектировании и разработке НС, снизить требования к квалификации разработчика (конечного пользователя), а также решить задачу интеграции НС с другими методами представления и обработки информации при разработке интеллектуальных систем.

Результаты, описанные в статье, апробируются в рамках открытого проекта OSTIS ^[6].