Search of Logical Regularities in the Data Using Sigma-Pi Neural Networks

Lyutikova Larisa Adol'fovna PhD in Physics and Mathematics Head of department, Institute of Applied Mathematics and Automation 360000, Russia, respublika Kabardino-Balkariya, g. Nal'chik, ul. Shortanova, 89a lylarisa@yandex.ru Other publications by this author

Shmatova Elena Vital'evna graduate student, Department of Intellectualization of Information and Control Systems, Institute of Applied Mathematics and Automation 360000, Russia, Kabardino-Balkariya, g. Nal'chik, ul. Shortanova, 89a lenavsh@yandex.ru Other publications by this author

Введение

Задачи, связанные с классификацией и идентификацией предметов, явлений и сигналов, характеризующихся конечным набором некоторых свойств и признаков, возникают в таких отраслях как робототехника, информационный поиск, мониторинг и анализ визуальных данных, исследования искусственного интеллекта. Существует ряд методов для решения данных задач, каждый из которых обладает как своими преимуществами, так и своими недостатками ^[1].

Комбинированный подход применяется, когда требуется скорректировать работу нескольких различных алгоритмов, каждый из которых безошибочно классифицирует лишь часть обучающих объектов. Цель коррекции — сделать так, чтобы ошибки одних алгоритмов были скомпенсированы другими и качество результирующего алгоритма оказалось лучше, чем каждого из базовых алгоритмов в отдельности ^[2-4]. На практике существуют различные подходы к построению комбинированных корректирующих алгоритмов, сочетание которых дает практически значимые результаты^[4-9].

В данной работе рассматривается подход, основанный на логическом анализе данных, используемый для коррекции работы SP-нейронной сети.

Можно предположить, что сигма-пи нейронная сеть содержит определенные логические правила в весовых коэффициентах, однако эти правила не являются явными. Для осуществления контрольных и корректирующих функций работы сигма-пи нейрона предлагается использование метода, позволяющего по весам восстановить обучающую выборку, провести ее логический анализ, построить базу знаний минимизировать ее, и в случаи ошибочной работы сигма-пи нейрона скорректировать ответ относительно построенных правил. В статье рассматривается метод обнаружения в структуре сигма-пи нейрона ранее не известных, практически полезных, доступных интерпретации знаний, необходимых для принятия решений.

Постановка задачи

Описание, заданного объекта представляет собой -мерный вектор, где - число признаков, используемых для характеристики объекта, причем -я координата этого вектора равна значению -го признака, . В описании объекта допустимо отсутствие информации о значении того или иного признака.

Формальная постановка задачи.

Пусть , где –множество признаков. – множество объектов, каждый объект характеризуется соответствующим набором признаков . Или , где , – обрабатываемые входные данные – выходные данные:

Вид функции не задан.

Пусть SP-нейрон представленный следующей структурой

,

где -множество весов данного -нейрона, распознающего элементов заданной предметной областисформированной соответствующим набором признаков . И пусть существует набор признаковтакой что ответSP-нейрона на данном наборе некорректен.

Будем говорить, что работа сигма-пи нейрона некорректна, если

1) он не опознал соответствующий запросу элемент,т.е.

;

2) он опознал объект, не принадлежащий данной предметной области, т.е.

3) при запросе найден элемент, принадлежащий предметной области,но в обучающей выборке существует элемент с большим количеством совпадающих признаков, т.е. и существует с соответствующем вектором признаков такое, что

,

где - вектор признаков , - количество несовпадающих признаков.

Необходимо построить функцию, которая сможет подобратьпри ошибке работы сигма-пи нейрона, наиболее близкий элемент или класс элементов из обучающей выборке по заданным признакам:

Процедура обучения сигма пи нейрона.

Простой алгоритм обучения, позволяющий обучить сигма пи нейрон за один проход,был первоначально предложен Тимофеевым А.В. ^[13].

1) ,

2) На -ом шаге , где Весвычисляется по формуле:

где - произвольное значение, такое что .Например, если - пороговая функция, то можно положить или.

После шагов искомый логико-арифметический-нейрон будет построен.

ПРИМЕР. Пусть задана следующая предметная область:

Очевидно, что в результате обучения по данным таблицы SP-нейрон будет иметь вид:

Введем запрос ,. Действительно объект под номером «4» совпадает с запросом в двух точках, но в двух точках с запросом совпадает и объект под номером 128, причем этот объект выделяется во всей выборки значением переменной . Корректировку подобных результатов работы -нейрона можно провести при помощи логического анализа данных.

Логические методы исследования данных

В данном разделе рассматривается логические методы решения задачи распознавания. Предлагается метод построения логического классификатора, рассматриваются его свойства^[14,15].

Данные, с которыми приходится иметь дела при решении задач распознавания, как известно, являются неполными, неточными, неоднозначными. Однако получаемые решения должны соответствовать закономерностям явно и неявно присутствующим в рассматриваемой предметной области. Логические методы могут достаточно хорошо проанализировать данные, выделить существенные и несущественные признаки, выявить минимальный набор правил необходимый для того, чтобы полностью восстановить исходные закономерности.

Определение. Будем говорить, что построенная система решающих правил является полной, если она обеспечивает вывод всех возможных решений в рассматриваемой области.

Определение. Система правил, в которойна наборе признаков, где – пространство признаков, невозможно получить выводы: и называется непротиворечивой.

Определение. Классом будем называть группу объектов, выделенных по определенному признаку (группе признаков). Каждый объект может быть представителем одного или нескольких классов, каждый класс определятся набором однотипных признаков.

Правило продукции позволяет выразительно представить зависимости между объектом и его признаками.

где предикат принимает значение истина, т.е. в случае если и, если . Или в виде:

Решающей функций назовем конъюнкцией всех решающих правил:

или (1)

Функцию (1) можно проинтерпретировать следующим образом:

Если обучающую выборку, состоящуюиз элементов описать булевой функцией , где

,

то данная функция принимает значения «0» на наборах и«1» на всех остальных на наборах, т.е. она допускает любые отношения между признаками и объектами, кроме отрицания объекта на множестве характеризующих этот объект признаках в обучающей выборке.

Функция (1) выражает зависимость между характеристиками объекта и самим объектом, находит все возможные классы в заданной области, вплоть до классов объектов объединенных по единственному признаку, допускает включение новых правил продукции(модифицируема), при вводе значение любого объекта, из исследуемой области определяет этот объект. Если вводимые данные точно не определены в области, по которой была построена функция, то функция определяет наиболее подходящий объект или классы объектов, идентифицируемые по части входных данных.

Все свойства функции (1) подробно рассмотрены в работах ^[16].

Поскольку функция - это дизъюнкция конъюнкций разной длины переменныхона может быть подвергнута сокращению.

Выделение правил по весам сигма пи нейрона.

В данной работе рассматривается -нейронная сеть, результатом обучения которой будет являться полином вида

где - множество весов данного -нейрона.

Обучающая выборка по которой проводилась настройка весов вообще говоря может быть неизвестна. Требуется восстановить обучающую выборку, обнаружить логические закономерности и использовать их для корректировки результата работы исходного -нейрона.

Восстановление обучающей выборки по полиному- по сути процедура обратная обучению.

На нижним уровне находятся переменные, . Все коэффициенты полинома (веса -нейрона) разбиваются на уровни в зависимости от количества переменных входящих вместе с ним в слагаемое. Т. е первый слой веса с наименьшее числом переменных, на втором соответственной на одну больше и т.д. в верхнем слое находится все коэффициенты с наибольшим числом переменных. Элемент каждого верхнего уровня связан с соответствующими элементами нижнего слоя по общим переменным.

Веса первого слоя соответственно и есть объекты на каждом следующем слое , где индексы соответствующих объектов переменные которых входят в качестве сомножителей в элемент на .

ПРИМЕР

Пусть обученный -нейрон имеет следующий вид

Восстановим объекты обучающей выборки и найдем обобщающие логические правила (см.рис.1).

Рис. 1.

Построение неявных правил:

Для построения по дереву неявных правил рассмотрим путь из каждой вершины к каждой переменной . Если такой путь существует, то множество вершин принадлежащих соответствующему пути, т.е. множество объектов определяемых переменной образуют класс по этой переменной .Такой путь можно представить в виде логической формулы при помощи операции конъюнкции. Т.е.

Если пути от заданной вершины к вершине не существует, то данный путь (класс объектов) определятся отрицанием соответствующей переменной. Совокупность всевозможных путей как существующих, так и несуществующих представима в виде дизъюнкции. Таким образом, можно полностью восстановить объектную часть логической функции (1).

На примере это выглядит как на рис. 2.

Рис. 2.

Штрих пунктирной линией обозначены связи с отрицанием переменной.

что полностью совпадает с объектной частью функции (1).

ТЕОРЕМА. Пусть ,, где – множество признаков. – множество объектов, каждый объект характеризуется соответствующим набором признаков пусть , тогда по соответствующей структуре можно получить все возможные решения на заданном пространстве данных.

Доказательство: Как было показано выше по структуре нейрона можно восстановить обучающую выборку. Для которой возможно построить логическую решающую функцию (1), которая строит полную систему правил для заданной предметной области.

Предложенная процедура построения неявных правил упрощает задачу.

Поскольку при помощи логической функции (1) можно провести полный анализ обучающей выборки, найти все возможные связи, то объектная часть логической функции может выступить в качестве корректора для сигма-пи нейрона, которую в соответствии с предложенным выше алгоритмом можно построить, опираясь на структуру самого сигма-пи нейрона, даже не имея обучающей выборки.

В окончательном виде модель SP-нейрона вместе с его корректором может иметь имеет следующий вид:

где является корректором работы нейрона, т.е. окончательное решение это или правильный ответ нейрона, или наиболее подходящий ответ для данного запроса выбранный ). Если ответ нейрона был правильным и объект, ранее не принадлежал обучающей выборки, то в силу простой модифицируемости функции ^[16], новое правило будет принято корректором и расширит свою базу знаний.

Заключение

В работе рассмотрены вопросы поиска логических закономерностей по структуре обученногоSP-нейрона. Предложено совместное использование нейросетевых технологий и методов логического вывода, как средства выявления логических закономерностей и представления более точного результата в задачах распознавания. Так же рассмотрены преимущества логического анализа данных и построена логическая функция для выявления всех закономерностей исследуемой предметной области. Предложена процедура построения деревьев решений на основе обученного сигма-пи нейрона, которая не предъявляет никаких требований к архитектуре, алгоритму обучения, входным и выходным значениям и другим параметрам сети. Построение дерева осуществляется по структуре нейрона, результат выявляет ряд скрытых логических закономерностей данных, строит логическую функцию, которая корректирует работу нейрона в случае неточных зашумленных данных, позволяя указать наиболее правдоподобные (близкие к эталонным) ответы в рамках сделанного запроса, а также легко модифицироваться в случае правильного ответа нейрона непредусмотренного обучающей выборкой.В результате существенно повышается качество автоматизированного решения интеллектуальных задач, надежность их функционирования, обеспечение точности достижения верного решения за счет использования наиболее эффективных систем анализа исходных данных и разработки более точных методов их обработки.