Neuro-fuzzy model of classification rules generation as an effective approximator of objects with discrete output

Katasev Alexey Sergeevich PhD in Technical Science Associate Professor of Information Security Systems Department of the Tupolev Kazan National Research Technical University 420111, Russia, respublika Tatarstan, g. Kazan', ul. K.marksa, 10 Kat_726@mail.ru Other publications by this author

Введение

В настоящее время в различных предметных областях возникает необходимость моделирования сложных объектов и систем ^[19], которые характеризуются следующими особенностями:

- наличием большого числа входов, выходов и состояний;

- разнотипностью входных параметров и нелинейным характером внутренних связей и закономерностей;

- неопределенностью, нечеткостью и неполнотой исходных данных, используемых для моделирования объекта;

- нечеткой выраженностью структуры, которая может изменяться в зависимости от ситуации.

Традиционные подходы, основанные на математической статистике и имитационном моделировании, не всегда позволяют строить адекватные модели объектов в условиях ограниченности временных, вычислительных и материальных ресурсов. Поэтому в настоящее время при решении различных задач, связанных с управлением производственными процессами, распознаванием образов, оценкой состояния объектов, наблюдается повышение научного и практического интереса к методам и моделям искусственного интеллекта с применением технологий интеллектуального анализа данных ^{[1,4,10,12,14]}.

Теория нечетких множеств, как одно из направлений искусственного интеллекта, позволяет строить нечеткие модели объектов ^[15]. Методы нечеткой логики и разработанные на ее основе интеллектуальные системы применяются для решения задач оценки состояния объектов ^[11,18], управления ^[2,5], поддержки принятия решений ^[21,23] в различных предметных областях.

Однако, несмотря на достоинства нечетких систем, они имеют существенный недостаток, связанный с необходимостью привлечения человека-эксперта для построения правил базы знаний (БЗ) и задания используемых в них функций принадлежности (ФП). Наиболее сложным этапом построения нечеткой системы является выбор формы и параметров ФП, так как из-за субъективности мнения эксперта построенные им ФП могут не вполне отражать реальную действительность. Кроме того, процесс формулирования нечетких правил и задания ФП требует значительных временных затрат и большой аналитической работы эксперта, что существенно усложняет разработку таких систем.

Для разрешения указанных проблем при разработке интеллектуальных систем актуально применение инструментальных средств, позволяющих автоматически формировать нечеткие правила, адекватно описывающие закономерности в анализируемых данных. В качестве такого средства предлагается специально разработанная нечеткая нейронная сеть (ННС) ^[6], позволяющая на основе анализа исходных данных формировать систему нечетко-продукционных правил, используемых для оценки состояния объектов.

Вид нечетко-продукционных правил и алгоритм логического вывода на правилах для оценки состояния объектов

Для решения задачи оценки состояния объекта, относящейся к классу задач аппроксимации объектов с дискретным выходом ^[24], предложен следующий вид нечетко-продукционных правил ^[8]:

ЕСЛИ x1 = (w1) И x2 = (w2) И … xn = (wn) ТО y =B [CF], (1)

где xi – входные параметры, wi – веса условий "xi = ", , Ai – четкое значение входа, – нечеткое значение входа, – функция принадлежности, y – выходной параметр, B – четкое значение выхода (состояние объекта), CF – достоверность правила.

Для определения состояния объекта на основе правил вида (1) разработан алгоритм логического вывода. Введем следующие обозначения:

- R (response) – степень срабатывания условной части правила:

, (2)

где – четкие значения n входных параметров правила (факты),

– степени принадлежности входных значений к :

- T (trust) – совокупный вес условной части правила:

, (3)

где wi, – веса всех ограничений на параметры в правиле,

wkn, – веса ограничений с известными значениями;

- C (complex) – комплексная оценка достоверности решения правила:

C=R*T*CF, (4)

где CF (certainty factor) – достоверность правила.

С учетом (2)-(4) разработанный алгоритм состоит из следующих этапов.

1. Ввод значений входных параметров в правилах.

2. Для каждого правила Ruler, расчет степени срабатывания его условий Rr по формуле (2).

3. Формирование конфликтного множества, включающего правила с ненулевой степенью срабатывания: Sconf = {Ruler | Rr ≠ 0}, .

4. Для всех правил RulerÎSconf расчет совокупного веса условной части правила Tr по формуле (3) и комплексной оценки Cr по формуле (4).

5. Разрешение конфликта – выбор правила с максимальной комплексной оценкой достоверности решения: .

6. Получение значения выходного параметра выбранного правила в качестве искомого состояния объекта.

Данный алгоритм позволяет на основании сопоставления имеющихся входных данных (фактов) с антецедентами нечетких правил выбрать решающее правило, выходное значение которого определяет искомое состояние объекта.

Описание разработанной нейронечеткой модели

Для формирования системы правил вида (1) разработана нейронечеткая модель, структура которой определяется следующими параметрами:

1) числом входных параметров объекта (определяет число нейронов входного слоя сети);

2) числом значений (градаций) входных параметров объекта (определяет число нейронов слоя значений-градаций входных нейронов сети);

3) числом значений целевого параметра объекта (определяет число нейронов слоя значений выходного нейрона сети);

4) алгоритмом логического вывода на системе правил вида (1) (определяет число слоев сети и их функциональность).

На рисунке 1 приведен пример структуры нечеткой нейронной сети.

Рис. 1. Пример структуры нечеткой нейронной сети

Первый слой сети состоит из Р-нейронов, выполняющих распределение входных сигналов по нейронам второго слоя сети. Второй слой состоит из -нейронов, моделирующих входные условия "p=" правил. Выходами -нейронов являются значения ФП , определяющие степень срабатывания условных частей правил. С каждым -нейроном связан параметр w, определяющий вес (важность) условия в правиле. Третий слой сети состоит из И-нейронов, определяющих оценку R степени срабатывания условной части правил. В четвертом слое сети вычисляется произведение оценок R и Т. Пятый слой значений выходного нейрона сети состоит из А-нейронов, на входы которых поступают выходные значения RT-нейронов и связанные с ними достоверности правил CF. Каждый А-нейрон вычисляет комплексную оценку достоверности решения C и формирует на выходе максимальную из этих оценок. В шестом слое содержится один Pц-нейрон, формирующий значение выхода сети "pц=A", соответствующее А-нейрону с максимальной величиной оценки С.

Для определения возможности и эффективности практического использования разработанной нейронечеткой модели потребовалась оценка ее аппроксимирующей способности. Данная оценка производилась на основе анализа следующих факторов:

- сходимости разработанного алгоритма обучения, используемого для построения нейронечеткой модели;

- удовлетворения работы ННС принципам нечеткой аппроксимации;

- непротиворечивости алгоритма логического вывода в ННС алгоритму аппроксимации объектов с дискретным выходом на основе нечеткой базы знаний.

Оценка аппроксимирующей способности нейронечеткой модели

Важным моментом всех алгоритмов обучения нейронных сетей является вопрос их сходимости. Сходимость разработанного алгоритма обучения ННС обусловлена следующими факторами:

- настройка параметров ФП в ННС производится на основе метода градиентного спуска – эффективного метода оптимизации ^[7];

- экспериментальной способностью к обучению нечеткой нейронной сети с одновременным уменьшением ошибки выхода.

Метод градиентного спуска основывается на известном факте, что градиент функции показывает направление ее наискорейшего возрастания, а антиградиент – направление убывания. При этом модуль градиента характеризует скорость этого процесса. Вектор градиента может быть получен через свои проекции на оси координат, которые равны частным производным по соответствующим аргументам целевой функции. Градиент перпендикулярен линии уровня, проходящей через ту точку, в которой он вычислен.

Многократное итерационное повторение данного метода в алгоритме обучения ННС позволяет определять оптимальные значения параметров ФП. При этом ошибка выхода сети стремится к своему минимальному значению.

Настройка значений параметров ФП в продукционных правилах с одновременным уменьшением ошибки выхода нечеткой нейронной сети приводит к повышению точности аппроксимации экспериментальных данных нечеткими гранулами, часто наделенными лингвистической интерпретацией. На принципе аппроксимации экспериментальных данных нечеткими гранулами базируются теоремы о нечеткой аппроксимации ^[26-30].

В общем случае задача нечеткой аппроксимации может быть рассмотрена, как аппроксимация непрерывной функции f : X -> Y в виде нечеткого объединения, называемого гранулированной спецификацией ^[16]:

, (7)

где , – нечеткие гранулы.

Лингвистическая аппроксимация имеет место при наделении нечетких множеств , , языковой интерпретацией. Данная аппроксимация может рассматриваться, как формализация функции f : X -> Y набором нечетких продукций, то есть нечеткой системой, функционирующей по этим правилам.

Система F, определяемая совокупностью нечетко-продукционных правил, отображает нечеткое множество , поданное на ее вход, в нечеткое множество , являющееся ее выходом. Нечеткие гранулы (, ), , соответствующие нечетким правилам, определяют покрытие функции f аппроксимирующими ее нечеткими отпечатками ^[28]. На рисунке 2 показан пример аппроксимации непрерывной функции нечеткими отпечатками.

Рис. 2. Пример аппроксимации непрерывной функции нечеткими отпечатками

Для дискретной функции f аппроксимация ее нечеткими отпечатками будет иметь вид, как показано на рисунке 3.

Рис. 3. Пример аппроксимации дискретной функции нечеткими отпечатками

Таким образом, используя нечеткие продукционные правила, лингвистическая аппроксимация позволяет выполнять приближение функции f. При необходимости более точной аппроксимации необходима более детальное гранулирование осей координат, то есть использование большего числа значений лингвистических переменных и, соответственно, большего количества нечетко-продукционных правил. Применительно к ННС это требование сводится к выбору количества градаций для входных лингвистических переменных.

Обученная ННС является аддитивной нечеткой системой, задаваемой совокупностью формируемых нечетко-продукционных правил. Каждое из них устанавливает некоторую область в пространстве решений с нечеткими размытыми границами, определяемыми коэффициентами достоверности правил CF и важности их нечетких градаций w. В совокупности правила производят аппроксимацию анализируемых данных нечеткими гранулами.

Для окончательной оценки аппроксимирующей способности разработанной нечеткой нейронной сети сопоставим используемый в ней алгоритм нечеткого логического вывода с алгоритмом А. П. Ротштейна ^[20], используемого для аппроксимации объектов с дискретным выходом. Для этого представим разработанный алгоритм вывода в матричном виде (см. рис. 4).

Рис. 4. Матричный вид алгоритма логического вывода

Здесь Cjp, , – комплексная оценка достоверности jp-го правила, равная произведению (R*T*CF)jp, где , . Можно показать, что при T = 1 и CF = 1 разработанный алгоритм становится эквивалентным алгоритму А. П. Ротштейна. Следовательно, при данных ограничениях алгоритм логического вывода позволяет производить аппроксимацию объектов с дискретным выходом. В случае, когда параметры T и CF отличны от единицы, логика работы алгоритма не нарушается и его можно рассматривать, как обобщение алгоритма А. П. Ротштейна. При этом оценка T позволяет расширить применимость алгоритма на случай неполных входных данных, а коэффициент CF позволяет ранжировать предлагаемые решения.

Таким образом, опираясь на приведенные оценки аппроксимирующей способности разработанной нечеткой нейронной сети, можно сделать вывод, что нейронечеткая модель является эффективным аппроксиматором объектов с дискретным выходом.

Оценка классифицирующей способности формируемых нечетко-продукционных правил

В качестве апробации предложенного подхода к формированию нечетких правил на основе нейронечеткой модели проведена оценка их классифицирующей способности на базе разработанного программного комплекса ^[13]. Исследования проводились на примере решения известных задач классификации путем анализа данных из общедоступного источника UCI Machine Learning Repository ^[25].

В таблице 1 представлена информация о характеристиках наборов исходных данных, соответствующих решаемым задачам классификации.

Табл. 1. Характеристика исходных данных

Первый набор данных соответствует задаче классификации видов ирисов Фишера. Во втором наборе представлены данные, соответствующие задаче диагностирования заболевания печени человека по результатам анализа его крови. Третий набор соответствует задаче выявления подозрительных транзакций с банковскими картами. Четвертый набор соответствует задаче принятия решения о выдаче потребительского кредита на основании анкетных данных заемщика.

Для оценки классифицирующей способности формируемых нечетких правил проведены исследования, основанные на выполнении этапов ^[9]:

1) построение систем нечетко-продукционных правил для нечеткой аппроксимации зависимостей в каждом наборе данных;

2) сравнение результатов классификации на основе сформированных систем правил с известными результатами других авторов.

На первом этапе были сформированы системы нечетких правил, соответствующие анализируемым наборам данных (см. табл. 2).

Табл. 2. Характеристики сформированных систем правил

В качестве меры эффективности сформированных систем нечетких правил выступает точность классификации – отношение числа правильно классифицированных входных образов к общему числу анализируемых данных. Самая высокая точность классификации получена на наборе данных Iris Plants Database. На остальных выборках точность классификации ниже.

Для определения значимости полученных результатов классификации сравним их с известными результатами других авторов, проводивших исследования на тех же наборах данных. Так, в работах ^[3,22] проводились исследования эффективности различных методов классификации на трех наборах данных: BUPA Liver Disorders, Australian Credit Approval и German Credit Data. В таблице 3 приведено сравнение точности классификации, полученной при использовании сформированных систем нечетких правил, с точностью других методов классификации.

Табл. 3. Сравнение точности методов классификации

Из таблицы видно, что классифицирующая способность сформированных систем нечетких правил сравнима с точностью некоторых известных методов классификации (например, коллективом нейронных сетей, многослойным персептроном, классификатором на нечеткой логике), превосходит на 15% методы Байеса, Бустинга, Бэггинга, случайных подпространств и на 9% коэволюционный метод обучения алгоритмических композиций. Значимость полученных результатов на данном этапе исследований определяется возможностью использования сформированных систем нечетко-продукционных правил для решения задач классификации с точностью, не уступающей точности любых других известных методов классификации.

В работе ^[24] приведены результаты исследования эффективности метода нечеткой классификации на наборе данных Iris Plants Database. Данный метод был специально разработан автором для выполнения нечеткого логического вывода в среде MATLAB при аппроксимации объектов с дискретным выходом. Для полноты экспериментов на том же наборе данных построен нейросетевой классификатор (многослойный персептрон) на базе аналитической платформы Deductor ^[17], а также спроектирован нейронечеткий классификатор ANFIS инструментальными средствами среды моделирования MATLAB.

Точность классификации на основе использования сформированной БЗ на наборе данных Iris Plants Database составила 0,98. Данная точность, как и в предыдущем случае, сравнима с точностью нейросетевого метода классификации на основе многослойного персептрона (0,987). Во всех остальных случаях разработанный метод позволяет достичь лучшего результата классификации: на 3% превышает точность метода нечеткой классификации объектов с дискретным выходом (0,947) и на 1% – точность нейронечеткого метода на основе нечеткой нейронной сети ANFIS (0,973). Таким образом, преимущество использования предложенного метода классификации перед нечетким и нейронечетким методами заключается в повышении точности классификации, а, следовательно, в возможности принятия более точных решений в составе интеллектуальных систем оценки состояния объектов.

Следует отметить, что, несмотря на совпадение точности классификации предложенным и нейросетевым методами, в интеллектуальных системах оценки состояния объектов целесообразно использовать метод классификации на основе формирования базы нечетких правил, так как такие модели, в отличие от нейросетевых, поддаются лингвистической интерпретации. Таким образом, формируемые системы нечетко-продукционных правил совместно с разработанными алгоритмами логического вывода являются эффективными функциональными аппроксиматорами объектов с дискретным выходом и обладают высокой степенью классифицирующей способности.

Заключение

Описанная в данной работе нейронечеткая модель, основанная на обучении нечеткой нейронной сети, позволяет формировать систему нечетких правил, используемых для оценки состояния объектов. Эта задача является разновидностью задачи классификации. В данном случае нечеткий классификатор на основе формируемых нечетких правил производит аппроксимацию объектов с дискретным выходом. Несмотря на большое количество методов и алгоритмов классификации, используемых в настоящее время в интеллектуальных системах, разработанная модель обладает рядом преимуществ, главное из которых – высокая аппроксимирующая способность. Как показали результаты проведенных исследований, нейронечеткую модель можно считать эффективным аппроксиматором объектов с дискретным выходом. Это позволяет формировать системы нечетких правил на основе обучения сети на экспериментальных данных и успешно использовать их в механизмах поддержки принятия решений.

Практическая ценность предложенного подхода заключается в возможности построения эффективных систем поддержки принятия решений по оценке состояния объектов в различных предметных областях.