Statistical evaluation of the information content of attributes for the task of searching for semantically close sentences

Glazkova Anna Valer'evna PhD in Technical Science Senior Lecturer, Department of Software, Tyumen State University 625007, Russia, Tyumenskaya oblast', g. Tyumen', ul. Proezd 9 Maya, 7, of. 94 anna_glazkova@yahoo.com

Введение

Анализ семантической близости текстов является актуальной задачей искусственного интеллекта и компьютерной лингвистики. Данная работа посвящена проблеме бинарной классификации предложений с точки зрения их семантического сходства, то есть определения парафразов – фраз, имеющих близкое семантическое значение, но отличающихся в лексическом плане. Механизмы анализа семантической схожести находят применение в ряде актуальных практических приложений: от систем поиска заимствований до инструментов оценки уникальности контента интернет-сайтов.

Существует достаточно много работ, посвященных определению парафраза в англоязычных текстах (например, ^[1-7]). Большинство современных подходов используют методы машинного обучения, в частности, метод опорных векторов и нейронные сети (преимущественно сверточные ^[3] и сети долгой краткосрочной памяти ^[4-6], а также комбинации этих подходов ^[7]). Данные методы требуют построения репрезентативной обучающей выборки и ее качественной предобработки для получения информативного набора классификационных признаков.

Семантическая близость текстов может проявляться на разных уровнях языка, поэтому подходы к определению парафраза должны учитывать влияние широкого спектра морфологических, лексических и синтаксических характеристик на степень сходства предложений. Для этого в работах ^[8-10] были предложены наборы признаков, основанных на оценке количества одинаковых слов в предложении, выявлении совпадающих именованных сущностей, оценке семантической близости слов. Оценка семантической близости может быть проведена как с помощью словарей, так и с использованием векторных представлений слов ^[11-13] – подходов к моделированию естественного языка, заключающихся в сопоставлении словам или фразам вещественных векторов фиксированной размерности. Идея построения векторных представлений слов основана на дистрибутивной семантике, согласно которой семантически близкие слова часто встречаются в сходном контексте ^[14]. В настоящее время векторные представления слов (Word2Vec, GloVE, FastText и др.) являются основой обучения систем обработки естественного языка.

Цель исследования

Целью данной статьи является оценка информативности бинарных и количественных признаков для модели поиска семантически близких предложений в тексте на русском языке.

На основании анализа существующих научных работ, в статье рассмотрены три типа признаков, основанных на:

• векторных представлениях слов (расстояние между векторами, являющимися суммами векторных представлений всех слов в предложении; расстояние между суммами векторных представлений отдельных частей речи: глаголов, существительных);
• извлечении чисел и структурированных сущностей: именованных сущностей, аббревиатур, дат (присутствие в предложениях одинаковых чисел и структурированных сущностей, наличие различающихся чисел и структурированных сущностей, присутствие чисел и сущностей в одном предложении из пары);
• количественных характеристиках текста (доля совпадающих слов, доля совпадающих лемматизированных слов, разница между длинами предложений по количеству слов).

Данные

Оценка информативности проведена на материалах русскоязычного корпуса парафразов ^[15]. В 2017 году на данных корпуса было проведено соревнование ^[16] по определению парафразов в парах русских предложений. На соревновании были продемонстрированы подходы с использованием правил ^[17], машины опорных векторов ^[18-19], градиентного бустинга ^[20] и сверточных нейронных сетей ^[21].

Русский корпус парафразов состоит из заголовков новостных статей. Один пример представляет собой пару предложений, являющихся или не являющихся парафразами друг относительно друга. Разметка пар предложений по степени семантической близости была проведена с помощью экспертной оценки. Количество примеров в части корпуса, предназначенной для обучения классификатора, – 9809 пар семантически несхожих заголовков и 4645 примеров парафраз. Тестовая выборка состоит из 6000 примеров.

Методы оценки

В работе рассматриваются классификационные признаки, значения которых представлены в бинарной и количественной шкалах. В качестве меры информативности бинарных признаков были оценены два показателя:

с₁=P_p/(P_p+N_p) – доля парафразов среди всех примеров, обладающих признаком, где P_p и N_p – количество семантически схожих и несхожих пар соответственно среди примеров, имеющих значение признака, равное 1;

c₂=P_p/(P_p+P_n) – доля парафразов, обладающих признаком, где P_p и P_n – количество парафразов, имеющих соответственно значение признака, равное 1 и 0.

Первый показатель характеризует непосредственно значимость данного признака при решении задачи определения класса объекта, второй демонстрирует распространенность данного признака в рамках класса парафразов и позволяет сделать вывод о репрезентативности выборки примеров, обладающих признаком.

Оценка количественных признаков проводилась при помощи метода накопленных частот ^[22-24]. Суть метода накопленных частот состоит в следующем.

1. Формируются две равные по количеству примеров выборки значений признака f, принадлежащие классам P и N соответственно.

2. Весь интервал распределения признака делится на m отрезков и для каждого класса высчитывается, сколько раз признак принимает значение из каждого интервала.

3. На основе эмпирических распределений признака f подсчитываются накопленные частоты (то есть сумма частот от начального до текущего интервала распределения).

4. Оценка информативности признака f вычисляется как модуль максимальной разности накопленных частот в выборках из примеров из классов P и N.

Пример. Пусть имеются выборки объектов двух классов P и N, состоящие из 100 примеров. Признак f распределен в 5 числовых отрезках следующим образом:

f_P=(10,50,40,0,0),

f_N=(0,0,0,40,60).

Накопленные частоты на основе эмпирических распределений признака f:

f'_P=(10,60,100,100,100),

f'_N=(0,0,0,40,100).

Максимальная по модулю разность накопленных частот равна 100 (на интервале 3). В целях масштабирования итоговая оценка может быть разделена на размер выборки: I_f=100/100=1. Исходя из полученной оценки, можно сделать вывод о том, что при условии репрезентативности рассмотренных выборок признак fявляется информативным на 100% (I_f=1). Очевидно, что в приведенном примере значения признака fдостаточно для проведения классификации по классам P и N: если значение признака для некоторого объекта попадает в 3 первых интервала, то объект относится к классу P, в противном случае – к классу N.

Эксперимент и результаты

Извлечение и оценка информативности признаков проводились с помощью средств языка программирования Python 3.6 и свободно распространяемых библиотек:

• Natasha – для извлечения именованных сущностей, дат и денежных сумм;
• Pandas и NumPy – для предобработки данных;
• Gensim – для работы с векторными представлениями слов.

Оценка информативности проводилась на 9290 примерах (4645 пар семантически схожих предложений + 4645 случайных пар семантически несхожих предложений). Таким образом, в экспериментах использовалось равное количество примеров обоих классов.

В таблице 1 представлены результаты оценки бинарных признаков. Признаки в таблице упорядочены по частоте их выраженности в классе парафразов (по столбцу 3). В таблице приведены признаки, для которых доля парафразов, обладающих признаком, превышает 0.01. Степени выраженности бинарных признаков обусловлены спецификой корпуса, взятого для анализа. Поскольку русскоязычный корпус парафразов состоит из новостных заголовков, для него типично использование именованных сущностей. Так, 49,97% парафразов в корпусе содержат одинаковые географические названия.

Таблица 1. Оценка выраженности бинарных признаков

Результаты оценки количественных признаков с помощью метода накопленных частот приведены в таблице 2. В ходе экспериментов в данной работе использовалось количество интервалов m=10, итоговая оценка по методу накопленных частот была разделена на размер выборки в целях приведения значения к диапазону ^[0;1] для большей наглядности полученных результатов. Наибольшую информативность продемонстрировали признаки, характеризующие расстояние между суммами векторных представлений слов и долю совпадающих словоформ в предложениях.

Для вычисления значений признаков, основанных на векторных представлениях слов, была использована модель Word2Veс ^[25], обученная с помощью алгоритма Skipgram на текстах русскоязычной Википедии за 2018 год.

Таблица 2. Оценка количественных признаков с помощью накопленных частот

Полученный набор признаков был протестирован на задаче поиска парафразов. В таблице 3 приводится сравнение трех моделей:

1) машина опорных векторов, обученная на наборе количественных и бинарных признаков, представленных в таблицах 1-2;

2) рекуррентная нейронная сеть с LSTM-слоями (долгой краткосрочной памяти, long short-term memory), основанная на "сиамской" архитектуре ^[5], структура сети представлена на рисунке 1;

3) нейронная сеть, комбинирующая рекуррентную сеть с сетью прямого распространения (рисунок 1). Вход сети, обозначенный "input_3", предназначен для дополнительных признаков.

Таблица 3. Результаты классификации

Для реализации моделей машинного обучения использовались библиотеки Scikit-learn (машина опорных векторов) и Keras (нейронные сети). Количество нейронов в рекуррентных слоях и в слоях прямого распространения выбрано экспериментально и равно 128. Функция активации нейронов на внутренних слоях – гиперболический тангенс, на выходном слое – softmax. В качестве оптимизационного алгоритма использован adaptive moment estimation (Adam Optimizer).

Показатели третьей модели сравнимы по качеству с результатами, продемонстрированными системами – участниками соревнования ^[16] (второй результат по F-мере и третий по точности). Использование рассмотренного в работе набора бинарных и количественных признаков в качестве дополнительных входных данных нейронной сети позволило улучшить качество рекуррентной сети более чем на 7% по F-мере и более чем на 3% по точности. Таким образом, набор дополнительных классификационных признаков поспособствовал увеличению эффективности рекуррентной нейросетевой модели.

Рисунок 1. Архитектура нейросетевых моделей: слева – модель 2, справа – модель 3.

Заключение

В рамках данной работы проведена оценка информативности признаков для определения семантически близких предложений на примере русского языка. Оценки получены для русского корпуса парафразов, содержащего тексты новостных заголовков. Результаты позволяют выявить наиболее значимые признаки для построения классификатора коротких текстов по степени их семантической близости, однако значение информативности ряда признаков (особенно бинарных характеристик, связанных с извлечением структурированной информации) обусловлено спецификой текстов корпуса.

Рассмотренные признаки протестированы в качестве дополнительных входных данных нейросетевой модели для определения парафразов. Полученная модель демонстрирует достаточно высокое качество классификации в сравнении с существующими системами определения парафразов в текстах на русском языке.