A study of the applicability of LSTM recurrent networks in the task of searching for social network experts

Banokin Pavel Ivanovich Assistant, Tomsk Polytechnic University 634028, Russia, Tomskaya oblast', g. Tomsk, ul. Lenina, 2, of. 103a pavel805@gmail.com Efremov Aleksandr Aleksandrovich Assistant, Tomsk Polytechnic University 634028, Russia, Tomskaya oblast', g. Tomsk, ul. Lenina, 2, of. 115a alexyefremov@tpu.ru Luneva Elena Evgenevna PhD in Technical Science Associate Professor, Tomsk Polytechnic University 634028, Russia, Tomskaya oblast', g. Tomsk, ul. Lenina, 2, of. 115a lee@tpu.ru

Kochegurova Elena Alekseevna PhD in Technical Science Associate Professor, Tomsk Polytechnic University 634028, Russia, Tomskaya oblast', g. Tomsk, ul. Lenina, 2, of. 112a kocheg@mail.ru

Введение. Использование методов обработки естественного языка позволяет в автоматическом режиме получить знания из текстовых документов. Автоматический анализ текста имеет большую применимость для анализа контента, генерируемого пользователями социальных сетей. Исследование текстов позволяет вычислить эмоциональную оценку, определить тематику, психологический профиль автора и отношения между субъектами. В задаче идентификации пользователей-экспертов методы обработки естественного языка могут быть использованы при построении социального графа и классификации найденных пользователей в зависимости от эмоциональной полярности сообщений.

Целью работы является исследование применимости нейронной сети LSTM, используемой совместно с векторными представления слов, для выполнения бинарной классификации сообщений пользователей-экспертов социальной сети Twitter. Применимость оценивается на основе данных о точности классификации и характеристик быстродействия: времени обучения и объема используемой памяти. Дополнительно необходимо проверить влияние размерности векторных представлений слов на точность результата бинарной классификации.

Теоретический анализ. Простейшие в реализации способы анализа текста не учитывают порядок слов в тексте. К данной группе методов относятся «корзина слов» (характеристики текста вычисляются на основе итогового значения характеристик отдельных слов без учета их связей), наивный классификатор Байеса и др. ^[1].Очевидным следствием этих методов является невозможность учета влияния отрицания на последующие слова.

Для текстов, состоящих из грамматически и пунктуационно верных предложений, возможно построение и исследование дерева синтаксического разбора предложений ^[1]. В дереве синтаксического разбора удобно отследить распространение отрицания, влияние усиливающих частиц, выделить узлы, относящиеся к отдельной характеристике исследуемого явления ^[2]. Существующие инструменты для синтаксического анализа предложений, такие как Stanford NLP ^[3], поддерживают ограниченный перечень языков. Тексты, созданные пользователями социальных сетей, отличаются наличием грамматических и пунктуационных ошибок, использованием нетипичных аббревиатур, обозначений и сленговых выражений. Вследствие этого отсутствует возможность создания верного дерева синтаксического разбора.

Также коллекции слов и количественных характеристик, соответствующих им, включая эмоциональную окраску, создаются вручную в результате работы экспертов ^[4]. Такие коллекции могут быть использованы в работе алгоритмов анализа естественного языка.

Согласно работам авторов ^{[5, 6]}, для анализа текстов могут быть использованы классификаторы на основе нейронных сетей. Часто используемыми архитектурами для анализа тестовых данных являются сверточные нейронные сети (convolution neural network, CNN) и рекуррентные LSTM-нейронные сети. Отличительной особенностью этих нейронных сетей является способность работы с входными данными нефиксированной длины. Также оба типа нейронных сетей анализируют не слова по отдельности, а последовательности слов ^{[5, 6]}.

Точность классификации с использованием сверточных нейронных сетей составляет 76%-95% в зависимости от используемого набора данных ^[5]. В работе ^[16] отмечаются сопоставимые значения точности LSTM и сверточных сетей при решении задачи бинарной классификации текстов.

Архитектура сверточной сети предполагает выполнение заранее определенного количества фильтров для элементов исследуемого набора данных и последующее применение полносвязной нейронной сети прямого распространения ^[5].

Рекуррентная сеть LSTM обрабатывает по порядку каждый элемент текста. При обработке каждого последующего элемента данных на вход подается состояние сети, полученное на предыдущем шаге, и новый элемент коллекции данных. Применение рекуррентной сети позволяет отследить изменение характеристики при последовательном анализе элементов (слов) текста.

Анализ средствами нейронной сети LSTM или CNN может производиться на уровне символов и на уровне векторных представлений слов ^[7]. При проведении анализа на уровне слов каждое слово предложения заменяется k-мерным вектором `X=(x_(1),x_(2),...,x_(k))` числовых значений (`x_(i)inR` ). Базы, содержащие векторные представления слов, создаются в результате выполнения специальных алгоритмов, наиболее популярными из которых являются Glove ^[8], fastText ^[9] и Word2Vec ^[10]. Готовые к использованию векторные представления слов созданы на основе текстов пользователей социальных сетей Wikipedia, Twitter, IMDB и других источников.

Преимуществом использования готовых коллекций векторов слов является упрощение процесса подготовки и предварительной обработки данных, так как процесс обучения требует меньшего количества тренировочных данных ^[11]. Главное достоинство использования векторных представлений слов нейронными сетями проявляется для данных, отсутствующих в тренировочном наборе. При наличии этих слов в базе векторных представлений, и имеющих либо близкое смысловое значение, либо относящихся к одному классу значений (цвет, форма и т.д.) нейронная сеть будет возвращать результат, схожий с тренировочным набором. База векторных представлений может быть обновлена и дополнена без переобучения нейронной сети.

Возможным недостатком использования векторных представлений слов является загрузка не только состояния обученной нейронной сети, но и базы данных слов, которая может включать более миллиона записей. Каждая запись может иметь 300 и более измерений. Также существует вероятность отсутствия слитных сложных (с несколькими корнями), устаревших и редких слов в базе векторных представлений.

Процесс классификации сообщений. Предлагаемый подход заключается в использовании трехэтапной классификации для снижения количества ошибочных результатов (рис. 1).

I этап – анализ пиктограмм. Производится исследование пиктограммы – комбинации типографских символов для отображения эмоций. На этом этапе используется коллекция предварительно классифицированных пиктограмм.

II этап – оценка эмоциональной окраски текста. Производится выявление слов с субъективной эмоциональной окраской. Для проверки слов применяется коллекция слов SentiWordNet ^[12]. Для анализируемого текста рассчитывается эмоциональный максимум `E_(max)` – максимальное по модулю значение эмоциональной окраски слова в тексте.

III этап – отнесение к классу эмоций. Если эмоциональный максимум превышает пороговое значение `alpha` , т.е. `E_(max)>alpha` , происходит обработка текста с использованием классификатора на основе нейронной сети. Если же `E_(max)<=alpha` , тексту присваивается класс на основе анализа пиктограмм. Если пиктограммы отсутствуют, текст считается нейтральным.

Рис. 1 – Процесс классификации сообщения социальной сети Twitter

Процесс преобразования данных. В процессе преобразования данных формируется словарь уникальных слов и загружается коллекция векторных представлений. Найденные слова преобразуются в соответствии с коллекцией векторных представлений: сокращенные формы отрицания глаголов, притяжательные формы существительных могут разделяться пробелом. После преобразования слов выполняется поиск соответствующих векторных представлений. Текст (одно или несколько сообщений социальной сети Twitter) преобразуется в упорядоченную последовательность векторных представлений в виде матрицы `psi` размера `mxxn`, где `m` – количество элементов выборки данных, `n` – максимально возможная длина исследуемого сообщения. Тогда `psi_(ij)` соответствует векторному представлению j-го слова в i-м сообщении.

Рис. 2 – Кодирование входных данных

При выполнении обучения нейронной сети преобразование выполняется в несколько итераций, так как хранение матрицы тренировочного набора данных может занимать значительный объем памяти.

Экспериментальный анализ. В ходе экспериментального анализа выполняется оценка применимости архитектуры нейронной сети LSTM по следующим критериям:

1. Зависимость точности результата от размерности векторных представлений слов.

2. Точность совпадений векторных представлений слов и тренировочного набора данных.

3. Точность классификации. Способность нейронной сети определять эмоциональную окраску текста с отрицательными частицами и глаголами. Способность нейронной сети к обобщению – правильной классификации сообщений пользователей, отсутствующих в тренировочном и верификационном наборах данных.

В качестве набора векторных представлений слов использованы коллекции, созданные на основе текстов сайта Wikipedia ^[8]. Коллекции содержат 400000 векторных представлений, размерность которых равна 50, 100 и 200 измерений. Тренировочный набор данных, созданный на основе ^[13], включал 624077 сообщений социальной сети Twitter на английском языке. Средняя длина сообщения составила 13.19 слов. Количество уникальных слов – 340077, количество совпадений с коллекцией векторных представлений – 74442 (21.89% от количества уникальных слов).

В качестве реализации нейронной LSTM сети использовался код, полученный из источника ^[14]. В нейронную сеть (рис. 3) внесены следующие изменения:

1. Добавлен метод для загрузки векторных представлений слов в формате Glove.

2. Однослойная нейронная LSTM-сеть заменена на трехслойную. Использование нескольких слоев может повысить устойчивость нейронной сети к переобучению ^[15].

3. Изменен способ получения тренировочных и проверочных наборов данных. Тренировочные и проверочные наборы данных формируются на основе процедуры кросс-проверки для уменьшения вероятности переобучения нейронной сети.

4. Изменен метод очистки текста и загрузки тренировочного набора данных в соответствии с правилами хранения слов в коллекции векторных представлений. Очистка данных дополнена изменением притяжательных местоимений, отрицательных форм глаголов, отделением знаков препинания от находящихся рядом слов.

z

Рис. 3 – Архитектура нейронной сети, используемой в эксперименте

В процессе обучения LSTM сети использование оперативной памяти не превышало 2200 мегабайт. Время обучения составило 2.5 часа при количестве итераций, равным 100000.

Коллекции векторов слов размерности 50, 100 и 200 обеспечили сравнительно одинаковые результаты обучения (±2.39%). Изменения кривой обучения и графика функции потерь в зависимости от номера итерации при использовании коллекции слов с размерностью 200 представлены на рисунках 4 и 5. В работе ^[16] также утверждается об отсутствии влияния размерности случайно проинициализированных векторов слов на точность классификации.

Рис. 4 – График обучения рекуррентной сети LSTM

Рис. 5 – График функции потерь

Тестирование нейронной сети выполнено на коллекциях данных, ранее не использовавшихся для обучения и верификации. Выполнена проверка способности распознавания отрицания на коллекции простых предложений, включающих подлежащее, сказуемое с отрицательной частицей, дополнения и определения. Также проведена оценка точности классификации сообщений пользователей Twitter, в том числе с исключением сообщений с незначительной эмоциональной окраской (). Результаты приведены в таблице 1.

Таблица 1. Результаты тестирования обученной нейронной сети

Представленные результаты свидетельствуют о том, что нейронная сеть способна определять влияние отрицательных частиц и глаголов на эмоциональную окраску текста, и с высокой точностью классифицирует текстовые сообщения, представленные простым предложением. Сообщения со сложной структурой классифицируются с меньшей, но достаточной точностью. Совпадение 21.89% уникальных слов тренировочного набора данных с коллекцией векторных представлений является достаточным для получения представленных выше результатов классификации.

Заключение. Проведенное исследование позволяет утверждать, что рекуррентные нейронные сети LSTM обеспечивают приемлемую точность при выполнении бинарной классификации коротких текстовых сообщений, созданных пользователями социальной сети Twitter. Предварительное исключение текстовых сообщений с незначительной эмоциональной окраской позволяет повысить количество достоверных результатов классификации. Однако, увеличение значения размерности векторных представлений слов более 50 не способствует повышению точности бинарной классификации эмоциональной окраски.

Дальнейшие исследования будут направлены на усовершенствование архитектуры нейронной сети LSTM с применением операции свертки и предварительной обработки слов, отсутствующих в коллекции векторных представлений. Работа выполнена при финансовой поддержке РФФИ (проект №17-07-00034 А).

Работа выполнена при финансовой поддержке РФФИ (проект №17-07-00034 А).