Calculating the measures of semantic connectivity based on wiki projects

Naikhanova Larisa Vladimirovna Doctor of Technical Science Professor, Department of Informatics Systems, East-Siberian State University of Technology and Management 670013, Russia, respublika Buryatiya, g. Ulan-Ude, ul. Klyuchevskaya, 40V obeka_nlv@mail.ru Other publications by this author

Naikhanov Nikolai Vladimirovich graduate student, Department of Informatics Systems of the East-Siberian State University of Technology and Management 670013, Russia, Buryatiya, g. Ulan-Ude, ul. Klyuchevskaya, 40V naikhan2021@gmail.com Other publications by this author

Вычисление меры семантической связности на основе вики проектов

Введение

Семантические меры используются в качестве основных компонентов в большом количестве приложений, которые очень сильно зависят от оценок семантических ассоциаций. Сфера применения семантических мер многопрофильна, начиная от компьютерной лингвистики до искусственного интеллекта и от когнитивной психологии до восстановления информации.

В области обработки естественно-языковой информации более широко распространен термин «семантическая близость», чем «семантическая связность». Семантическая близость состоит из семантических связей между двумя терминами, которые имеют аналогичную природу, состав и атрибуты. Примерами семантической близости являются отношения синонимии, гиперонимии и гипонимии. В работе ^[6] семантическая близость определена как таксономическая близость двух слов. Семантическая связность тесно связана с семантической близостью, но является более общим термином, включая множество классических и неклассических отношений ^[5]. Она охватывает не только семантическую близость, но также концепты, не имеющие явную схожую природу, состав и атрибуты, но тесно связанные.

Множество приложений искусственного интеллекта, по сути, основаны на мерах семантических ассоциаций. Добыча мнения, также известна как анализ настроений, является задачей автоматического определения отношения (мнения, оценки, эмоций) людей в отношении объектов и их атрибутов ^[7]. Стремительный рост социальных медиа вызывают большой интерес к приложениям, выполняющим анализ блогосферы. Блог-постам характерны тексты небольшого объема. Поэтому стандартные методы определения семантической ассоциации текстов блог-постов не совсем подходят, т.к. таким текстам свойственны нестрогие грамматические структуры.

Данная работа посвящена методу определения меры семантической связности текстов на основе вики проектов, позволяющему эффективно определять меру сходства двух текстов небольшого объема. Предлагаемый метод основан на методе Wikisim ^[3]. Этот метод использует в качестве источника знаний "Википедию". В работе предлагается добавить новый источник знаний "Викисловарь".

Обоснование выбора источников знаний

Википедия является совместно построенной, многоязычной и свободно доступной онлайн-энциклопедией ^{[1, 2]}. Википедия имеет преимущества по сравнению с другими источниками знаний, такими как WordNet и Wiktionary. Наиболее важным из всех является ее превосходное освещение концептов, особенно имен собственных. В ней описано огромное количество знаний, связанных с конкретной предметной областью, что делает её привлекательным ресурсом. В работе ^[9] было проведено исследование с целью изучения охвата Википедии в области продовольствия и сельского хозяйства. Они показали, что Википедия обеспечивает хороший охват сельскохозяйственных тем, приближающийся к охвату профессионального тезауруса.

В противоположность этому, охват WordNet ограничен и почти не покрывает конкретную предметную область и обладает скудным охватом имен собственных ^[10]. Викислова́рь (англ. Wiktionary) – свободно пополняемый многофункциональный многоязычный словарь и тезаурус. Словарь Wiktionary является совместно построенным и доступным онлайн словарем. Это многоязычный, и состоящий примерно из 3,5 млн записей. По сравнению со стандартным словарем, таким как Oxford English Dictionary, Wiktionary предлагает широкий спектр семантических и лексических отношений, следовательно, его можно назвать тезаурусом ^[11].

Wiktionary имеет много общих черт с WordNet. Для каждого слова он имеет страницу статьи, в которой перечисляются различные классы слов. Каждый класс слова соответствует концепту. Следуя WordNet, Wiktionary также определяет лексические, семантические отношения, такие как части речи, произношение, синонимы, гиперонимы, гипонимы, перевод на другие языки.

При изучении работ по данной теме, было выяснено, что методы, основанные использовании Википедии, хорошо вычисляют меры семантической связности в предметных областях и имен собственных. Но было также установлено, что Википедию невозможно применить для анализа связности глаголов, прилагательных и остальных частей речи, кроме существительных, в связи с тем, что Википедия делает акцент на энциклопедические термины ^[4].

В этих случаях удобно применять Викисловарь, в котором мы можем установить явные морфологические, синтаксические и семантические свойства. Но в нем отсутствуют термины предметных областей и имен собственных.

Плюсы одного вики проекта взаимно покрывают минусы другого, что говорит об эффективности меры, базирующейся на двух источников знаний. Именно этот факт привел к решению создания гибридной меры семантической связности концептов.

Мера семантической связности двух текстов

Мера основана на комбинировании аспектов проектов Википедии и Викисловаря, как источников знаний. Существующие меры семантической связности используют основную структуру Википедии как неформального источника знаний для вычисления семантических ассоциаций, а именно сеть гиперссылок. Гиперссылки Википедии являются связью между двумя статьями, разделяющими некоторый контекст. Статьи, имеющие ссылки на конкретную статью называются статьями in-links. Аналогичным образом, статьи, которые упоминаются в анализируемой статье называются статьями out-links.

Описываемая мера основана на методе WikiSim, который показывает лучшие результаты по сравнению с другими известными методами ^[4]. WikiSim учитывает долю общих ссылок двух статей и , двух анализируемых концептов и .

Подход начинается с согласования входных понятий и к их соответствующим статьям Википедии и соответственно.

Установленное для , множество ссылок (), состоящее из ее отдельных статей in-link и out-link, сравнивается с множеством ссылок () статьи . В результате сравнения определяется множество совпавших ссылок. Затем множество совпавших ссылок используется для вычисления меры связности.

(1)

В работе предложен следующий алгоритм вычисления меры семантической связности двух текстов:

1) нахождение частотных характеристик;

2) нахождение меры семантической связности двух концептов:

- вычисление меры семантической связности двух концептов с использованием метода WikiSim и источника знаний Wikipedia, условно обозначим его как «WikiSim on Wikipedia»;

- вычисление меры семантической связности двух концептов с использованием метода WikiSim и источника знаний Wiktionary, условно обозначим его как «WikiSim on Wiktionary»;

- вычисление гибридной меры семантической связности двух концептов (hybrid measure).

3) вычисление меры семантической связности двух текстов.

Рассмотрим описание алгоритма на конкретном примере.

Для описания работы алгоритма были выбраны три статьи, характеристики текстов статей, полученные после предварительной обработки текстов, представлены в табл.1

Таблица 1 – Исходные данные

На первом этапе находятся частотные характеристики: абсолютная и относительные частоты встречаемости слов в тексте f_ij (i – индекс слова, j – индекс текста). Слова проранжированы по частоте встречаемости и первые пять понятий с наибольшими значениями показаны в табл.2.

Таблица 2 – Частотные характеристики

На втором этапе вначале находятся меры семантической связности двух концептов с использованием WikiSim on Wikipedia. Для этого выполняется последовательный анализ пар статей: (, ), (, ), (, ). При проведении эксперимента анализ пары статей выполнялся на множествах пар понятий, перечисленных в табл. 2:

В данной статье не описывается процесс построения пространственного графа, т.к. принцип его описание построения примерно аналогичен описанию, приведенному в работе ^[2]. Графы строятся для каждого концепта и . Анализ графов понятий и позволяет сформировать множество ссылок и . По формуле (1) вычисляются меры семантической связности концептов .

Выполнив анализ множества пар понятий по методу WikiSim on Wikipedia переходим к рассмотрению этого множества по методу WikiSim on Wiktionary. Принцип вычисления меры сходства тот же, что и в предыдущем случае. Результаты показаны в табл. 3.

Таблица 3 – Меры семантической связности концептов первых двух текстов

Далее вычисляется гибридная мера семантической связности концептов по формуле (2):

где i, j – индексы понятий первого t1 и второго t2 текстов соответственно;

l – порядковый номер пары концептов ;

весовые коэффициенты и вычисляются по формулам

, ;

.

Результаты вычислений показаны в табл. 4.

Таблица 4 – Гибридная мера семантической связности концептов первого и второго текстов

Аналогичным образом находятся меры семантической связности концептов для пар текстов (t₁, t₃), (t₂, t₃).

На третьем этапе находится интегральная оценка семантической связности пары текстов или установление меры семантической ассоциации двух текстов. Мера семантической связности двух текстов рассчитывается по формуле:

где w_l – весовой коэффициент, позволяющий учесть частоту встречаемости понятий в ядре текста.

Данный коэффициент вычисляется последовательно следующим образом:

; ,

; ,

,

где и относительные частоты встречаемости понятий первого и второго текста соответственно (см. табл. 2, графа 4).

и – нормализованные относительные частоты;

и – весовые коэффициенты, позволяющие учесть частоту встречаемости понятий первого и второго текстов соответственно.

Результаты вычисления меры семантической связности двух текстов показаны в табл. 5.

Таблица 5 – Результаты расчета меры семантической связности двух текстов ,

Аналогичным образом были рассчитаны меры семантической связности оставшихся двух пар текстов, результаты расчетов представлены в табл. 6.

Таблица 6 – Мера семантической связности трех пар текстов

В таблице 1 приведены ссылки на использованные тексты. Анализ текстов показывает, чо полученные меры семантической связности текстов вполне адекватно отражают реальную картину.

Выводы

Ядром алгоритма вычисления меры семантической связности двух текстов является гибридная мера семантической связности двух понятий, основанная на применении метода WikiSim. Результаты исследования предложенного алгоритма показали, что его применение дает более точные результаты, чем применение классического WikiSim. В данной статье этот факт подтверждают таблицы 3-5.

В настоящей работе мы ограничились мощностью множества концептов текста равной пяти. Так как все тексты небольшого объема, то остальные концепты встречались не более одного раза. На наш взгляд, в дальнейшем необходимо выяснить зависимость мощности множества концептов от объема текста.

В статье не разделялись вики проекты на англоязычные и русскоязычные так как, если слова нет в русскоязычном Вики-проекте можно использовать его англоязычный аналог.

Совмещение формальных (структурированных – Викисловарь) и неформальных (неструктурированных - Википедия) источников знаний может привести к качественной оценке семантической связности между текстовыми единицами.

Благодаря быстрому и общедоступному развитию вики проектов, созданию алгоритма вычисления меры семантической связности текстов мы можем получать данные, соответствующие современным и актуальным на сегодняшний день реалиям.