Using word2vec in clustering operons

Romashko Dmitrii Aleksandrovich Graduate Student, Department of Mathematical Methods in Economics, Far Eastern Federal University 690091, Russia, Primorskii krai, g. Vladivostok, o. Russkii, poselok Ayaks - 10, kampus DVFU, Korpus D wintor20@gmail.com

Medvedev Aleksandr Yur'evich Graduate Student, Department of Mathematical Methods in Economics, Far Eastern Federal University 690091, Russia, Primorskii krai, g. Vladivostok, o. Russkii, poselok Ayaks - 10, kampus DVFU, Korpus D rf_alexmedvedev@mail.ru

Введение

Геномные данные являются предметом многочисленных математических исследований последних лет. Эта тенденция связана с совершенствованием и удешевлением лабораторного оборудования, и, следовательно, растущей доступностью процесса секвенирования – получения данных о геноме. Благодаря этому исследования ведутся не только в пробирках, но и при помощи компьютера. Процесс начинается с экспериментальных данных, но программная обработка стала важным инструментом получения научных результатов.

Относительно простыми для обработки являются данные бактериальных геномов. Первые успехи по получению этих данных были получены в 1995 г., когда было произведено первое полногеномное секвенирование бактерии, однако в последующие годы процесс быстро набрал обороты и количество секвенированных полных бактериальных геномов показало экспоненциальный рост, на начало 2018 г., в базе данных NCBI более семи тысяч полных геномов ^[5]. Это привело к ситуации, когда количество доступных данных растет быстрее, чем возможности по их обработке, что в свою очередь вызывает потребность в эффективных вычислительных методах работы с данными.

Основной целью обработки геномных данных является получение информации об особенностях исследуемого организма. В геноме выделяются особые структурные единицы – гены: структурные, отвечающие за синтез белков, и функциональные, контролирующие структурные. У безъядерных организмов, например, бактерий, функционально близкие гены организуются в особые структуры – опероны, отвечающие за совместную транскрипцию входящих в них генов. Нахождение в геноме оперонов с известной функцией позволяет делать выводы о самом исследуемом организме ^[1].

В настоящей работе рассматривается решение задачи кластеризации оперонов при помощи существующих баз данных и методов машинного обучения. Решение этой задачи позволит эффективно выделять группы оперонов с одинаковыми биологическими функциями для последующего использования в качестве механизма определения принадлежности группы генов к тому или иному виду известных оперонов.

Анализ современных средств

Специфика работы с геномными данными подталкивает к координации лабораторий. Полученные данные используются не только в собственных исследованиях, но и впоследствии обычно выкладываются в общий доступ. Основные программные средства часто служат двойной цели – хранение геномных данных в собственных базах данных и их анализ. Программные продукты для личного использования не рассматриваются в рамках данного исследования так как предполагают наличие значительного объема предобработанных данных, что делает использование сервисов с собственной базой данных предпочтительнее при решении задач классификации оперонов.

База данных DOOR (the Database of prOkaryotic OpeRons) содержит 2072 аннотированных бактериальных генома, а также их экспериментально и вычислительно подтвержденные опероны. DOOR предоставляет доступ к базе данных и механизм поиска оперонов в предоставляемом пользователем геноме ^[2]. Поиск оперонов осуществляется на основе 5 основных групп факторов ^[1]. В основном полагаясь на межгенную дистанцию, что делает метод универсальным в ущерб точности.

Сервис OperonDB содержит 1059 аннотированных геномов бактерий и архей, а также вычислительно подтвержденные опероны. Поиск оперонов осуществляется на основе консервативных генных пар ^[6].

Сервис ProOpDB (the Prokaryotic Operon DataBase) содержит 1200 аннотированных бактериальных генома с вычислительно подтвержденными оперонами ^[11]. Поиск оперонов осуществляется при помощи MLP (multilayer perceptron neural network) алгоритм, который использует межгенную дистанцию и функциональные связи ^[12].

Все три сервиса используют геномные данные для поиска в них оперонов, однако не определяют их тип и принадлежность к какой-либо группе, предоставляя это пользователю. Ни один из этих сервисов не может выделить группу оперонов с одинаковой биологической функцией, что крайне неудобно если исследователь хочет получить, например, все образцы оперонов отвечающих за расщепление лактозы.

Методы исследования

Для кластеризации оперонов, необходимо представить их в виде некоторых числовых векторов. Гены – носители некоторой биологической функции, а опероны, являясь совокупностью функционально связанных генов, осуществляют некоторую совместную функцию. Если представить опероны в виде текстов, состоящих из слов – генов, тогда задача кластеризации оперонов по биологической функции становится эквивалентна задаче кластеризации текстов по смыслу.

Задача преобразования слова в вектор таким образом, чтобы слова, стоящие в схожих контекстах, имели схожие вектора эффективно решается алгоритмом word2vec ^[7]. Для каждого оперона необходимо максимизировать следующую функцию:

где – это вероятность того, что ген находится в опероне в наборе данных . Эта вероятность зависит от векторов , которые и являются конечным результатом работы word2vec. Для каждого гена будет построен свой вектор . На практике оценивается с подстановкой в оперон , случайных слов . Этот метод называется Negative Sampling. Функция близка к максимуму тогда, когда вероятность слова высокая, а вероятность случайных слов низкая ^[4].

Вектора имеют сразу несколько ценных свойств, необходимых для решения основной задачи:

1. Гены, которые находятся в похожих оперонах, будут иметь похожие вектора.

2. Гены из одного оперона также будут иметь похожие вектора, поскольку контексты, по которым они рассчитываются, отличаются только на один ген.

3. Если вектора и похожи, то – косинусная дистанция между ними будет близка к нулю.

В результате работы алгоритма каждый ген будет сопоставлен -мерному вектору , а каждый оперон сопоставлен своему набору генов – двумерной матрице из столбцов и строк, где – количество входящих в оперон генов, а каждая строка – вектор соответственного гена.

Кластеризация оперонов на данном этапе затруднена, так как они представляют собой матрицы не равной размерности. Достаточно сжать эти матрицы в соответственный агрегированный вектор , в данной работе использовалось усреднение по каждой координате . Это возможно благодаря свойству 2), описанному выше. В итоге свойства генных векторов сохраняются и для оперонов , что позволит нам эффективно их кластеризовать, используя в качестве метрики косинусную дистанцию.

Для решения задачи кластеризации необходим алгоритм, который масштабируется на большое число точек и самостоятельно определяет число кластеров. В данной работе был выбран алгоритм DBSCAN ^[3]. Алгоритм объединяет точки, лежащие близко друг к другу и имеющие много соседей и помечает точки с малым числом соседей как выбросы. Вычислительная сложность алгоритма составляет , где – число кластеризуемых точек. Преимущества DBSCAN: возможность находить кластеры любой формы, малое число параметров, устойчивость к выбросам.

Данные были обработаны при помощи языка программирования Python и библиотек numpy, pandas, sklearn и gensim ^{[8, 9, 10, 13]}.

Результаты исследования и их обсуждение

В качестве источника исходных данных были выбраны все доступные геномы E. Coli из сервиса DOOR. Данная бактерия хорошо исследована и поэтому представляет собой репрезентативный пример. В качестве изначальной выборки взяты известные гены E. Coli, входящие в опероны. Всего 279665 генов, образующих 157528 оперонов.

Этап очистки данных крайне важен, так как все не именованные гены (hypothetical protein) описываются в исходных данных одним и тем же символом, но при этом могут быть никак между собой не связаны, что противоречит приведенной выше аналогии между геном в опероне и словом в тексте. Их исключение значительно улучшает качество модели. Опероны, состоящие из одинаковых генов, всегда группируются в один кластер, это следует из модели, так как они описываются одним и тем же вектором. Самые многочисленные среди них – состоящие из одного гена, при этом такие опероны не слишком интересны с точки зрения своей функции, их исключение облегчает читаемость полученных результатов. Таким образом в процессе очистки данных из выборки были исключены не именованные гены и все содержащие их опероны, также были исключены опероны, состоящие из одного гена. Итоговая выборка составила 86563 гена, образующих 27983 оперона.

При помощи алгоритма word2vec каждый ген был сопоставлен вектору из 50 компонент . После чего выражены вектора оперонов такой же размерности вида: , где – среднее значение по всем входящим в оперон генам.

После получения векторов, соответствующих оперонам, необходимо подобрать параметры для алгоритма кластеризации DBScan. Этими параметрами являются минимальное количество векторов для формирования кластера – и максимальная дистанция, на которой вектора могут считаться соседними – .

Авторами DBScan рекомендовано выбирать равным удвоенному количеству компонент вектора, однако опероны редко дублируются в рамках одного генома, а всего в выборке было использовано 33 генома и 23 плазмиды, поэтому большинство кластеров будут предположительно иметь не более 30 членов, а более редкие опероны могут встречаться только в некоторых плазмидах. Поэтому было принято решение перебрать от 20 до 5 с шагом 5.

Ожидаемы средний размер кластера примерно равен 30, тогда мы ожидаем около 933 кластеров. Значит для отдельного оперона только 1 из любых 933 является соседом. На Рисунке 1 показано распределение косинусных дистанций между векторами оперонов, следует выбрать так, чтобы площадь графика слева от него была в 933 раза меньше, чем справа, был принят равным 0,3.

Рисунок 1 – Распределение дистанций между векторами оперонов (нормализованная гистограмма)

В результате работы DBScan с параметрами , было получено 912 кластеров со средним размером 26,3 члена на кластер. 1765 оперонов алгоритм не смог определить ни в один из кластеров. При проверке результатов один из кластеров содержащий 1982 оперона был очевидно собран из неверно кластеризованных оперонов. Таким образом были удачно кластеризованы 86,6% оперонов. Легко были выделены кластеры содержащие классические опероны: лактозный оперон – кластер из 43 оперонов, триптофановый оперон – кластер из 40 оперонов. Алгоритм устойчив к изменению порядка генов в опероне и к незначительным изменениям в его структуре.

Заключение

Использованные в данной работе данные были заранее значительно обработаны другими сервисами. Геномы были собраны, в них найдены гены (аннотированы) и даже размечены рамки оперонов. Все эти задачи уже достаточно хорошо решены и находятся за рамками рассмотрения данной статьи. Автоматизация процесса разделения оперонов по их функциональным особенностям, является естественным следующим этапом и должна значительно облегчить процесс анализа бактериальных геномов.

Проведенное исследование позволяет утверждать, что word2vec позволяет построить хорошее представление данных, достаточное для эффективной кластеризации оперонов. Использование алгоритмов, разработанных изначально для анализа текстов естественного языка, решает сразу ряд важных проблем анализа геномных данных: огромное количество накопленных данных становится преимуществом, не требуется самостоятельно определять факторы для обучения модели и обосновывать их значимость, не требуется предварительно размечать данные для обучения модели. Полученные результаты показывают возможность использования предложенного подхода для реализации сервисов, позволяющих проводить сравнительный функциональный анализ бактериальных геномов.

Дальнейшие исследования будут направлены на включение в анализ неаннотированных генов, дополнение входных данных другими бактериальными геномами, улучшение механизма подбора параметров модели и повышение ее точности. Также планируется создание открытой базы данных кластеров оперонов.