Application of data transformation algorithms in time series analysis for elimination of outliers

В настоящее время аспектам обработки информации уделяется большое внимание, и обработка информации является одним из ведущих ориентиров не только в сфере информационных технологий, но и в других отраслях, поскольку информация используется во всех без исключения сферах человеческой деятельности. Качественный анализ информации позволяет выявлять тенденции, характеристики или некоторые свойства тех или иных объектов. А качество информации – это одна из важнейших характеристик для потребителей.

С точки зрения качества информация должна быть содержательной, актуальной, достоверной, доступной, устойчивой и прагматичной, поэтому обработка информации представляет собой важную задачу ^{[1, с. 28-42, 2]}.

Имеются различные подходы к аспектам обработки информации. Если речь идёт о данных некоторых процессов, то одним из таких подходов является статистическая обработка информации.

Качество информации, получаемой из временных рядов, зависит от множества факторов: от частоты дискретизации, точности измерений, способов вычислений, особенностей конкретного процесса и других факторов. Одним из таких факторов является наличие или отсутствие выбросов значений, существенно меняющих сведения о временном ряде. Если временной ряд обладает робастностью, то значительных изменений в характеристиках ряда может и не последовать ^[3]. Но на практике зачастую встречаются временные ряды, не обладающие данным статистическим свойством.

Существует большое число методов по предварительному преобразованию временных рядов с целью приведения ряда к виду, пригодному для обработки. В их основе лежат различные подходы, связанные с использованием различных статистических характеристик и математических методов. В статье рассматриваются особенности результатов применения некоторых алгоритмов предварительной обработки данных к временным рядам.

Временным рядом называется серия величин, описывающих некоторый процесс, измеренных и записанных в последовательные, как правило, равные промежутки времени ^[4]. Рассмотрим некоторые варианты устранения выбросов путём сглаживания временного ряда алгоритмами медианного сглаживания и среднего сглаживания. Покажем, что алгоритмы сглаживания применимы к различного вида рядам, т.е. не привязаны к конкретным статистическим характеристикам.

Пусть имеется некоторый временной ряд, который обладает следующими статистическими характеристиками:

· количество элементов – 50;

· среднее арифметическое – 12,36;

· медиана – 11;

· стандартное отклонение – 10,36.

После применения сглаживающих фильтров по трём точкам полученные временные ряды обладают следующими характеристиками:

· среднее арифметическое – 12;

· медиана – 11;

· стандартное отклонение – 6.

Для граничных точек при данных видах сглаживания использовалась процедура Тьюки ^{[5, 6, с. 529-539]}. При этом после сглаживания визуально заметно, что, несмотря на близость значений статистических характеристик к характеристикам исходного ряда (среднее арифметическое и медиана), визуально ряд, сглаженный с помощью среднего арифметического, более точно повторяет поведение исходного ряда, а ряд, сглаженный медианой, имеет наиболее выраженные тенденции, характеризующие ряд (рис. 1).

Рисунок 1. Визуализация сглаживания ряда с помощью медианы и среднего значения по 3 точкам
(по горизонтальной оси - индексы элементов; по вертикальной оси - значения элементов)

Аналогичный эксперимент был проведён по сглаживанию по пяти и семи точкам. Данный эксперимент показал, что использование таких алгоритмов устраняет выбросы исходного ряда, но при этом может приводить к появлению новых выбросов. Особенно наглядно это становится заметно при сглаживании с помощью среднего значения в граничных точках.Результаты эксперимента приведены в таблице 1, где в столбце «Способ сглаживания» условно обозначены алгоритмы преобразования данных, например, среднее-3 – это способ сглаживания через среднее арифметическое с окном скольжения длиной в 3 элемента.

Таблица 1. Результаты сглаживания с использованием процедуры Тьюки

Использование линейного сглаживания с помощью интерполяционных многочленов позволяет в некоторых случаях избежать возникновения новых выбросов, получая при этом результаты, приближённые к сглаживанию с использованием процедуры Тьюки ^[7] (рис. 2). Для сглаживания по трём точкам применяются следующие формулы:

где N – число наблюдений во временном ряду.

Формулы, применяемые для линейного сглаживания по пяти точкам:

где N – число наблюдений во временном ряду.

Для сглаживания по семи точкам используется алгоритм нелинейного сглаживания.

где N – число наблюдений во временном ряду.

Результаты эксперимента приведены в таблице 2.

Таблица 2. Результаты сглаживания с использованием интерполяционных многочленов

Рисунок 2. Визуализация сглаживания ряда с использованием интерполяционных полиномов
(по горизонтальной оси - индексы элементов; по вертикальной оси - значения элементов)

Помимо этого, на практике широко зарекомендовал себя фильтр 4253Н – фильтр, основанный на последовательности преобразований исходного ряда через четырёхточечную скользящую медиану с применением центрирования, пятиточечное медианное сглаживание и трёхточечную скользящую медиану с использованием весов Хеннинга ^[8-10]. Данный фильтр сперва применяется к исходному ряду, а затем к остаткам, полученным в результате сглаживания. Сумма сглаженных остатков и ряда, сглаженного на первом этапе, представляет собой ряд, сглаженный фильтром.

Преобразованный этим фильтром ряд визуально сохраняет все тенденции исходного ряда и обладает статистическими свойствами, подобными исходному ряду (рис. 3).

Рисунок 3. Визуализация сглаживания ряда с помощью 4253Н-фильтра
(по горизонтальной оси - индексы элементов; по вертикальной оси - значения элементов)

Существует несколько известных вариаций этого фильтра. Наиболее часто применяются 4253Hи 4253H-twice.

Помимо этого, фильтр 3RSSH, основанный на цикличном применении скользящей медианы к элементам ряда, также хорошо снижает влияние выбросов на статистические характеристики временного ряда. Фильтр циклично применяет медианное сглаживание по трём точкам к блокам временного ряда, ограниченных стыками повторяющихся значений, тем самым добиваясь устранения значений-выбросов и приводя кривую визуально к более гладкому виду ^{[8, 11, 12]}.

Сглаживание с пропуском среднего (skip-meanfilter, sm-filter)также иногда применяется при обработке временных рядов ^[13]. Зачастую данный способ сглаживания используется в комбинации с другими видами сглаживания, поскольку разовое применение данного алгоритма в большинстве случаев не способно полностью устранить выбросы – алгоритм, как правило, смещает выбросы.

Таблица 3. Результаты сглаживания с использованием фильтров 4253Н и 3RSSH

Заменим несколько элементов исходного ряда на значения-выбросы и получим модифицированный ряд. Такое внедрение в исходный ряд нескольких элементов-выбросов позволит оценить, насколько тот или иной метод сглаживания проявляет себя лучше.

Пусть в новом, модифицированном ряде имеются 4 значения-выброса, различимые даже на уровне визуального анализа временного ряда. Применим поочерёдно алгоритмы сглаживания и сравним полученные результаты.

Таблица 4. Результаты сглаживания после добавления элементов-выбросов

Заметим, что размах элементов выборки значительно сокращается в случаях применения алгоритмов сглаживания, основанных на использовании медианы, а наилучшие результаты получены при сглаживании с использованием комбинированных 4253Н-фильтров. При этом алгоритмы, основанные на использовании среднего арифметического наиболее подвержены влиянию выбросов: алгоритмы хоть и избавляют от элементов-выбросов, но тем не менее изменяют характер поведения временного ряда на участках, где данные элементы находились. А в случае с использованием фильтров с пропуском среднего размах и вовсе изменяется незначительно по сравнению с методами на основе медиан (рис. 4).

Рисунок 4.Визуализация сглаживания ряда с выбросами с помощью 4253Н-фильтра
(по горизонтальной оси - индексы элементов; по вертикальной оси - значения элементов)

Таким образом, использование алгоритмов по сглаживанию данных на основе медианы позволяет наилучшим из рассмотренных способов устранить выбросы из обрабатываемых временных рядов. Это связано с тем, что медиана является наиболее робастной, т.е. устойчивой к помехам, статистической характеристикой ^[14].

Применение сглаживающих фильтров позволяет устранить выбросы, сохранив при этом общие характеристики временного ряда. Автоматизация применения сглаживающих фильтров позволит сократить временные затраты на исследование и дальнейшую обработку временного ряда.

Как было показано в экспериментальной части, широкий спектр методов сглаживания, а также сравнение различных статистических характеристик позволяет определить, какой из применённых алгоритмов наиболее применим в исследуемой ситуации. Для автоматизации расчёта было реализовано программное средство, позволяющее не только применять данные алгоритмы, но и визуализировать процесс сглаживания с сохранением истории применения трансформаций, а также сразу определять необходимые статистические характеристики. Благодаря этому, пользователь имеет возможность вернуться к любому шагу истории в том случае, если применённая трансформация искажает временной ряд (рис. 5). Программное средство разработано в среде Microsoft Visual Studio 2015, поскольку данная инструментальная среда обладает достаточным функционалом для реализации всех необходимых компонентов, в частности для визуализации графики, сохранения истории изменений и возможности применения различных алгоритмов.

Рисунок 5. Визуализация применения алгоритмов сглаживания с помощью программного средства

Выводы

Авторы кратко описали способы применения алгоритмов преобразования данных на примере их применения к временному ряду с выбросами и без выбросов. Приведены сравнительные характеристики применения алгоритмов и проанализированы полученные в результате экспериментов данные. Предложено программное средство, упрощающее проведение анализа временного ряда на предмет устранения выбросов.