Algorithmization of the process of analyzing the reliability of online questionnaire data

Martyshenko Natal'ya Stepanovna PhD in Economics Professor, the department of International Marketing and Trade, Vladivostok State University of Economics and Service 690014, Russia, Primorsky Krai, Vladivostok, Gogolya Street 41 natalya.martyshenko@mail.ru Other publications by this author

Martyshenko Sergei Nikolaevich PhD in Technical Science Professor, Department of Mathematics and Modeling, Vladivostok State University of Economics and Service 690014, Russia, Primorskii krai, g. Vladivostok, pr. Krasnogo Znameni, 96, kv. 17 sergey.martishenko@vvsu.ru

Введение

В настоящее время в исследовании социально-экономических процессов все большее распространение получают анкетные опросы ^[1]. В большой степени это связано с распространением онлайн-опросов, реализуемых с помощью различных специализированных программных сервисов, позволяющих не только конструировать онлайн-опросы, но и осуществлять типовую обработку данных ^[2-5]. Среди распространенных онлайн-сервисов можно выделить такие сервисы: Google Forms, Survey Monkey, Survio, Typeform Simpoll и другие. Новые методы производства данных требуют разработки более совершенных методов их обработки. Одной из проблем, которая присутствовала при традиционной форме опроса на бумажном носителе и перешла и в онлайн-опросы, является проблема достоверности данных. При онлайн-опросах эта проблема даже усугубилась ^{[6, 7]}. Во-первых, сбор данных осуществляется без прямого контакта с интервьюером и чаще всего является более обезличенным. Во-вторых, возросли объемы собираемых данных. В-третьих, онлайн-опрос привел не только к сокращению времени на сам опрос, но и времени, отводимого на полный цикл обработки данных. В-четвертых, большинство исследователей, применяющих онлайн-опросы, имеют более высокие запросы к автоматизации исследований. Они не готовы предпринимать значительные усилия для повышения достоверности данных. Проблема качества данных, полученных с помощью онлайн-опросов, поднимается во многих научных публикациях. В качестве примера зарубежных публикаций можно привести работы ^[8-12]. Среди работ российских ученых можно выделить следующие публикации ^[13-17]. Авторами был разработан ряд методов автоматизации обработки анкетных данных, которые прошли апробацию при анализе данных анкетных опросов, проводимых как в онлайн, так и офлайн режимах ^{[18, 19]}. В настоящей работе предлагается к рассмотрению алгоритм, позволяющий автоматизировать процесс анализа достоверности данных анкетных опросов. Преимущество алгоритма состоит в том, что он позволяет анализировать всю (или почти всю) совокупность данных, представленных в анкетах.

Предмет исследования

Предметом исследований являются данные, полученные в ходе онлайн анкетных опросов.

Такие данные формируют многомерные выборки признаков таблиц статистических данных, которые используются для анализа социально-экономических процессов и явлений. В большинстве анкетных форм, представленных в интернет, в качестве основного типа вопросов используют вопросы с набором альтернативных вариантов ответов. Такие анкеты требуют минимального времени заполнения и наиболее понятны большинству респондентов. Ответы на такие вопросы можно представить в виде таблицы объект - свойство. Строки таблицы представляют собой наблюдения (анкеты), а столбцы ассоциированы с отдельными вопросами (признаки). В таком же виде можно представить вопросы, требующие ответов по шкале Лайкерта. Вопросы, требующие заполнения таблицы типа «сетка флажки», имеют аналогичную форму представления. Каждому такому вопросу соответствует несколько столбцов таблицы данных по количеству строк таблицы типа «сетка флажки». Все перечисленные виды измерения можно причислить к измерениям в номинальной шкале.

Все большее распространение в анкетных опросах начинают находить открытые вопросы, которые имеют некоторые преимущество перед вопросами с заданным набором альтернатив. После обработки таких данных они тоже могут быть приведены к номинальной шкале. Обработка открытых вопросов основана на применении операции типизации ^{[8, 9]}. Числовые данные тоже можно свести к ограниченному списку значений путем ранжирования по заданным границам интервалов значений.

Для формализованного описания алгоритма введем некоторые обозначения. Пусть произведена выборка объемом n (количество анкет-строк в таблице данных). Обозначим совокупность номинальных признаков в таблице данных как

,

где m – количество номинальных признаков, .

Элементы множества можно воспринимать как случайные переменные или идентификаторы номинальных признаков. Будем считать, что каждый столбец данных представлен ограниченным набором (множеством) значений признака . Для упрощения записи заменим конкретные значения признака их номерами в списке значений признака. Тогда множество значений признака j можно представить множеством .

Основные принципы работы алгоритма

Работа алгоритма основывается на вполне реалистичных предположениях (гипотезах) относительно выборки, сформированной по данным анкетного опроса.

Первая гипотеза состоит в предположении, что основная масса анкетных данных отвечает требованию достоверности. То есть, большинство респондентов понимали суть заданных вопросов и ответственно относились к ответам на вопросы анкеты.

Вторая гипотеза состоит в том, что вопросы анкеты объединены некоторой общей тематикой, что неизбежно приводит к возникновению некоторых латентных связей между ответами. То есть, данным присущи некоторые статистические закономерности, обусловленные внутренней логикой анкеты. Ответы на одни вопросы анкеты влияют в статистическом смысле на другие ответы. Следуя логике, ответы на отдельные вопросы могут быть либо несовместимы, либо маловероятны. Например, если респондент в одном вопросе указывает что он вегетарианец, а в другом среди наиболее часто заказываемых им блюд в столовой указывает только мясные блюда, то такие ответы противоречат друг другу. Или если респондент отмечает, что он вполне здоров и далее замечает, что тратит большие деньги на лекарства на лечение, - это выглядит нелогично. Нелогичные ответы респондента могут быть вызваны и непреднамеренным действием, например, при недопонимании вопроса анкеты. Однако, такие ответы все равно нельзя признать достоверными.

На основе данных гипотез можно попытаться выделить такие анкеты, которые плохо согласуются с общими закономерностями, присущими выборке.

Работа алгоритма организована по принципу скользящего экзамена. Каждое наблюдение тестируется с помощью определенного критерия. Критерий построен на оценке разницы между отдельным наблюдением и совокупностью наблюдений оставшейся выборкой. После расчета критерия для одного наблюдения оно возвращается в выборку, а из нее изымается следующее наблюдение для тестирования. Критерий учитывает латентные связи между всеми парами признаков.

Упорядочив значение критерия можно выделить «подозрительные» наблюдения (анкеты), которые выпадают из общего ряда наблюдений. Выделенные «подозрительные» анкеты не отбрасываются автоматически, а подвергаются дополнительному содержательному анализу по оценке правдоподобия ответов на вопросы анкеты с целью выяснения причин выделения таких анкет в ряду прочих. И только после установления того, что такие анкеты нельзя признать достоверными, такие анкеты отбрасываются.

Пример расчета критерия оценки достоверности данных анкетного опроса

Алгоритм расчета критерия рассмотрим на примере модельных данных. Объем модельной выборки составляет 101 наблюдение (n=101). Выборка представлена пятью номинальными признаками . Для простоты предположим, что количество возможных значений всех признаков одинаково. В примере принято . Считается, что предварительно выборка номинальных значений признаков была преобразована путем замены возможных значений признаков их номерами в списке. То есть, для всех признаков.

Для наглядности расчеты, полностью совпадающие, многомерные наблюдения выборки (анкеты) были сгруппированы. Для каждой уникальной последовательности значений признаков была рассчитана «частота встречаемости в выборке» Qs, (, где – количество уникальных анкет, встречавшихся в выборке . В нашем примере Сгруппированная выборка представлена в компактном виде в таблице 1.

Таблица 1. Сгруппированная выборка модельных данных

Для каждого наблюдения выборки рассчитывается значение критерия . Алгоритм расчета критерия рассмотрим на примере наблюдения , которое стоит последним в таблице уникальных значений (строка номер 11). Для примера, было выбрано наблюдение, которое наиболее контрастирует со всеми остальными. Для определенности выделенное наблюдение будем называть контрольным. Для обозначения такого наблюдения будем использовать аббревиатуру КН (контрольное наблюдение). Всю оставшуюся выборку, за исключением контрольного наблюдения, назовем обучающей выборкой (ОВ).

По данным полной многомерной выборки рассчитываются частотные ряды по каждому признаку. Графики частотных рядов представлены на рис. 1. Для одномерных рядов реальных выборок, как и в примере, характерно наличие некоторого значения с наибольшей частотой.

На практике частота сочетания значений пар признаков тоже подчиняется некоторой статистической зависимости. В рассматриваемом критерии учитывается связь между всеми парами признаков.

Рис. 1. Частотные ряды по пяти признакам выборки модельных данных

Рассмотрим множество возможных сочетаний пар признаков выборки из 5-ти признаков. Сочетания возможных пар признаков выборки может быть представлено полным графом G с количеством ребер равным d, рассчитываемым по формуле(1). Для 5-ти признаков d=10.

(1)

Расчет элементов критерия для контрольного наблюдения представлен в таблице 2. Второй столбец таблицы содержит все возможные пары признаков. Такие же сочетания пар будут и для любого другого наблюдения выборки.

В третьем столбце таблицы 2 указаны конкретные значения признаков для рассматриваемого контрольного наблюдения. Далее рассчитывается количество таких пар в обучающей выборке без учета кратности (четвертый столбец). Например, пара встречалась только однажды в уникальном наблюдении под номером 6 в таблице 1: . Такая пара может встречаться и в других уникальных наблюдениях (максимум во всех, что крайне маловероятно).

Таблица 2. Расчет критерия для наблюдения

Для пар обучающей выборки, где встречается рассматриваемая пара значений контрольного наблюдения отводятся несколько столбцов таблицы, объединенных под общим названием «Кратность ОВ». Следующий столбец содержит сумму встречаемости пары во всей обучающей выборке. Частота пары рассчитывается путем нормирования встречаемости по объему обучающей выборки (в нашем случае n=100).

Для рассматриваемого контрольного наблюдения обнаружено только по одному совпадению пар в четырех случаях (четыре единицы в столбце «Количество пар в ОВ без учета кратности» в таблице 2). Каждое уникальное значение имеет свою кратность Qs. Например, наблюдение под номером 6 в ОВ имеет кратность 8, а другое наблюдение под номером 4, имеющее аналогичную пару в контрольной выборке имеет кратность 10. Суммарная кратность повторения совпадений каждой пары значений обучающей выборки и контрольного наблюдения записана в столбце «Количество пар в ОВ с учетом кратности» таблицы 2.

Далее рассчитывается частота встречаемости каждой пары обучающей выборки в контрольном наблюдении (столбец «Частота» в таблице 2). Для этого «Количество пар в ОВ с учетом кратности» делится на объем обучающей выборки (в нашем случае 100).

Однако в общем случае все пары неравнозначны. Количество возможных вариантов ответов зависит от количества значений признаков, составляющих пару (в нашем случае для всех признаков ). Количество возможных вариантов значений каждой пары признаков равно (в нашем случае все для всех пар признаков ). Поэтому для различных пар необходимо ввести поправочный коэффициент (вес пары). Веса для разных сочетаний пар признаков в общем случае рассчитываются по формуле (2):

(2)

В нашем примере все пары будут иметь один и тот же вес . Затем рассчитывается «вклад каждой пары» как произведение частоты пары на вес. Суммирование по вкладам каждой пары дает общее значение критерия . В данном случае для контрольного наблюдения значение критерия равно . На рис. 2 представлен график упорядоченных значений критерия для всех уникальных наблюдений выборки.

Рис. 2. График значений критерия для уникальных наблюдений из таблицы 1

На горизонтальной оси указаны номера уникальных наблюдений. Из графика видно, что три наблюдения выбиваются из общего ряда наблюдений выборки, поэтому их можно рассматривать как «сомнительные», с точки зрения достоверности данных. В реальной ситуации такие наблюдения необходимо подвергнуть содержательному анализу ответов респондентов для выяснения причин, в результате которых алгоритмом были выделены именно эти наблюдения. Поскольку «подозрительных» анкет, как правило, не так много, то такой анализ обычно не вызывает особых затруднений. Блок-схема алгоритма представлена на рис.3.

Рис. 3. Блок-схема алгоритма оценки достоверности наблюдений анкетных данных

На основе предложенного метода анализа достоверности анкетных данных была разработана компьютерная программа в среде EXCEL. Кроме модельных данных, программа была протестирована и на реальных данных и показала хорошие результаты.

Заключение

Основным достоинством предложенного метода является то, что он позволяет оперативно анализировать многомерные выборки таблиц данных, сформированных на основе онлайн-опросов. Метод очень прост в использовании и доступен даже для не искушенных исследователей.

Преимущество метода состоит в том, что позволяет учесть латентные связи, присущие исследуемому объекту. При недобросовестном отношении к опросу части респондентов они не задумываются о возможных статистических связях и тем самым порождают данные, выпадающие из общего ряда наблюдений. Если бы такие респонденты попытались предпринять попытку умышленной фальсификации ответов, то на заполнение такой анкеты потребовалось бы затратить времени больше, чем на предоставление объективной информации.

Для анализа достоверности данных онлайн-опросов целесообразно использовать ряд критериев. Например, можно использовать критерии, которые были разработаны автором ранее для различных типов данных ^[20].

Возможно, предложенный метод в дальнейшем может быть использован для классификации наблюдений. Например, в графике на рис. 3 можно выделить три зоны, которые могут быть положены в основу классификации. Эта возможность может быть определена в результате дальнейших исследований.