Automating the formation of databases based on the results of questionnaires

Введение

В последние годы при исследовании социально-экономических процессов все шире применяться анкетные опросы. Со временем анкетные формы становятся более совершенными, включают большое разнообразие типов вопросов. Включение разнообразных типов вопросов расширяет возможности исследователя по анализу ситуации и выработке управленческих решений. На этапе составления анкеты исследователь должен учитывать множество факторов: от возможности убедить респондентов в представлении достоверной информации до оценки своих возможностей по обработке собранных данных – спектра методов и технологий, которыми владеет исследователь.

Стремление к всестороннему анализу ситуации приводит к тому, что часто анкеты включают достаточно большое количество вопросов. Использование многомерных методов анализа данных предъявляет особые требования к объему выборок. Все чаще в своих изысканиях исследователи проводят не разовые акции по сбору данных, а повторяют сбор данных с определенной цикличностью (мониторинг ситуации). Поэтому исследователи сталкиваются с большой проблемой сбора первичного материала, а затем и переноса его на машинный носитель для дальнейшей обработки с использованием разнообразных программных средств анализа данных. Этап сбора информации во многом определяет качество результатов, которых возможно добиться в результате обработки данных ^{[1, 2]}. Свои возможности по сбору данных исследователь всегда должен соизмерять с доступными ему временными и финансовыми ресурсами.

Использование сложных статистических методов обработки данных требует переноса данных в среду, в которой возможно использование инструментов, реализующих такие методы в виде специальных программных модулей. Расширить возможности исследователей может сочетание различных методик сбора, хранения и передачи данных. То есть, актуальной проблемой является разработка программных средств, обеспечивающих согласование различных технологий сбора и обработки данных. В настоящей работе рассматривается программный модуль, позволяющий согласовать различные методики сбора данных и объединять данные в единую базу данных.

В последнее время все большее распространение среди российских исследователей начинают получать сервисы-онлайн опросов. Поэтому в работе, посвященной автоматизации сбора анкетных данных целесообразно специально выделить эту технологию.

Анализ современных средств поддержки интернет-опросов.

Понимание значимости и очень высокой трудоемкости этапа сбора данных привело к тому, что появилось множество программных средств по автоматизации сбора анкетных данных в сети интернет (сервисов для проведения онлайн опросов) ^[3-5]. Технологию сбора данных посредством самостоятельного заполнения интервьюером анкет в интернете в мировой практике известна как CAWI-технология (computer-assisted web interviewing). Различные программные средства отличаются набором инструментальных средств доступных исследователю для составления анкетных форм, распространения анкет в сети, представления и обработки данных. В России широкое использование онлайн опросов началось гораздо позже, чем в западных странах. Особенно возросло количество анкетных опросов, в последние несколько лет. В настоящее время существует уже не мало отечественных публикаций в которых рассматриваются современные тенденции проведения онлайн-исследований ^{[6, 7]}. Онлайн опросы с большим успехом используются в исследованиях общественного мнения. Большие перспективы имеет использование онлайн-технологий опросов населения для установления обратной связи органов управления и населения. С помощью онлайн опросов можно оперативно оценивать качество обслуживания населения в различных сферах.

Известные программные средства автоматизации сбора данных в интернет во многих случаях облегчают работу исследователей. По отношению к традиционной методике сбора анкетных данных на бумажном носителе использование интернет-сервисов обеспечивает исследователю ряд преимуществ. При использовании CAWI-технологии не нужно привлекать специальных сотрудников по сбору данных (интервьюеров) и технических работников по переносу данных из бумажного носителя в компьютерное представление. Однако, CAWI-технология имеет и свои недостатки. В последние годы появились публикации, посвященные исследованию угроз качеству и надежности данных, полученных с помощью онлайн опросов ^[8-10].

В качестве примера наиболее распространенных интернет-сервисов можно привести следующие сервисы: Google формы, Survio.com, SurveyMonkey.ru, Testograf.ru, Simpoll.ru, Webanketa, LimeSurvey. Однако, в онлайн-сервисах представлен ограниченный набор средств анализа данных, которые больше пригодны для предварительного анализа. Для решения сложных задач чаще всего используется многомерный анализ данных, который не входит в число инструментов интернет-сервисов. Поэтому данные, собранные в сети, чаще всего приходится экспортировать в среды, обладающие мощными инструментами обработки данных. Наиболее распространенной средой обработки многомерных данных служит EXCEL.

Цель исследования

С увеличением количества исследований, основанных на онлайн опросах, потребность в программных средствах, позволяющих осуществлять согласование различных технологий, будет только возрастать. Онлайн-сервисы сделали анкетные опросы более доступными для исследователей обладающих различным уровнем компьютерной грамотности. Большинство из таких исследователей не является специалистами в области разработки программных средств. Но по мере накопления опыта работы по сбору данных онлайн, у них, естественно, станет возникать потребность применения различных технологий обработки данных, согласования данных, собранных всеми доступными им способами. Целью настоящего исследования является разработка программного средства, позволяющего осуществлять объединение данных, собранных различными способами, в базу данных. Другими словами, целью работы является повышение эффективности научных исследований, основанных на использовании опросов населения.

В качестве среды объединения данных выбрана среда EXCEL, которая в настоящее время является одним из наиболее распространенных приложений в мире. Кроме того, что в среде EXCEL разработано достаточно много собственных средств анализа данных, данные из EXCEL легко экспортируются в другие системы анализа данных.

Среди основных задач данной публикации можно выделить задачу ознакомления исследователей, использующих в своей практике анкетные опросы, с новыми технологиями организации сбора анкетных данных и инструментальными средствами формирования баз данных с использованием компьютера.

Материал и методы исследования

Предлагаемое к рассмотрению программное средство относится к классу систем автоматизации научных исследований. Данная программа была разработана на основании обобщения опыта проведения анкетных опросов по исследованию социально-экономических процессов во Владивостокском государственном университете экономики и сервиса ^{[11, 12]}. Для анализа различных схем организации сбора информации и переноса информации на машинный носитель использовалась методология системного анализа. Кроме того, был использован практический опыт использования различных интернет-сервисов по организации онлайн-опросов, изложенный в научных публикациях.

Результаты исследования и их обсуждение

Использование анкетных интернет-форм имеет ряд недостатков, среди которых ограниченные возможности влияния на формирование аудитории респондентов, сложность стимулирования респондентов к заполнению анкетных форм. Поэтому наряду с использованием интернет-анкетирования, часто возникает необходимость в использовании других форм организации опросов.

Вообще говоря, для исследователя наибольший интерес представляет этап обработки данных, на котором и формируются результаты исследования, вырабатываются выводы и разрабатываются рекомендации по принятию управленческих решений. Для обработки данных используются инструментальные средства в виде компьютерных программ, реализующих те или иные методы обработки данных. То есть, работа по анализу данных начинается тогда, когда в распоряжении исследователя появляется компьютерное представление данных анкетного опроса. Для того чтобы получить данные, отвечающие требованиям исследователя, он, как правило, сам участвует в организации системы сбора данных и подготовки данных. Вместе этап сбора и подготовки данных можно определить как подготовительный этап работы (рис. 1). Для определенности будем считать, что подготовительный этап заканчивается моментом, начиная с которого исследователь может приступить к обработке и анализу данных на компьютере.

Рис. 1. Обобщенная схема обработки анкетных данных

Различные формы организации опроса сопряжены со своими сложностями (проблемами), которые исследователь должен учитывать при выборе той или иной формы организации работы на подготовительном этапе. Можно выделить следующие основные факторы, определяющие эффективность подготовительного этапа работы: длительность подготовительного этапа работы, качество информации и стоимость организации работы. Эти факторы находятся во взаимозависимости. Принимая решение об организации работ на подготовительном этапе, исследователь вынужден искать компромисс между желаемым и возможным.

Исследователь, как правило, не в состоянии самостоятельно выполнить все работы на этапе сбора информации. Поэтому он вынужден для выполнения отдельных видов работы привлекать исполнителей. Такая работа носит эпизодический характер и не требует очень высокой квалификации. Для ее выполнения часто привлекаются студенты. Таким образом, исследователь, как правило, на этапе сбора данных налаживает взаимодействие с группой исполнителей, которая может быть достаточно большой. При этом взаимодействие должно быть четко оговорено процедурой и осуществляться в оперативном порядке. Программное средство, предлагаемое к рассмотрению в настоящей работе, позволяет автоматизировать труд исследователя (руководителя проекта) на этапе сбора данных при взаимодействии с коллективом исполнителей, участвующих в работе. Конкретные функции программы были выработаны исходя из обобщения практического опыта работы с использованием различных способов организации сбора данных.

Для того чтобы дать представление о возможностях разработанного программного средства, рассмотрим различные сценарии организации системы сбора анкетных данных, в которых может быть использовано данное программное средство.

Сценарий 1.

В этом случае респондент самостоятельно вводит данные в компьютерную форму, заранее подготовленную в определенном программном продукте. Как частный случай, в качестве формы может выступать и форма, подготовленная с помощью внешних интернет сервисов создания анкет. Формы ввода анкетных данных могут быть созданы исследователем и с использованием инструментов Access или Excel. При разработке анкетных форм в этих программных продуктах можно создать более совершенные формы, чем с помощью типовых инструментов конструкторов форм интернет опросов. Отличие в возможностях будет примерно такое же, как строительства зданий из типовых блоков и строительства здания по индивидуальному проекту.

Файл с разработанной формой в формате Access или Excel может быть передан респондентам самим исследователем. В роли респондентов могут выступать аудитория студентов или группа экспертов. При этом исследователь сам участвует в формировании группы респондентов и инструктирует их по правилам заполнения формы. В такой схеме роль интервьюера выполняет сам исследователь, а в роли оператора выступает сам респондент. В результате такого опроса исследователь получает множество файлов определенного формата. Такие файлы всегда можно собрать в одну папку на компьютере. Для сбора файлов можно использовать корпоративную сеть учреждения (например, университета). Файлы можно пересылать и по электронной почте. При большом количестве собираемых анкет, работа по объединению файлов в единую базу данных может потребовать от исследователя много непроизводительных затрат времени.

Такая схема может быть реализована множеством различных способов, в зависимости от особенностей исследуемого явления или процесса и возможностей самого исследователя. Во всех случаях в результате будем иметь множество единообразных файлов, которые нужно объединить в единую базу.

Сценарий 2.

Отличие этого сценария заключается в том, что исследователь частично делегирует свои функции группе интервьюеров, которые организуют сбор данных в электронном виде. В своей работе интервьюеры могут частично использовать анкетирование на бумажном носителе. Иногда необходимо иметь дубликат всех анкет на бумажном носителе. В результате использования этого сценария в распоряжении исследователя оказывается группа файлов, каждый из которых содержит несколько записей определенного формата, которые исследователю необходимо объединить в единую базу данных.

В результате анализа различных форм представления анкетных данных был разработан программный модуль в среде Excel, который позволяет осуществлять «сборку» различных вариантов оформления первичных данных в единую базу данных. Для объединения данных могут быть использованы четыре режима работы программы:

– точка входа в таблице Excel;

– точка входа в таблице Excel с построчным представлением данных в результирующей базе данных;

– сборка данных таблиц Excel по заданному шаблону;

– сборка данных, полученных в результате заполнения форм Access.

На рис. 2 представлен интерфейс обращения к программе в различных режимах. На рис. 3 представлены примеры файлов, которые необходимо объединить и результат работы программы в различных режимах.

Заключение

Разработанное программное обеспечение обладает двумя важными качествами: простота использования и универсальность.

Программное обеспечение прошло апробацию при организации подготовки данных в ряде анкетных опросов. Оно позволяет исследователю одновременно использовать несколько схем сбора информации. Совмещение этапа сбора информации и ввода данных в компьютер существенно сокращает длительность подготовительного этапа и позволяет исследователю в сжатые сроки приступить к содержательному анализу данных. Оперативность получения информации несет еще ряд преимуществ. Получение информации с минимальной задержкой позволяет оперативно внести изменения в анкетную форму уже в начале сбора информации, что способствует улучшению качества собираемой информации.

Рис. 2. Интерфейс программного модуля «Сбор файлов»

Рис. 3. Примеры вариантов сборки данных в единую базу в различных режимах работы программы

Оперативный анализ данных, поступающих от различных интервьюеров, позволяет вовремя отреагировать на некачественную работу отдельных интервьюеров и принять меры по улучшению их работы. Сочетание различных организационных форм сбора анкетных данных позволяет применять технологию «конструирования» выборки, добиваясь более высокой ее репрезентативности.

Автоматизация сбора информации способствует развитию компьютерных технологий, которые могут быть использованы для выполнения гражданских онлайн-экспертиз привлечению населения к выработке управленческих решений.