The problems of wording survey questions: sociological-linguistic analysis

Grekhneva Larisa Vsevolodovna PhD in Philology Docent, the department of Russian Language Teachning Technique in Other Linguistic Environment, National Research Lobachevsky State University of Nizhny Novgorod 603005, Russia, Nizhegorodskaya oblast', g. Nizhnii Novgorod, ul. Bol'shaya Pokrovskaya, 37 larissag@yandex.ru Other publications by this author     Krivov Sergei Valer'evich PhD in History Associate Professor, Department of Political Science, Lobachevsky Nizhny Novgorod State University Senior Researcher of the International Interdisciplinary Laboratory "Study of World and Regional Socio-Political Processes" of the Nizhny Novgorod State Linguistic University named after N.A. Dobrolyubov 603000, Russia, Nizhegorodskaya oblast', g. Nizhnii Novgorod, ul. Gagarina, 23, of. 307 skrivov@rambler.ru Other publications by this author

Starkin Sergey Valer'evich Doctor of Politics Professor, the department of Political Science, Institute of International Relations and World History of Lobachevsky State University of Nizhny Novgorod; Leading Scientific Associate, International Interdisciplinary Laboratory "Study of Global and Regional Socio-Political Processes", N. A. Dobrolyubov State Linguistic University of Nizhny Novgorod 603000, Russia, g. Nizhnii Novgorod, ul. Ul'yanova, 1, kab. 307 starkinserge@mail.ru Other publications by this author

Введение Наиболее важной частью подготовки к проведению массового опроса является правильная постановка вопросов, позволяющая выявить и измеритьпредпочтения, опыт и мотивы поведенияреспондентов. Несмотря на важность осуществления адекватной выборки опрашиваемыхи использования эффективных методик обработки полученной информации, результаты самого исследования будут неточны без корректно сформулированных и понятных респондентам вопросов. Выбор слов и построение фраз имеют решающее значение для понимания вопроса и его интерпретации респондентом, поскольку даже небольшие различия в формулировках могут существенно повлиять на результаты.При этом важно не только грамотное (соответствующее языковым и речевым нормам) составление вопросов, но также и их взаимное расположение в вопроснике.Важнейшимтребованием здесь также является доступность (незатрудненность восприятия смысла), которая проявляется в том, что каждый респондент должен однозначно воспринять содержаниевопросов и ответить на них так, чтобы если бы ему задали этот вопрос снова, то его ответ был бы тем же. Рассматривая указанную проблему, мы выявилиряд сложныхаспектов, связанных с формулировкой вопросов при исследовании общественного мнения, а также наметили путирешениявозникающих проблем.Указанная проблематика неоднократно привлекала внимание как российских, так и зарубежных исследователей: В.А. Ядова ^[1], И.Ф. Девятко ^[2], Г.Г. Тартаровой ^[3], О.М. Масловой ^[4], А.Ю. Мягкова ^[5], Э. Ноэль-Нойманн ^[6] и других. В настоящей работе делается попытка осуществления социолого-лингвистического анализа проблем, связанных с формулировкой вопросов в анкетах для массовых опросов по актуальным политическим вопросам. В качестве эмпирического материала нами были взяты данные опросов общественного мнения, проведённых различными российским и американскими службами по изучению общественного мнения, включая PewResearchCenter, NBSNews,WallstreetJournal, Левада-центр, Институт социологии РАН. Выбор типа вопроса (структурный аспект) Выбор одного из двух основных типов вопросов – открытых и закрытых – является одной из наиболее дискуссионныхтем в исследовательской литературе. В открытом вопросене предлагаются вариантыответовиреспонденту приходится формулировать их самостоятельно, ввопросе закрытоготипапредставлен перечень возможных ответов, из которого нужно выбрать тот, который в большей степени соответствует позиции респондента. Ярким примером таких различий в формулировках являетсяизвестныйв американской практике вопрос о «наиболее важной проблеме». Так, Институт Гэллапа, как правило, задаёт его в открытой форме:«Какая самая важная проблема стоит перед страной сегодня?» ^[7].Однакомногиедругие опросные службы формулируют этот же вопрос в закрытой форме:«Какая из следующих проблем, стоящих сегодня перед страной, является самой важной?»,после чего следует краткий перечень проблем. Очевидно, что открытые вопросы позволяют выявить более широкий спектр мнений населения, подталкивая респондентов формулировать ответы самостоятельно. Однако при этомих сложно кодироватьдля составления измерительных шкал, а затем статистически обрабатывать полученные результаты. Процесс анализа мнений занимает больше времени, ав условиях сжатых сроков исследователь вынужден задавать меньше вопросов, испытывая при этом трудности сформулировкой выводовпри ограниченномматериале исследования.Кроме того, такие вопросы у определенной части респондентов вызывают затруднения, связанные с необходимостью формулировать ответ самостоятельно. Так, в исследовании Р. Жоу было показано, что 75% респондентов в ходе опросов вообще не смогли ответить на открытые вопросы ^[8]. Напротив, закрытые вопросы легче подвергаются обработкеи анализу, и при этом их количество может быть бóльшим. И, несмотря на то, что этот тип вопросовзаставляетнекоторых респондентов чувствовать себя ограниченными в своих ответах, подавляющее большинство опросных компаний имеют дело именно с закрытыми вопросами. Тип вопроса может влиять и на содержание ответов. Например, в опросе, проведенном PewResearchCenterпосле президентских выборов 2008 г., респонденты по-разному ответили на две версии одного и того же вопроса: «Какаяпроблемабыланаиболее важной для Вас при принятии решения о том, за кого Вы голосовали?». Отвечая на вопрос закрытого типа, в котором респондентам было предоставлено пять вариантов ответа или возможность сформулироватьсвой вариант, более половины (58%) выбраливариант «экономика». Однако в ответах на тот же вопрос открытого типа этот вариант указали только 35% опрошенных.Более того43% участвовавших в открытомопросеуказали варианты, которыхвообще не содержалось в списке. В то же время лишь 8% отвечавших на закрытый вопросвообще попытались сформулировать какой-либо собственный вариант ответа ^[9]. Следует также заметить, что при формулировке закрытых вопросов ответ будет напрямую зависеть от последовательности задаваемых вопросов. Например, когда в 2002 г.американцам был задан вопрос:«Важнее ли президенту Бушу сосредоточиться на внутренней политике или на внешней политике?»,52% опрошенных выбрали внутреннюю политику, а 34% - внешнюю политику. Однако далее в анкете категория «внешняя политика» была сужена до её более узкого аспекта –«войны с терроризмом», под которой понимались силовые действия на территории Афганистана и Ирака. В результате только 33% выбрали внутреннюю политику, в то время как 52% выбрали именно «войну с терроризмом» ^[10]. В последнее время службы по изучению общественного мнения зачастую привлекают для исследования оба типа формулировок, используя их на разных этапах эксперимента. Так, вначале применяются открытые вопросы, целью которых является выявление наиболее распространенных среди населения вариантов ответа на вопрос. Затем наиболее часто упоминаемые из них включатся как варианты ответа на вопрос закрытого типа, который позволяет точнее отразить спектр предпочтений населения. Также большинство опросных программ сокращает число предлагаемых вариантов ответов на закрытые вопросы - четыре илипять - особенно в ходе телефонных опросов, поскольку людям трудно удерживать большее количество вариантов в памяти в одно и то же время. Исключения могут делаться, когда задается вопрос об объективном факте, например о религиозной принадлежности респондента или электоральной поддержке кандидатов, предполагающий использование большего количества категорий. Например, стандартный опрос о религиозной принадлежности в США включает, как правило, 12 различных категорий, отражающих весь спектр возможной конфессиональной принадлежности. Большинство респондентов не имеют никаких проблем с этим вопросом, потому что они могут просто ждать, пока услышат их религиозную традицию.

Выбор языковых средств (лингвистический аспект)

На восприятие смысла вопроса всегда влияет его речевая форма, в частности, выбор определеннойлексики, морфологических форм, синтаксических конструкций. Для получения достоверных результатов опроса необходимо выбирать наиболее понятную, доступную для восприятия респондентами лексику и грамматическую форму вопроса.

Важную роль при создании вопросов для исследования общественного мнения играет выбор лексических средств. Зачастую именно неверный выбор слов приводит к недостоверным или сомнительным результатам опросов.

Одной из речевых проблем некорректных опросных формулировок является использование эмоциональных слов, например, слов негативно оценочных или потенциально оскорбительных для некоторых респондентов. Так, в ходе опроса 2005 г. 51% респондентов заявили, что они выступают за то, чтобы «признатьзаконным для врачейположить конец жизни неизлечимо больных пациентов», но только 44% ответили положительно на вопрос, имеющий такой же смысл, но другую лексику: «Готовы ли вы признать законным для врачейпомочь неизлечимо больным пациентам в совершении самоубийства» ^[11].В этом контексте в российской юридической практике становится понятной замена выражения «убийство» на «причинение смерти», что в случае, например, совершения подобного деяния «по неосторожности» освобождает от необходимости суждения о нём именно как об убийстве. Как в практике судопроизводства, так и в ходе опросов, указанное понятие ранее было отягощено заведомо преступным по содержанию восприятием.

В формулировках вопросов рекомендуется использовать неличные конструкции и безоценочную лексику: не использовать личные местоимения и прямые обращения к респондентам, а также не использовать слова, семантика которых включает определенную оценку события (например, поддерживать, одобрять и т.п. Так, более предпочтительной является формулировка вопроса «Должны ли Соединенные Штаты принимать участие в военных действиях…?», чем «Поддерживаете ли вы участие Соединенных Штатов в боевых действиях». Такие слова, как поддерживаете или одобряете логично заменять глаголами думаете или считаете, употребление которых сглаживает категоричный характер формулировок и избавляет респондента от необходимости выступать в роли судьи.

Одним из речевых недостатков вопросов для исследования общественного мнения может являться излишняя сложность лексики, употребление терминов, смысл которых может быть недоступен всем членам общества. Например: “Считаете ли вы, что Конгресс должен принять законодательство, обеспечивающее планы по возмещению затрат на единого плательщика для неимущих пациентов (single-payercostreimbursementforindigentpatients)», включает отсылки как минимум к трём терминам, которые могут быть непонятны широкому кругу лиц. В результате такая сложная формулировка может поставить в тупик респондентов, и результаты опроса окажутся недостоверными.

Достаточно часто неправильная формулировка вопроса приводит к затрудненному восприятию смысла вопроса. Эта проблема может быть связана с неуместным использованием речевой конструкции с отрицанием. В этом случае отрицание, содержащееся в вопросе, создает трудности выбора ответа: отрицательный ответ (нет или не согласен) является здесь положительной реакцией, а утвердительный ответ – негативной реакцией. Использование таких вопросов может запутать респондента, особенно когда ответы предполагают выбор -«Согласен»или «Не согласен». Так, например, при восприятии фразы «Иногда я не могу выразить, насколько я интересуюсь политикой», непонятно, что будет означать реакция "Согласен":что респондент не интересуется политикой, или, напротив, он заинтересован, но просто не может это выразить? В данном случае, несомненно, была бы более уместна простая утвердительная фраза:«Меня обычно интересует политика. Согласен/ не согласен». Также исследования показывают, что ответы на подобные вопросы различаются у респондентов разного уровня образования. Так, менее образованные и менее информированные респонденты в бóльшей степени соглашаются с утвердительными заявлениями,по сравнению с более образованными и лучше информированными. Такая ситуация получила название молчаливого одобрения (acquiescencebias). Данный эффект очевидно вызван трудностями в восприятии смысла вопроса необразованными респондентами.

Также представляется проблемным использование бинарных вопросов.Этот тип вопросов заключает двойственность в самой формулировке иимеет в качествевариантов ответа альтернативу "Да" или "Нет". В речевом плане такой тип вопроса включает конструкцию из двух однородных членов предложения, из которых респондент не может выбирать только один. В результате вопросы этого типа бывают сформулированы так, что при анализе ответов невозможно определить, указывает ли респондент тот или иной ответ или и то, и другое.Возьмем, к примеру, вопрос об участии в голосовании:«Вы голосовали на выборах 2004 и 2006 годов?».Когда респондент отвечает «да», означает ли это, что она голосовала в 2004 и 2006 годах, в 2004 году, но не в 2006 году или в 2006 году, но не в 2004 году? Достоверность результатов исследования, включающего подобные вопросы, оказывается под сомнением. Этот вопрос можно было бы сформулировать как два отдельных вопроса или следующим образом:Вы голосовали как в 2004, так и в 2006 году, в 2004 году, но не в 2006 году, в 2006 году, но не в 2004 году, или ни на одних выборах?Естественно, что в данном случае мы сталкиваемся с излишней громоздкостью формулировок. Выход в этой ситуации лишь один: не выбирать для вопроса такую речевую конструкцию.

В целом в речевом плане формулировка вопроса для исследования общественного мнения должна содержать единицы, доступные восприятию любого носителя языка. При выборе лексических единиц следует отдавать предпочтение безоценочной общеупотребительной лексике, а при выборе синтаксических конструкции – негромоздким конструкциям с прямым порядком слов и без отрицания. Корректная речевая форма вопроса обеспечивает точность формулировки, отсутствие возможностей инотолкования (многозначности), а, следовательно, и доступность информации вопроса.

Проблема предвзятости вопросов (содержательный аспект)

Помимо факторов, возникших из-за неправильного речевого построения вопросов, существенное влияние на ответы может оказывать их предвзятый характер.Так, часто можно иметь дело с так называемыми несбалансированными или наводящими вопросами, то есть вопросами, в формулировке которых уже заложено определенное направление для ответа.

Зачастуюпредвзятость наблюдается в так называемыхнесбалансированных вопросах. Это вопросы, которые своей формулировкой могут наталкивать респондента на определенный ответ. Например, вопрос «Поддерживаете ли вы Соединенные Штаты в военных действиях против Ирака?» является несбалансированным вопросом. Для того чтобы исправить ситуацию, нужно внести в формулировку вопроса альтернативный вариант оценочного ответа – антоним слова «поддерживать», например, «выступать против». В результате вопрос приобретает сбалансированность: «Вы поддерживаете или выступаете против политики Соединенных Штатов, принимающих участие в военных действиях против Ирака?». Кроме того, сбалансированный вопрос может включать в качестве вариантов ответа две абсолютно равнозначные опции, выбор из которых не связан с оценкой. Так, проведенное в 2012 г. Институтом социологии РАН исследование об отношении граждан России к демократии содержало вопрос: «Как вы думаете, возможно ли в настоящее время, чтобы Россия одновременно была демократической страной и страной с сильным государством, или мы должны выбрать то или другое: либо сильное государство, либо демократию?» ^[12].

Также закрытый сбалансированный вопрос предполагает равное количество вариантов ответов с каждой стороны. Например, при использовании порядковой (ранговой) измерительной шкалы для выявления степени одобрения/неодобрения необходим симметричный ряд положительных и отрицательных ответов: «полностью согласен», «скорее согласен» - «скорее не согласен», «полностью не согласен». При этом в современной науке остается нерешенным вопрос о необходимости наличия в качестве обеспечения баланса среди вариантов ответов заявленной середины, как, например, в интервальной шкале Тёрстоуна. В этой связи следует отметить, что в любом случае средний пункт будет существовать скрыто или явно в вариантах или в самом вопросе. Так, в ходе опроса, проведенного NBSNews совместно с WallstreetJournal относительно российского вмешательства в президентские выборы 2016 г., респондентам предлагалось ответить на следующий вопрос: «Американские спецслужбы пришли к выводу, что хакеры, связанные с российским правительством, пытались повлиять на президентские выборы 2016г. с целью нанесения ущерба президентской кампании Клинтон. Насколько вас беспокоит, что хакеры, имеющие связи с иностранным правительством, были вовлечены в попытки повлиять на наши выборы: сильно беспокоит, в незначительной степени, вызывает только некоторое беспокойство, очень мало, или это действительно не беспокоит вас?». В результате 43% указали на сильную обеспокоенность, 12% - в незначительной степени, 10% - некоторое беспокойство, 8% - очень мало. В то же время 23% указали, что этот факт никак их не беспокоит. Возникает вопрос относительно сбалансированности вопроса, в котором при отсутствии условной середины четыре варианта ответа представляют мнение тех, кто в разной степени обеспокоен этой проблемой ^[13].

В еще большей степени предвзятость выражена в наводящих вопросах. Наиболеераспространенной формойтаких вопросов является та, которая предлагает респондентамоценку или поддержку определенной политической позиции или позицииофициального органа (лица), с которымиему может быть трудно не согласиться. Возьмем, к примеру: «Поддерживаете ли вы решение президента Буша направить дополнительные войска в Ирак?». Лучше вопрос может быть: «Вы поддерживаете или выступаете против отправки дополнительных войск в Ирак?». Иногда вопросы могут быть наводящими, предоставляя информацию только об одной стороне вопроса, что делает более вероятным, что одно из утверждений будет поддержано (не поддержано) в большей степени, чем другое. В данном случае выбор респондентов очевиден: «Если это приведет к увеличению возможностей для обучения граждан, вы бы поддержали или выступили против строительства нового телецентра?».

На предвзятость опроса также влияет и порядок размещения вопросов в анкете. Следует иметь в виду, что вопросы в начале вопросника могут иметь непредвиденные последствия для ответов респондентов на последующие вопросы. Может возникнуть так называемые эффекты порядка, когда предшествующие вопросымогут обеспечить определенный контекст для ответов на последующие вопросы. Так, если закрытые вопросы ставятся перед открытым вопросом, посвящённым этой же теме, респонденты гораздо чаще формулируютварианты, упомянутые в предыдущих закрытых вопросах.

Среди эффектов порядка наиболее часто наблюдаются следующие:контрастные эффекты, когда порядок приводит к противоречащим друг другуответам, и эффекты ассимиляции, при которых в результате определенного порядка вопросов возникают сходные ответы. Пример контрастного эффекта можно увидеть в опросе PewResearchCenter 2008 г.: на вопрос «В целом вы удовлетворены или недовольны тем, как идут дела в стране сегодня?», последовавший сразу после вопроса: «Вы одобряете или не одобряете то, как Джордж Буш справляется со своей работой в качестве президента?», 88% заявили, что они недовольны. Однако когда этот вопрос был задан без контекста предыдущего вопроса, недовольным оказались лишь 78%^[14].

Проявления ассимиляции можно наблюдать, когда ответы на два вопроса являются последовательными или тесно связанными друг с другом из-за их размещения в вопроснике. Например, в опросе PewResearchCenter 2008 г. респондентам были заданы вопросы: «Должны ли республиканские лидеры работать с Обамой или они должны противостоять ему по важным вопросам?» и «Должны ли лидеры Демократической партии работать с республиканскими лидерами или они должны противостоять им по важным вопросам?». Респонденты чаще отвечали, что республиканские лидеры должны работать с Обамой, когда этому предшествовал вопрос о сотрудничестве демократических лидеров с республиканцами (81% против 66%).Однакоесли их сначала спрашивали о республиканцах, а затем в отношении демократических лидеров, ответы были иными (71% против 82%) ^[15].

В некоторых исследованиях общественного мнения целенаправленно создается определенная последовательность вопросов или вносится дополнительная информацияв конкретный вопрос с целью "привести" респондента к определенному выводу, получитьпредсказуемый ответ. В этом случае предвзятость создается с помощью контекста, в связи с чем этот приемпринято называтьконтекстным эффектом. Например, если задаются вопросы о конкретной проблеме, например, о проблемах в экономике, то в ответах на последующий вопрос о наиболее важной проблеме, с которой сталкивается нация, респонденты будут чаще называть экономику.

Так, в ходе проведенногоPewResearchCenterисследования на вопрос о поддержке респондентами «принятия военных мер в Ираке с целью положить конец правлению Саддама Хусейна» 68% поддержали военные действия, в то время как 25% выступили против них. Однако при изменении формулировки вопроса и включении нового условия: «…даже если это означало, что американские войска могут понести тысячи жертв», только 43% выразили одобрение, в то время как 48% выступили против этого. Введение информации о потерях США в контекст вопроса изменило общий смысл и повлияло на ответы респондентов ^[16].

Тот же контекстный эффект присутствовал вопросепо поводу переизбрания генерального прокурора штата Техас Дэна Моралесав 1999 году. Первоначально был задан общий вопрос о поддержке его переизбрания: «Как вы думаете, Моралес выполнил свою работу в качестве генерального прокурора достаточно хорошо, чтобы заслужить переизбрание, или вы думаете, что пришло время дать новому человеку шанс сделать лучшую работу?». Врезультате за переизбрание высказалось 42% опрошенных, за нового человека – 27%, затруднившихся ответить – 31%. Затем была сделана серия промежуточных заявлений оего взглядах, которые высветили и даже исказили некоторые из его позиций по ряду вопросов, особенно чувствительных для консервативного по американским меркам штата Техас:«Моралес поддерживает позитивную дискриминацию (affirmativeaction), контроль над оружием, сделал потребительские вопросы более приоритетным, чем борьба с преступностью, против жесткого обращения с молодыми преступниками в тюрьме, необходимость консультирования по наркотикам и т.д.».Затем вопрос о переизбрании был задан еще раз: «Теперь, когда у вас была возможность узнать больше о послужном списке Дэна Моралеса, как вы думаете…?».Результатом стало снижение сторонников переизбрания до 21%, за нового человека – 58% и количества затруднившихся – лишь 21% ^[17].

Социально-психологическийаспект

Еще одной проблемой при разработке вопросников является так называемый «эффект социальной желательности» (socialdesirabilitybias), который отражает социально-психологические аспекты опросов. Люди имеют естественную тенденцию хотеть быть принятыми обществом, и это желание может привести к неискренним ответам на вопросы, которые касаются значимых для респондентов проблем. Исследования показали, что традиционно респонденты занижают сведения о потреблении ими алкоголя, умалчивают об уклонении от уплаты налогов и наличии расовых предубеждений; они также могут преувеличивать частоту посещаемости церкви, уплаты благотворительных взносов и переоценивать вероятность того, что они будут голосовать на выборах. Выбор вариантов ответа может также помочь людям быть честными. Например, вопрос о посещении церкви может включать три из шести вариантов ответа, указывающих на нечастое посещение церкви. Исследования также показали, что при проведении очных опросов (например, телефонных и личных опросов) эффект социальной желательности может быть более значительным, чем при проведении заочных опросов (например, бумажные и веб-опросы).

Заключение

Таким образом, анализ анкетных вопросов, используемых при проведении опросов общественного мнения, выявил ряд значимых факторов, влияющих на достоверность и точность результатов исследования. Выявленные проблемы многогранны и отражают различные аспекты формулировки вопросов анкет. Анализ структурного аспекта показал значимость верного выбора типа вопроса – открытого или закрытого. Уместность того или иного вида определяется прежде всего содержанием самого вопроса, целями и задачами исследования, характеристикой респондентов. Исследование речевой формы вопросов (лингвистический аспект) показало значимость отбора языковых единиц при создании доступных для восприятия смысла формулировок. Важнейшую роль при этом играют лексические и синтаксические единицы языка. Весьма значимым представляются также результаты содержательного анализа формулировок анкетных вопросов. Основные проблемы в рамках данного аспекта связаны с навязыванием определенных ответов с помощью несбалансированных или наводящих вопросов, а также с помощью различных негативных эффектов, появляющихся в результате определенного размещения вопросов в анкете или создания нужного контекста. Все указанные проблемы существенно влияют на качество проводимых опросов.