С 1980-х годов до относительно недавнего времени большинство национальных организаций по опросам населения проводили опросы по телефону, полагаясь на интервьюеров, которые звонили случайно выбранным американцам по всей стране. Потом появился Интернет.
Исследователям опросов потребовалось некоторое время, чтобы приспособиться к идее онлайн-опросов, но беглый взгляд на общественные опросы по такой проблеме, как одобрение президента, показывает, что в настоящее время преобладают онлайн-опросы, а не телефонные. Сам исследовательский центр Pew Research Center в настоящее время проводит большую часть своих опросов в США в режиме онлайн, в основном через свою American Trends Panel.
Тот факт, что сегодня многие опросы общественного мнения проводятся в Интернете, не является секретом для заядлых наблюдателей. Однако малоизвестно, что этот переход к онлайн-опросам означает для страны данных, документирующих американское общественное мнение за последние четыре десятилетия, по самым разным вопросам, от абортов и иммиграции до межрасовых отношений и военного вмешательства. В частности, могут ли социологи просто добавлять новые онлайн-результаты к длинной цепочке результатов телефонных опросов, или это ситуация «яблоки к апельсинам», которая требует от нас по существу выбросить исторические данные и начать все сначала?
Основная проблема заключается в сопоставимости, поскольку исследования показывают, что люди иногда по-разному реагируют на опросы в Интернете и по телефону. Когда реальный человек в форме интервьюера задает вопросы, люди с большей вероятностью ответят таким образом, чтобы представить их в позитивном свете или избежать неудобного взаимодействия. Эта социальная динамика устраняется, когда люди проводят опросы на ноутбуках или смартфонах без интервьюера. Разница в оценках, вытекающая из метода интервьюирования, известна как эффект режима.
Тогда возникает ключевой вопрос: если новая оценка онлайн-опроса заметно отличается от прежней телефонной оценки, сигнализирует ли это о реальном изменении общественного мнения, или разница является лишь артефактом другого режима, в котором проводился опрос?
Рассмотрим реальный пример. В период с 2009 по 2014 годы телефонные опросы Центра показали, что доля американцев, заявивших о большой дискриминации геев и лесбиянок, как правило, составляла чуть менее двух третей. Затем, в 2014 году, Центр задал тот же вопрос в Интернете и обнаружил, что только 48% американцев выразили то же мнение.
Означает ли это серьезное снижение предполагаемой дискриминации геев и лесбиянок? Нет, это отражало эффект режима. Исследователи знают это, потому что онлайн-опрос был частью эксперимента, в котором случайная половина взрослых была приглашена для участия в онлайн-опросе, а другая половина была опрошена по телефону. Телефонная оценка по результатам эксперимента (62%) была аналогична предыдущим оценкам телефонного опроса. Эксперимент показал, что взрослые значительно чаще говорили, что геи и лесбиянки сталкивались с большой дискриминацией, когда разговаривали с интервьюером, чем когда они записывали свои ответы в частном порядке в Интернете. Это поднимает несколько важных дополнительных вопросов, на которые мы ответим ниже.
Все ли вопросы опроса подвержены влиянию режима?
Нет. Исследования показывают, что метод интервьюирования влияет на одни вопросы, но не влияет на другие. Например, в эксперименте рандомизированного режима Pew Research Center в 2017 году взгляды на закон 2010 года о здравоохранении, принятый Бараком Обамой и Конгрессом, не показали никакой разницы в режимах. Закон получил 48% одобрения как в Интернете, так и по телефону. Рейтинг одобрения Дональда Трампа президентом также был аналогичным в Интернете (44%) и по телефону (42%). Однако другие вопросы в этом исследовании показали различия в режимах. На вопрос об их личном финансовом положении 20% опрошенных онлайн признали, что находятся в плохом финансовом состоянии, по сравнению с 14% опрошенных по телефону.
По этой теме проведено большое количество исследований, и они показывают, что эффекты режима наиболее вероятны в нескольких сценариях. Если в вопросе задается чувствительная или потенциально смущающая тема, самоуправляемые опросы, проводимые в Интернете, как правило, дают данные, менее искаженные в сторону ответа, который респонденты считают социально желательным, чем опросы, проводимые интервьюером. Если вопрос имеет рейтинговую шкалу, респонденты телефонного опроса с большей вероятностью, чем респонденты онлайн-опроса, выберут исключительно положительные ответы, но не будут более склонны давать крайне отрицательные ответы.
Онлайн-опросы, по сравнению с опросами, проводимыми интервьюерами, также имеют более низкий уровень неполучения ответов (например, меньше ответов «не знаю»), когда не предлагается явный вариант «не знаю» или «нет мнения». Большинство опросов Pew Research Center не предлагают явных вариантов ответа «не знаю». Респонденты телефонных опросов с большей вероятностью предложат аналог (сообщая своему интервьюеру, что они не знают ответа или не могут ответить на вопрос), чем респонденты онлайн-опросов (пропуская вопрос).
Как Pew Research Center устраняет эту разницу в режимах при составлении отчетов о тенденциях?
Подход Центра отражает тот факт, что некоторые вопросы слишком высоки.
Сломайте тренд.
В некоторых случаях есть убедительные доказательства того, что онлайн-опрос позволил измерить отношение с меньшим количеством ошибок (например, с меньшей предвзятостью социальной желательности), чем телефонный опрос. Когда это произойдет, повторное представление статистических данных о тенденциях, возможно, принесет больше вреда, чем пользы, что приведет к путанице или ошибочной отчетности. «Нарушение тенденции» может разбить сердце исследователя, но в этих случаях Центр опускает данные за предыдущие годы и представляет только новые онлайн-оценки.
Неоспоримые доказательства того, что тенденция сломалась, поступают в виде экспериментальных данных, таких как эксперименты Центра с рандомизированным режимом в 2014 и 2017 годах, или в признании того, что вопрос о тренде имеет характеристики, показанные в исследовательской литературе, для увеличения вероятности эффекта режима.
Сообщите новую онлайн-оценку как часть ранее существовавшего тренда на телефонную связь, но обратите внимание читателей на изменение режима.
В других случаях доступная информация предполагает, что линия тренда все еще действительна и информативна в контексте новой оценки. Тем не менее, читатель должен быть предупрежден о том, что опрос перешел из телефонного в онлайн-опрос.
Пример этого можно найти в отчете Центра за 2017 год об отношении к средствам массовой информации. Исследователи обновили почти 30-летний телефонный тренд, добавив новые оценки из онлайн-опроса. На графике они использовали пунктирную и маркированную линию, а также сноску, чтобы обозначить изменение режима. Кроме того, формулировка в тексте отчета предупредила читателя об изменении: «Следует отметить, что до 2016 года вопрос задавался по телефону, а не через Интернет, что могло вызвать несколько иные модели ответа». Этот подход, который подчеркивает четкую сигнализацию смены режима, возможно, наиболее уместен в течение нескольких лет сразу после смены режима, когда модель онлайн-оценок все еще появляется в поле зрения. В течение следующих нескольких лет Центр будет продолжать бороться с этими проблемами тенденций, и в течение этого времени средний подход с четким вызовом смены режима будет стилем отчетности по умолчанию.
Сообщите новую онлайн-оценку как часть уже существующей телефонной тенденции без особого акцента.
В будущем, после нескольких лет онлайн-измерений тенденции, может оказаться уместным более тонкий стиль отчетности. Например, если длинная дуга трендов по вопросу подтверждает, что переключение режима почти не повлияло, если вообще имело какое-либо влияние, тогда может быть разумным перенести язык об изменении режима из основной части диаграмм и текст отчета в сноски. Однако если данные предполагают, что режим оказал значимое влияние на оценки, то было бы целесообразно сохранить четкую сигнализацию в диаграммах и тексте отчета.
Является ли метод опроса единственным источником расхождений между старыми телефонными оценками и новыми онлайн-оценками?
Не обязательно. Если старая оценка телефона отличается от новой онлайн-оценки с использованием той же формулировки вопроса, по крайней мере, четыре фактора могут способствовать разнице. Это:
Реальные изменения со временем
В идеале разница объясняется реальным изменением численности населения, а не артефактом того, как проводился опрос.
Различия в измерениях
Как обсуждалось выше, динамика опроса при онлайн-опросе отличается от телефонного опроса в прямом эфире. Отсутствие интервьюера в онлайн-опросах, как правило, приводит к большему количеству сообщений о деликатном, провокационном или крайне негативном отношении, и это, как правило, приводит к более низким уровням неполучения ответов, если явно не указан вариант «не знаю» или «не уверен» предложенный. Режим также влияет на то, как люди когнитивно обрабатывают варианты ответа. При проведении веб-опроса для людей естественно слегка отдавать предпочтение тому варианту, который они читают («эффект первенства»), если у них нет твердого мнения. При разговоре по телефону люди обычно слегка отдают предпочтение последнему варианту, который им зачитал интервьюер («эффект новизны»), поскольку этот вариант легче всего запомнить.
Телефонные и онлайн-опросы также, как правило, различаются по частоте опроса людей. Телефонные опросы обычно представляют собой разовые опросы, в которых каждый раз, когда проводится опрос, опрашивается новая свежая выборка населения. Панели онлайн-опросов, напротив, набирают выборку населения для участия в опросах на постоянной основе (например, раз в месяц). Когда одна и та же группа людей опрашивается несколько раз, повторные измерения могут иметь эффект (например, делая тему опроса более заметной для участников дискуссии). Хотя такое «обусловливание» респондентов опроса не кажется серьезной угрозой в группах, которые задают множество различных тем - например, в American Trends Panel - исследователям необходимо сохранять бдительность в отношении этого риска.
Разница в весе
Протокол взвешивания для телефонных и онлайн-опросов Pew Research Center похож, но есть некоторые отличия. Как в телефонных, так и в онлайн-опросах Центра используется процесс, называемый сбором, чтобы гарантировать, что взвешенные данные являются репрезентативными на национальном уровне с учетом основных демографических характеристик, таких как возраст, раса, латиноамериканское происхождение, этническая принадлежность, регион, пол и образование. Однако в опросы Центра, проведенные онлайн с помощью American Trends Panel, есть некоторые дополнительные корректировки. Например, онлайн-опросы также ориентированы на целевые группы населения по волонтерству и доступу в Интернет, чтобы учесть тот факт, что взрослые, которые менее активны в гражданской жизни или не используют Интернет, как правило, недостаточно представлены в онлайн-группах.
Различия в составе образцов
В то время как телефонные и онлайн-опросы Pew Research Center набираются офлайн, чтобы быть репрезентативными на национальном уровне с использованием случайной выборки, профиль людей, опрошенных по каждому методу, может несколько отличаться. Телефонные опросы Центра включают случайные выборки номеров мобильных и стационарных телефонов с использованием процесса, называемого набором случайных цифр. В отличие от этого, онлайн-панель Центра американских тенденций теперь набирается с использованием случайных выборок почтовых адресов жителей. Кроме того, некоторые подгруппы с большей вероятностью будут участвовать в опросах по телефону, а не онлайн. Например, выборки телефонных опросов часто искажаются старше, а выборки онлайн-опросов иногда искажаются моложе. Упомянутые выше процедуры взвешивания используются для того, чтобы попытаться устранить такие закономерности, но могут сохраняться некоторые различия, связанные с профилем того, кто ответил на опрос.
Когда возникают различия в режимах, они могут отражать комбинацию нескольких из этих факторов.
Может ли кто-нибудь ответить на опросы Pew Research Center теперь, когда они проводятся в Интернете?
Нет. Хотя некоторые онлайн-опросы позволяют участвовать любому, Центр продолжает использовать научную вероятностную выборку. Контролируемая научная выборка гарантирует, что люди не смогут участвовать без приглашения. Набор участников для участия в опросах осуществляется офлайн (то есть без использования Интернета) по почте по двум основным причинам. Во-первых, значительная часть населения не имеет доступа в Интернет. Во-вторых, не существует полного списка адресов электронной почты для всех взрослых, у которых есть доступ к Интернету. Это означает, что в настоящее время нет возможности выбрать онлайн-опросные образцы таким образом, чтобы охватить все население. Автономный набор персонала означает, что доступ к Интернету - в виде планшета и тарифного плана - может быть предоставлен тем, у кого его еще нет, что дает всем американцам шанс пройти собеседование в эту новую эру онлайн-опросов.
Происходили ли раньше в опросной индустрии серьезные изменения режима?
Да. В 1970-х и 1980-х годах многие национальные социологи перешли от личных интервью (при которых интервьюеры стучали в двери по всей стране) к телефонным интервью в прямом эфире. Многие из тех же вопросов и проблем, с которыми сегодня сталкивается отрасль, существовали и тогда.
Означает ли переход Центра, что есть проблема с телефонным опросом?
Все более широкое использование Центром онлайн-панели American Trends Panel и его уход от телефонных опросов отчасти является реакцией на проблемы, связанные с телефонными опросами. Тем не менее, телефонные опросы все еще могут работать хорошо, как показали промежуточные выборы 2018 года. Предвыборные опросы 2018 года, в том числе проводимые по телефону с интервьюерами в прямом эфире, были в среднем более точными, чем промежуточные опросы с 1998 года.
Полностью ли закончил Pew Research Center проводить телефонные опросы в США?
Нет. Хотя сейчас большинство внутренних опросов Центра проводится в режиме онлайн, некоторые телефонные опросы продолжаются. В некоторых случаях возможно провести телефонный опрос одновременно с онлайн-опросом, чтобы получить некоторую информацию о размере эффекта режима в давней тенденции. Телефон также остается хорошим вариантом для изучения определенных групп населения.
По мере того, как исследования в области опросов переживают второй важный сдвиг за время своего относительно короткого существования, Pew Research Center стремится экспериментировать, оценивать и сообщать об эффективности онлайн-опросов.