Понимание того, как проводились опросы на выборах 2020 года и что это может значить для других видов исследовательской работы

В совокупности опросы, проведенные перед выборами в Соединенных Штатах, указали на высокую вероятность того, что демократ Джо Байден возьмет несколько штатов, проигранных Хиллари Клинтон в 2016 году, и при этом получит большинство голосов избирателей над президентом-республиканцем Дональдом Трампом. Это действительно произошло. Но выборы были намного ближе, чем предполагают опросы в нескольких штатах поля битвы (например, Висконсин), и были более решающими для Трампа в других местах (например, в Огайо). Демократы также были разочарованы тем, что не смогли взять под свой контроль Сенат США - хотя это остается возможным - и потеряли места в Палате представителей США и нескольких законодательных собраниях штатов.

Многие из тех, кто следит за опросами общественного мнения, по понятным причинам спрашивают, как такие результаты могут быть достигнуты, особенно после довольно агрессивных шагов, предпринятых опрашивающим сообществом для понимания и решения проблем, возникших в 2016 году. Мы задаем себе тот же вопрос. В этом посте мы сделаем предварительный ответ на этот вопрос, охарактеризуем характер и масштаб ошибок опроса 2020 года и предложим некоторые возможные причины. Мы также рассмотрим, что могут означать ошибки этого года для тематических опросов, хотя пройдет много месяцев, прежде чем отрасль сможет собрать все данные, необходимые для того, чтобы прийти к каким-либо твердым выводам.
Прежде чем говорить о том, что пошло не так, стоит отметить несколько важных замечаний. Во-первых, учитывая склонность к демократам голосовать по почте в этом году и тот факт, что голоса по почте подсчитываются позже во многих местах, размер ошибок при опросе - особенно на национальном уровне - вероятно, в конечном итоге окажется меньше, чем они появлялись на ночь выборов. Даже на этой неделе подсчет голосов продолжается, а оценки ошибок опроса во многих штатах на поле боя несколько снизились. Также важно понимать, что не во всех штатах были допущены пропуски голосования. Во многих важных штатах, в которых победил Байден (по крайней мере, на основе текущего количества голосов), включая Аризону, Колорадо, Джорджию, Миннесоту, Нью-Мексико, Неваду и Вирджинию, опросы дали четкое представление о конкурсе.

Из всего вышесказанного ясно, что национальные оценки и оценки многих штатов были не просто ошибочными, а отклонялись в одном направлении: они поддерживали кандидата от демократов. Чтобы измерить, в какой степени, мы сравнили фактическую разницу голосов между республиканцами и демократами - как на национальном, так и на уровне штатов - с разницей в средневзвешенных опросах от FiveThirtyEight.com. Если посмотреть на 12 штатов поля боя от верхнего Среднего Запада (где многие опросы не достигли цели) до Солнечного пояса и Юго-запада (где многие были сильнее), опросы переоценили преимущество демократов в среднем примерно на 4 процентных пункта. Если посмотреть на общенациональные опросы, то преувеличение демократов будет аналогичным - около 4 баллов, в зависимости от окончательного подсчета голосов. Это означает, что ошибки государственного опроса примерно такие же, как в 2016 году, в то время как ошибка национального опроса немного больше, по крайней мере, на сегодняшний день. Даже в этом случае ошибка общенационального опроса 2020 года, похоже, аналогична средним ошибкам избирательных опросов за последние 12 президентских выборов.

Тот факт, что ошибки при опросе не были случайными и что они почти всегда были связаны с недооценкой деятельности республиканцев, а не демократов, указывает на систематическую причину или набор причин. На этом раннем этапе после выборов теории о том, что пошло не так, можно разделить примерно на четыре категории, каждая из которых имеет свои разветвления для отрасли опросов.

Партизанский отказ
Предлагаемая проблема
Согласно этой теории, избиратели-демократы были более доступными и / или просто более склонными, чем избиратели-республиканцы, отвечать на опросы, а обычные статистические корректировки не помогли решить проблему. Вариант этого: общая доля республиканцев в выборках опроса была примерно правильной, но выборка недостаточно представляла наиболее ярых сторонников Трампа в партии. Одним из возможных следствий этой теории является то, что повсеместное недоверие республиканцев к таким учреждениям, как средства массовой информации, которые спонсируют множество опросов, привело к тому, что некоторые люди не захотели участвовать в опросах.

Является ли это в основном проблемой избирательных опросов, или это также будет предметом более широкой озабоченности при выпуске опросов общественного мнения?
К сожалению, последнее. Если в опросах систематически недопредставлены некоторые типы консерваторов или республиканцев, это имеет последствия для опросов, которые измеряют все виды поведения и проблем, от взглядов на пандемию коронавируса до отношения к изменению климата. Разумеется, для проведения опросов не требуется точность 51–49%, как в современных опросах на президентских выборах, но ни один социолог не хочет систематического искажения своих данных, даже если это «всего» 5 процентных пунктов.

Что мы могли сделать, чтобы это исправить?
Прямым решением проблемы недопредставленности сторонников Трампа было бы усиление усилий по привлечению консерваторов и республиканцев для участия в опросах; увеличить статистический вес тех, кто уже участвует в опросе, чтобы соответствовать их доле в населении (процесс, известный как «взвешивание»); или оба. Многие опросы в этом году были посвящены регистрации партии, голосованию 2016 года или самоидентификации партий, но по-прежнему недооценивали поддержку Республиканской партии.

Здесь возникает двоякая задача. Первый заключается в оценке правильной доли консерваторов и республиканцев в населении, поскольку, в отличие от возраста, пола и других демографических характеристик, не существует своевременных авторитетных критериев политической ориентации. Во-вторых, правильного определения общей доли республиканцев в опросе может быть недостаточно, если те, кто желает пройти собеседование, являются плохими доверенными лицами для тех, кто не желает (например, более консервативно) - в этом случае корректировка веса внутри партийных групп может понадобиться.

Избиратели "застенчивого Трампа"
Предлагаемая проблема
Согласно этой теории, не все респонденты, которые поддерживали Трампа, возможно, были честны в своей поддержке его, либо из-за своего рода опасений по поводу критики за поддержку президента, либо из-за просто желания ввести в заблуждение. Значительные исследования, в том числе Pew Research Center, не смогли найти много доказательств этой идеи, но она остается правдоподобной.
Является ли это в основном проблемой избирательных опросов, или это также будет предметом более широкой озабоченности при выпуске опросов общественного мнения?
Это создаст проблему для измерения отношения к президенту в любом месте. Но если бы это было ограничено действующим президентом, это не имело бы длительного воздействия. Опросы по менее важным вопросам могут быть менее затронуты.

Что мы могли сделать, чтобы это исправить?
В контексте выборов эту проблему решить сложно. Опросники экспериментировали с подходами к этому, например спрашивали респондентов, как их друзья и соседи планируют голосовать (в дополнение к опросу респондентов, как они сами планируют голосовать), а затем использовали ответы на эти вопросы для корректировки своих прогнозов. Но эффективность этих методов все еще не ясна.

Тем не менее, тот факт, что опросы в этом году недооценили поддержку других, менее спорных республиканских кандидатов - иногда больше, чем недооценили поддержку Трампа, - предполагает, что гипотеза «застенчивого Трампа» не может в значительной степени объяснить проблему.

Ошибка явки A: недооценка энтузиазма по поводу Трампа
Предлагаемая проблема
Избирательные опросы, в отличие от опросов по запросу, имеют дополнительное препятствие, которое необходимо устранить в их попытке быть точными: они должны предсказать, какие респонденты на самом деле будут голосовать, а затем измерить гонку только среди этой подгруппы «вероятных избирателей». Согласно этой теории, вполне возможно, что традиционные «экраны вероятных избирателей», которые используют опросы, просто не сработали как способ измерить энтузиазм избирателей Трампа, чтобы поддержать своего кандидата. В этом случае в выборках опросов могло быть достаточно избирателей Трампа, но они не учитывались как вероятные избиратели.

Является ли это в основном проблемой избирательных опросов, или это также будет предметом более широкой озабоченности при выпуске опросов общественного мнения?
Если бы основной проблемой в этом году была неспособность предвидеть размер явки республиканцев, то точность опросов пострадала бы гораздо меньше. Это предполагает, что выборки для опроса могут уже адекватно представлять американцев всех политических убеждений, но все еще не могут правильно предвидеть, кто на самом деле выйдет на голосование, что, как мы знаем, довольно сложно. К счастью, возможная доступность государственных списков избирателей, соответствующих многим избирательным опросам, позволит оценить, в какой степени различия в явке сторонников Трампа и Байдена объясняют ошибки.

Что мы могли сделать, чтобы это исправить?
Вернемся к минам по изменению вероятных весов избирателей.

Ошибка явки B: эффект пандемии
Предлагаемая проблема
Пандемия коронавируса, которая случается раз в поколение, кардинально изменила то, как люди намеревались голосовать: демократы непропорционально обеспокоены вирусом и используют досрочное голосование (по почте или лично), а республиканцы с большей вероятностью будут голосовать лично в день выборов. В такой необычный год - когда так много людей впервые голосуют досрочно, а некоторые штаты меняют свои процедуры - вполне возможно, что некоторые демократы, которые думали, что они проголосовали или будут голосовать, не смогли это сделать. Связанный с этим момент заключается в том, что Трамп и Республиканская партия в последние недели кампании провели более традиционную кампанию, направленную на то, чтобы добиться голосования, с крупными митингами и агитацией по домам. Это могло еще больше запутать вероятные модели избирателей.

Является ли это в основном проблемой избирательных опросов, или это также будет предметом более широкой озабоченности при выпуске опросов общественного мнения?
В той степени, в которой опросы были искажены пандемией, проблемы могут быть ограничены этим моментом времени и этими конкретными выборами. На опрос вопросов это не повлияет. Пандемия, возможно, создала более серьезные препятствия для голосования за демократов, чем за республиканцев, и эту возможность опросам было бы трудно оценить. Это не проблемы, с которыми мы обычно сталкиваемся при опросе.

Что мы могли сделать, чтобы это исправить?
Возможно, что исследователи смогут разработать вопросы, такие как знание процесса голосования, которые могут помочь предсказать, будет ли разница между намерением проголосовать и успешной подачей бюллетеня для одних избирателей больше, чем для других - например, есть ли у избирателя Отправленный по почте бюллетень успешно подсчитан или может быть отклонен по какой-либо причине. Рассмотрение всех досрочно проголосовавших избирателей как определенно проголосовавших, а всех избирателей, проголосовавших в день выборов, как только возможных избирателей - это потенциальная ошибка, которой можно избежать.

Вывод
По мере того как мы начинаем изучать результаты голосования на выборах 2020 года более подробно, также вполне возможно, что все эти факторы каким-то образом внесли свой вклад - «идеальный шторм», который сбил опросы с курса.

Исследовательский центр Pew Research Center и другие организации по проведению опросов приложат много усилий, чтобы понять, что произошло. Действительно, мы уже начали это делать. Мы проведем обзор нашего собственного опроса, а также более широкий анализ опросов, и мы будем участвовать в рабочей группе, созданной в начале этого года Американской ассоциацией изучения общественного мнения (AAPOR) для проверки результаты голосования на выборах, как это произошло в 2016 году. Это потребует времени. На сбор соответствующих данных об явке избирателей уйдут месяцы. Но не заблуждайтесь: мы стремимся понимать источники проблемы, устранять их и быть прозрачными в процессе.