Опросы — самый опасный исследовательский инструмент — их неправильно понимают и используют не по назначению. Они часто колеблются между качественными и количественными показателями, а в худшем случае представляют собой худшее из обоих.
В деликтном праве доктрина привлекательной неприятности относится к опасному объекту, который может привлечь тех, кто не в состоянии оценить риск , связанный с этим объектом. В мире дизайнерских исследований опросы могут быть именно такой неприятностью.
Легко чувствуется правдой
Слишком просто провести опрос. Вот почему опросы так опасны.Их так легко создавать и так легко распространять, а результаты так легко подсчитывать. А наши бедные человеческие мозги таковы, что информация, которую нам легче обрабатывать и понимать, кажется нам более верной. Это наше когнитивное искажение. Благодаря этой простоте результаты опроса кажутся правдивыми и достоверными, какими бы ложными и вводящими в заблуждение они ни были. И с этой легкостью трудно поспорить.
Многие важные решения принимаются на основе опросов. Столкнувшись с выбором или группой несопоставимых мнений, проведение опроса может показаться наиболее эффективным способом найти направление или урегулировать споры (и избежать ответственности за результат). Какую функцию мы должны создать следующей? Мы не можем решить сами, поэтому давайте проведем опрос. Как мы должны назвать наш продукт? Мы не можем решить сами, поэтому давайте проведем опрос.
Легко чувствует себя хорошо
Проблема, возникающая из-за этой легкости, заключается в том, что другие способы найти ответ, которые кажутся более сложными, закрываются. Говорить с реальными людьми и анализировать результаты? Это звучит трудоемко, грязно и тяжело. Если вы придумаете набор вопросов и зададите их тысячам людей, вы получите поддающиеся количественной оценке ответы без контакта с людьми. Легкий!
Гораздо сложнее написать хороший опрос, чем провести качественное исследование пользователей. Имея прилично репрезентативного участника исследования, вы могли бы сесть, заткнуться, включить диктофон и получить достоверные данные, просто позволив ему высказаться. (Процесс скрининга, который дает вам этого участника, — это тема для другого дня.) Но если вы пишете плохие вопросы для опроса, вы получаете неверные данные в масштабе без шансов на восстановление. Вот почему я полностью отказался от опросов при написании Just Enough Research в первый раз.
Что делает опрос плохим? Если данные, которые вы получаете, на самом деле не являются полезными для принятия решения, которое вам нужно принять, или если они не отражают реальность, это плохой опрос. Это может произойти, если респонденты не дали верных ответов, или если на вопросы невозможно ответить правдиво, или если вопросы не соответствуют необходимой информации, или если вы задаете наводящие или вводящие в заблуждение вопросы.
Часто задать вопрос напрямую — это худший способ получить правдивый и полезный ответ на этот вопрос. Потому что люди.
Плохие опросы не пахнут
Плохой обзор не скажет вам, что это плохо. На самом деле очень сложно понять, что плохой опрос — это плохо, или определить, хороший или плохой набор вопросов вы составили. В плохом коде будут ошибки. Плохой дизайн интерфейса не пройдет тест на юзабилити. Можно сразу определить, проходите ли вы плохое собеседование с пользователем. Отзыв о плохом опросе может прийти только в виде второго источника информации, противоречащего вашему анализу результатов опроса.
Наиболее соблазнительно то, что опросы дают ответы, которые легко подсчитать, а подсчет вещей кажется таким надежным, объективным и правдивым.
Даже если вы считаете ложь.
И как только появится статистика — например, «75% опрошенных пользователей заявили, что им нравятся видео, которые автоматически воспроизводятся при загрузке страницы», — этот простой «факт» проникнет в мозги лиц, принимающих решения, и настроит магазин.
Время от времени люди пишут мне со своими вопросами об исследованиях. Обычно эти вопросы больше касаются политики, чем методологии. Некоторое время назад это появилось в моем почтовом ящике:
«Прямое взаимодействие с пользователями запрещено моей организацией, но мне разрешили провести простой опрос по электронной почте, чтобы выявить проблемы с удобством использования».
Слезы, слезы сочувствия и разочарования текли по моему лицу. Это так символично, так типично, так контрпродуктивно. Остальная часть вопроса, конечно, была: «Что мне делать?»
Исследования пользователей и юзабилити касаются наблюдаемого человеческого поведения. Способ выявления проблем юзабилити — тестирование юзабилити. Я имею в виду, что если вам нужно поддерживать стерильный барьер между вашими сотрудниками и вашими клиентами, по крайней мере, используйте usertesting.com. Допустимое решение похоже на использование опросов как способ передачи заметок сквозь стену между дизайнерами и реальными пользователями. Это не увеличивает эмпатию.
Слишком многие организации относятся к прямому изучению пользователей как к нарушению протокола. Я понимаю, что бывают очень деликатные ситуации, часто связанные с медицинскими или финансовыми данными. Но вы можете проводить исследования пользователей и никогда не взаимодействовать с реальными клиентами. Если вы действительно заинтересованы в получении реальных данных, а не в прикрытии какой-то корпоративной задницы, вы можете нанять людей, которые по поведению соответствуют цели, и никогда не раскрывать свою личность.
Опрос есть опрос. Опрос не должен быть запасным вариантом, когда вы не можете провести правильное исследование.
Иногда мы относимся к сбору данных, как к ребенку в сказке, которого отправили собирать грибы к обеду. Уже поздно, а грибы далеко на другом берегу реки. И вы не хотите, чтобы ваши ноги промокли. Но посмотрите, здесь все эти камни. Камни похожи на грибы. Так может никто и не заметит. А потом вы все сидите вокруг стола, делая вид, что едите грибной суп и хрустите камнями.
Удовлетворенность клиентов — ложь
Популярная тема для опросов — «удовлетворенность». Удовлетворенность клиентов стала наиболее широко используемым показателем в усилиях компаний по измерению и управлению лояльностью клиентов.
Оценка удовлетворенности клиентов — это абстракция, причем неточная. Согласно Sloan Management Review MIT, изменения в уровне удовлетворенности клиентов объясняют менее 1% изменений в их доле расходов в данной категории. Теперь 1% статистически значим, но не огромен.
А Bloomberg Businessweek написал, что «оценка обслуживания клиентов не имеет отношения к доходности фондового рынка… самые ненавистные компании работают лучше, чем их любимые коллеги». Так много свидетельств указывает на то, что это просто не значимая бизнес-метрика, а скорее очень удовлетворительная для измерения.
И теперь новая компания сделала бизнес, помогая компаниям с веб-сайтами количественно рассчитать нечеткую, возможно, бессмысленную метрику.
«Мой босс обратился в Foresee. Сначала она, по-видимому, очень скептически отнеслась к этому, но она очень аналитический человек и была обращена обещанием возможности количественного измерения не поддающихся количественной оценке данных, таких как «удовлетворенность».
Это еще один крик о помощи, который я получил не так давно.
Упомянутый начальник — «очень аналитический человек». Это означает, что она человек с уклоном в сторону количественных данных. Дизайнер, написавший мне, был обеспокоен тем, что всплывающие окна опросов могут разрушить то качество обслуживания клиентов, которое они пытались измерить.
Существует целая индустрия, основанная на удовлетворенности клиентов. И когда есть отрасль, которая зарабатывает деньги на существовании метрики, это заставляет меня скептически относиться к метрике. Потому что, как клиент, я нахожу это довольно неудовлетворительным использованием пространства.
Вот опрос удовлетворенности клиентов Foresee (НЕ для работодателя моего корреспондента). Это те вопросы, которые кажутся хорошими, и они, похоже, соответствуют передовой практике.
Но это полная ерунда.
Оцените варианты, доступные для навигации? Что это значит? Какому фактическому показателю успеха в бизнесе это соответствует? Оцените количество кликов по десятибалльной шкале? Я не мог этого сделать. Я подозреваю, что многие люди выбирают количество кликов, которые они помнят, а не рейтинг.
А достоверность информации? Как пользователь сайта, не работающий в настоящее время в режиме бога, должен оценить, насколько точна информация? Что вообще означает «7» за точность информации? Ничто из этого не говорит о том, для чего на самом деле предназначен веб-сайт или о том, как настоящие люди думают или принимают решения.
И, самое главное, ловкость рук здесь заключается в том, что эти вопросы об удовлетворенности клиентов являются качественными вопросами, представленными в количественном стиле. Это какая-то алхимия исследования клиентов прямо здесь. Итак, вы рассчитываете на неисчислимое, в то время как люди, продающие эти опросы, считают свои деньги. Наслаждайтесь своим флогистоном.
Я никому не советую управлять дерьмовой компанией с ужасным обслуживанием. Я хочу, чтобы все, кто производит продукты, производили отличные продукты и знали, что нужно измерять для этого.
Я хочу, чтобы все видели в лояльности клиентов то, чем она является — привычкой. И чтобы быть более успешным в создании лояльности, вам нужно измерять то, что формирует привычку.
Подход с осторожностью
Когда вы выбираете методы исследования и рассматриваете возможность проведения опросов, вам необходимо ответить на один ключевой вопрос:
Захотят ли и смогут ли люди, которых я опрашиваю, дать правдивый ответ на мой вопрос?
И как я повторяю снова и снова, и никогда не устану повторять, никогда не спрашивайте людей, что им нравится или не нравится. Симпатия — это сообщаемое психическое состояние, и оно не обязательно соответствует какому-либо поведению.
Не просите людей вспомнить что-либо более раннее, чем несколько дней назад. Я имею в виду, мы все слушали Serial , верно? Люди - ленивые забывчивые создания привычки . Если вы спросите о чем-то, что произошло слишком давно, вы получите некачественный ответ.
И особенно никогда не просите людей предсказать их собственное поведение в будущем. Они сделают этот прогноз, основываясь на принятии желаемого за действительное или социальном желании. И это, я думаю, самый популярный вопрос опроса из всех:
Насколько вероятно, что вы купите вещь, которую я продаю, в ближайшие 6 месяцев?
Никто не может ответить на это. В лучшем случае вы могли бы получить 1)Возможно 2)Нисколько.
Так что да, опросы — это здорово, потому что вы можете количественно оценить результаты.
Но вы должны спросить, что вы измеряете? Является ли это действительным количеством чего-то, например, сколько, как часто, или это скрытое качество, такое как привлекательность, легкость или уместность, пытающееся выдать себя за что-то измеримое?
Чтобы принимать какие-либо решения и собирать информацию для принятия обоснованных решений, первое, что вам нужно сделать, — это определить успех. Вы не можете вывести это определение из набора чисел.
Написать хороший опрос. Вы должны очень четко представлять, что вы хотите знать и почему опрос является правильным способом получения этой информации. И тогда вы должны написать очень четкие вопросы.
Если вы используете опрос, чтобы запросить качественную информацию, будьте ясны в этом и знайте, что вы получите неполную информацию без контекста. Вы не сможете исследовать все важные «почему», стоящие за ответом.
Если вы рассматриваете опрос как количественный ввод, вы можете задавать только те вопросы, на которые можно положиться респондентам. Вы должны быть честны в отношении типа данных, которые вы можете собрать, или не беспокойтесь об этом.
И держитесь подальше от этих странных 10-балльных шкал. Они не отражают реальность.
Как составить хороший опрос — это тема, достойная книги или научной степени. Здесь я просто хочу заставить вас поклясться, что вы не будете относиться к ним небрежно, если собираетесь основывать на них важные решения.
«По своей сути любой бизнес заключается в том, чтобы делать ставки на человеческое поведение».
Единственная причина, по которой вы утруждаете себя сбором информации для обоснования решений, заключается в том, что в конечном счете вы хотите, чтобы эти решения привели к какому-то измеримому успеху.
Делать ставки, основанные на наблюдениях за человеческим поведением, может быть гораздо эффективнее, чем делать ставки на плохих опросах. Так что вперед, будьте лучше и будьте осторожны при сборе данных. Самые измеримые данные могут быть не самыми ценными.