Статьи

Работа с аудиторией в опросных исследований

2024-09-27 10:40 Курсы
Эта статья — продолжение серии образовательных статей о проведении опросов.

Разберёмся, что такое генеральная совокупность и выборка, и почему это важно для качественных исследований. Я приведу примеры правильного и неправильного отбора выборки на примере опросов, как правило связанных с разработкой софта или учебных программ.

Введение

Здесь вы узнаете, как получить корректную выборку для опроса из целевой аудитории.

Обсудим, почему важно правильно подходить к отбору выборки и как сделать её валидной. Также рассмотрим некоторые проблемы, которые возникают при подборе респондентов для опросов в сфере разработки цифровых продуктов.
Главное, что нужно понять: валидная выборка — это не просто ответы респондентов. С точки зрения статистики, выборка будет считаться валидной только если респонденты отобраны случайным образом.
Как и в предыдущих статьях, я буду использовать реальные примеры, чтобы показать собственные и распространённые ошибки.

Опрос среди разработчиков для создания образовательных программ

В первом опросе участников набирали через интернет и профильные сообщества. В 2017 году проведено 2 опроса, цель которых — сравнить, какие знания программисты получили в университете и что им реально пригодилось на работе.

Опрос среди участников сообщества о внедрении новых технологий

Во втором анкету распространяли в Сообществе «Кофаундеров». Опрос, который я провёл, чтобы выяснить, какими данными компании руководствуются при принятии решений о внедрении новых технологий.

Опрос среди участников конференции о рисках в проектах и стратегии управления ими.

В третьем — анкеты отправляли заранее отобранной группе участников конференции с должностями «менеджер» или аналогичными. При этом анкеты рассылались не более чем двум менеджерам из одной компании. Опрос, изучал риски в проектах и стратегии управления ими.
В данной статье я покажу, что только третье исследование может утверждать, что набор ответов действительно представляет выборку из целевой генеральной совокупности.

Выборки и генеральные совокупности

Чтобы получить выборку, нужно сначала определить целевую генеральную совокупность. Это группа людей или организаций, к которым относится ваш опрос. Другими словами, это те, кто может ответить на ваши вопросы и на кого распространяются результаты опроса. В идеале, целевая генеральная совокупность должна быть представлена в виде конечного списка всех её участников.
Например, когда проводят опросы среди избирателей, используют список зарегистрированных избирателей как список целевой совокупности.
Валидная выборка — это представительская часть целевой совокупности. Ключевое слово здесь — «представительская». Если выборка не является представительской, мы не можем утверждать, что результаты опроса отражают мнение всей генеральной совокупности. Если наши результаты нельзя обобщить, их ценность будет сравнима с личным мнением. Поэтому одна из главных задач при работе с выборкой — убедиться, что она действительно представляет всю целевую группу.
Прежде чем обсудить, как получить валидную выборку, давайте рассмотрим наши примеры опросов.
В первом случае у нас определена целевая группа – программисты.
Если это все разработчики софта в мире, но по сути это означает, что тогда аудитория не определена. Более того, нет никакого метод для отбора респондентов. В исследование просто получены ответы от тех, кто решил поучаствовать в опросе. Таким образом, целевая группа размыта, а метод отбора выборки отсутствовал. Хотя в описание исследования можно увидеть демографические характеристики респондентов (возраст, уровень образования, национальность и т.д.), но делать обобщения на основе результатов невозможно.
Для второго опроса, вероятно, изначально выбрана неверная целевая группа, так как просили людей отвечать на вопросы от имени их компаний. Однако, даже если бы наша целевая группа включала всех участников «Прикладной разработки ПО», у нас не было чёткой методики отбора выборки, поэтому нельзя было сказать, что наши ответы представляют валидную выборку.
Здесь вы, возможно, начнёте не соглашаться: если мы отправили анкеты всей целевой группе, почему ответы нельзя считать валидной выборкой? Более того, зачем вообще нужна выборка, если можно попытаться охватить всю целевую аудиторию? Эти вопросы важны, и я отвечу на них позже в статье.
Рассмотрим третий опрос, где подразумевается список участников конференции с должностью «менеджер».
Так это менеджеры из конкретной конференции, то в исследовании была определённая целевая группа. Анкеты заранее были отправлены отобранной части этой группы. Если выборка была отобрана по валидной методике, то эта выборка считается валидной. Как мы позже увидим, этого недостаточно, чтобы утверждать, что полученные ответы — это валидная выборка, но это хороший старт.

Как получить валидную выборку

Прежде чем проводить опрос, важно точно определить целевую аудиторию. Нельзя отобрать правильную выборку, если вы не знаете, кого именно хотите опросить. Определение целевой группы должно основываться на целях исследования, а не на том, кто просто доступен для участия. Чем чётче сформулированы цели, тем проще будет определить, кого включать в выборку.
Целевая группа может быть частью более широкой аудитории. При её отборе полезно использовать критерии включения и исключения. Например, если мы исследуем, насколько образование в области программирования соответствует требованиям индустрии, следует исключить из выборки инженеров, не имеющих профильного образования, связанного с программной инженерией или информатикой.
При планировании исследования важно учитывать целевую группу и процесс отбора выборки с точки зрения анализа данных. Это можно сделать уже на этапе составления анкеты, но необходимо пересмотреть подход после проведения предварительных тестов. На этом этапе у вас будут реальные ответы, и вы сможете проверить эффективность методов анализа. Стоит обратить внимание на следующие вопросы:
  • Соответствуют ли результаты целям исследования?
  • Могут ли респонденты из целевой группы ответить на ключевые вопросы?
Рассмотрим это на примере опроса среди разработчиков, целью которого было помочь компаниям в создании учебных программ и тренингов. Возникает вопрос: для каких конкретно компаний и учебных заведений? Целевая группа была обозначена как «все работающие программисты». Однако программисты, окончившие разные учебные заведения и работающие в разных компаниях, вряд ли смогут предоставить чёткие рекомендации по улучшению образовательных программ. Из-за разнородности выборки общие выводы будут затруднены и потребуют уточнения с учётом конкретных условий образовательных учреждений.
Следующий важный момент: могут ли респонденты дать полезные ответы? В исследовании не использовались критерии включения или исключения, что привело к тому, что среди респондентов могли оказаться люди, давно окончившие учёбу или вовсе не получавшие профильного образования. Такие респонденты вряд ли предоставят актуальную информацию о современных учебных программах.
Теперь обратимся к нашему опросу о внедрении технологий среди участников сообщества «Кофаундер». Мы заявили, что наша целевая группа — это организации или лица, принимающие решения по внедрению технологий. Однако на практике данные собирались у отдельных людей, а не у организаций. То есть, исследуемая единица (организация) не совпадала с единицей отбора (индивид). Это распространённая ошибка, которая может привести к смещению результатов, например, если несколько человек из одной компании дадут ответы. Это создаёт иллюзию большего количества данных, чем есть на самом деле, и искажает общие выводы.
В третьем исследовании целевая группа состояла из ИТ-менеджеров, участников конференции. Респонденты отвечали на вопросы о своём опыте управления проектами. В целом, выборка точно отражала целевую группу, и респонденты могли ответить на вопросы. Однако недостатком было отсутствие критериев исключения по опыту. Например, респонденты с небольшим опытом могли не дать точных ответов о проблемах в управлении проектами. В другом исследовании учитывалось количество проектов для оценки управляемости рисков, но не было учтено, как недостаток опыта мог повлиять на первоначальные выводы о рисках.

Методы отбора выборки

Когда точно определена целевая аудитория, важно использовать строгий подход к отбору выборки. Чтобы делать точные выводы об аудитории, нужно применять вероятностные методы отбора.

Ниже различные способы выборки, как вероятностные, так и невероятностные.

Вероятностные методы отбора выборки

Вероятностная выборка — это способ, при котором каждый член аудитории имеет известную ненулевую вероятность попасть в выборку. Цель такого подхода — устранить предвзятость и сделать выборку представительной. Если выборка не является вероятностной, на основе её данных нельзя делать статистические выводы.

Простая случайная выборка

Простая случайная выборка предполагает, что каждый член аудитрии имеет равные шансы быть отобранным. Один из способов — назначить каждому члену аудитрии случайное число, отсортировать их и выбрать первых n человек, где n — размер выборки.

Стратифицированная случайная выборка

В этом методе аудитория делится на подгруппы (страты), и из каждой страты отбираются участники. Стратификация полезна, если ожидается, что разные группы могут отвечать по-разному. Например, можно разделить участников по полу, так как мужчины и женщины часто реагируют на опросы по-разному. Обычно число отобранных в каждой страте пропорционально её размеру.

Систематическая выборка

Систематическая выборка предполагает отбор каждого n-го члена списка аудитрии. Если список случайный, этот метод можно считать аналогом случайной выборки. Однако если список отсортирован по какому-то признаку, это может привести к предвзятости.

Кластерная выборка

При кластерной выборке отбор производится по группам (кластерам), например, все члены одной семьи или пациенты одной больницы. Рандомизация проводится на уровне кластера, а не индивидов. Ответы внутри кластера могут быть схожими, поэтому анализ кластерной выборки сложнее.

Невероятностные методы отбора выборки

Невероятностные выборки формируются, когда респонденты отбираются по удобству или доступности. Такие выборки могут быть предвзятыми, поэтому делать сильные выводы на их основе не рекомендуется. Однако они могут быть полезны в следующих случаях:
  1. Труднодоступная целевая аудитория — например, опрос хакеров, которых сложно идентифицировать.
  2. Специфическая целевая группа — например, топ-менеджеры крупных компаний.
  3. Пилотное исследование — когда тестируется идея или опрос.

Выборка удобства

Этот метод включает сбор ответов от тех, кто легко доступен и согласен участвовать. Проблема в том, что люди, которые соглашаются, могут отличаться от тех, кто отказывается, что может исказить результаты.

Снежный ком

При этом методе участников просят рекомендовать других, кто мог бы принять участие. Процесс продолжается до получения нужного количества ответов. Метод часто используется для труднодоступных групп.

Квотная выборка

Это невероятностный аналог стратифицированной выборки. Аудитрия делится на подгруппы, и из каждой подгруппы отбирается определённое число участников.

Фокус-группы

Фокус-группы формируются из 10-20 человек, которые представляют определённую аудитрию. Они часто используются для предварительных исследований перед проведением основного опроса.

Размер выборки

Определение размера выборки — одна из основных задач при отборе выборки, и она играет важную роль по двум причинам:
  1. Статистическая значимость: Если размер выборки недостаточен, результаты могут оказаться статистически незначимыми. Например, если мы получим только один ответ, на основе него нельзя делать обоснованные выводы о целевой популяции.
  2. Сравнение подгрупп: Недостаточный отбор кластеров или страт мешает нам эффективно сравнивать и сопоставлять разные подгруппы в популяции.
Чтобы определить достаточный размер выборки, необходимо учесть четыре ключевых момента:
  1. Уровень альфа (α): Это вероятность ошибки первого рода, то есть вероятность ложного отклонения нулевой гипотезы. Обычно устанавливается на уровне 0,05 или 0,01.
  2. Уровень бета (β): Это вероятность ошибки второго рода, то есть вероятность ложного принятия нулевой гипотезы. Обычно устанавливается на уровне 0,20. Часто обсуждается мощность теста, которая рассчитывается как 1−β. Мощность теста — это вероятность правильного принятия альтернативной гипотезы.
  3. Величина эффекта: Это разница в результатах между двумя группами. Например, если мы изучаем различия в зарплате между мужчинами и женщинами-инженерами, величина эффекта будет разницей между средней зарплатой этих двух групп.
  4. Дисперсия эффекта: Это показатель вариации данных внутри группы. В нашем примере с зарплатой дисперсия будет отражать разброс зарплат для мужчин и женщин.
Для определения соответствующего размера выборки нам нужны предварительные данные, которые можно получить из предыдущих исследований или экспертных оценок.

Формула для расчета размера выборки

Для простого случая, при нормальном распределении переменных отклика и равном количестве участников в каждой группе, размер выборки (для каждой группы) можно рассчитать по формуле:
При расчете размера выборки следует учитывать возможность отсутствия ответов. Например, если теоретически оптимальный размер выборки составляет 50 человек, но мы ожидаем получить только 80% ответов, то размер выборки следует увеличить до 63 человек.

Зачем проводить выборку?

Возникает вопрос: почему необходимо проводить выборку, а не опрашивать всю аудиторию? В случае небольшая аудитория (обычно менее 50 человек) желательно собрать данные от всех участников.

Однако для больших аудиторий выборка имеет ряд преимуществ:
  1. Снижение затрат: Выборка помогает оптимизировать административные расходы и получать достаточное количество ответов для решения исследовательских задач.
  2. Контроль неответивших: Это позволяет следить за теми, кто не ответил, и выяснять причины их участия. Например, если аудитория состоит из нескольких тысяч человек, получение ответов только от 20% затрудняет работу с неответившими.
  3. Анонимность и кодирование анкет: Для отслеживания неответивших важно, чтобы анкеты были индивидуально закодированы. Это обеспечивает возможность сопоставления ответов с анкетами, сохраняя при этом анонимность респондентов.
Хорошим примером эффективных процедур отслеживания служит третье исследование. В исследование выделили 25 респондентов, которые не ответили, и позвонили им, чтобы узнать, почему они не участвовали. Выяснилось, что 25% из них на самом деле не были менеджерами, у 13% адреса были устаревшими, а 55% просто не имели времени или никогда не отвечали на опросы. Эта информация позволила исследователям заявить, что среди неответивших нет систематического смещения, что делает их выборку репрезентативной для целевой популяции.

Надеюсь, что эта статья убедила вас в необходимости улучшения методов выборки в опросах. По моему опыту, недействительные выборки — это самая распространенная проблема в таких исследованиях.