CustDev и опросы: как отобрать валидную выборку аудитории

Эта статья — продолжение серии образовательных статей о проведении опросов.

Выборка валидна, только если респондентов отобрали случайно

Главное, что нужно понять: валидная выборка — это не просто набор ответов респондентов. С точки зрения статистики выборка валидна, только если респондентов отобрали случайным образом.

Ниже разберу, почему важно правильно подходить к отбору выборки и как сделать её валидной. Покажу и проблемы, которые возникают при подборе респондентов для опросов в сфере цифровых продуктов. Как и в предыдущих статьях, я опираюсь на реальные примеры, чтобы показать собственные и распространённые ошибки.

Три опроса, на которых я разберу ошибки выборки

Опрос среди разработчиков для создания образовательных программ. Участников набирали через интернет и профильные сообщества. В 2017 году провели 2 опроса, цель которых — сравнить, какие знания программисты получили в университете и что им реально пригодилось на работе.

Опрос среди участников сообщества о внедрении новых технологий. Анкету распространяли в сообществе «Кофаундеров». Этот опрос я провёл, чтобы выяснить, на какие данные компании опираются, когда решают внедрять новые технологии.

Опрос среди участников конференции о рисках в проектах и стратегиях управления ими. Анкеты отправляли заранее отобранной группе участников конференции с должностью «менеджер» или аналогичной — не более чем двум менеджерам из одной компании. Опрос изучал риски в проектах и стратегии управления ими.

Дальше я покажу, что только третье исследование может утверждать: набор ответов действительно представляет выборку из целевой генеральной совокупности.

Что такое генеральная совокупность и выборка

Чтобы получить выборку, сначала определите целевую генеральную совокупность. Это группа людей или организаций, к которым относится опрос: те, кто может ответить на ваши вопросы и на кого распространяются результаты. В идеале генеральную совокупность можно представить конечным списком всех её участников.

Например, в опросах избирателей используют список зарегистрированных избирателей как список целевой совокупности.

Валидная выборка — представительная часть целевой совокупности. Ключевое слово — «представительная». Если выборка не представительна, нельзя утверждать, что результаты опроса отражают мнение всей генеральной совокупности. А если результаты нельзя обобщить, их ценность сравнима с личным мнением. Поэтому одна из главных задач — убедиться, что выборка действительно представляет всю целевую группу.

Где ошиблись в трёх примерах

В первом опросе целевая группа — программисты. Если это все разработчики софта в мире, то фактически аудитория не определена. Кроме того, нет никакого метода отбора респондентов: в исследование попали ответы тех, кто сам решил поучаствовать.

Целевая группа размыта, метода отбора нет. В описании исследования видны демографические характеристики респондентов (возраст, уровень образования, национальность и т. д.), но делать обобщения на основе результатов невозможно.

Во втором опросе, вероятно, изначально выбрали неверную целевую группу: людей просили отвечать от имени их компаний. Но даже если бы целевая группа включала всех участников «Прикладной разработки ПО», у нас не было чёткой методики отбора. Поэтому нельзя сказать, что ответы представляют валидную выборку.

Здесь вы, возможно, возразите: если анкеты отправили всей целевой группе, почему ответы нельзя считать валидной выборкой? И зачем вообще выборка, если можно попытаться охватить всю аудиторию? Это важные вопросы, и я отвечу на них ниже.

Третий опрос предполагает список участников конференции с должностью «менеджер». Раз это менеджеры конкретной конференции, у исследования была определённая целевая группа. Анкеты заранее отправили отобранной части этой группы. Если отбор шёл по валидной методике, выборка считается валидной. Как мы увидим позже, этого недостаточно, чтобы считать валидной выборкой полученные ответы, но это хороший старт.

Как получить валидную выборку: начните с целей исследования

Прежде чем проводить опрос, точно определите целевую аудиторию. Нельзя отобрать правильную выборку, если вы не знаете, кого хотите опросить. Определяйте целевую группу по целям исследования, а не по тому, кто доступен для участия. Чем чётче цели, тем проще решить, кого включать в выборку.

Целевая группа может быть частью более широкой аудитории. При её отборе полезны критерии включения и исключения. Например, если мы исследуем, насколько образование в программировании соответствует требованиям индустрии, стоит исключить инженеров без профильного образования в программной инженерии или информатике.

Планируя исследование, продумайте целевую группу и отбор выборки с точки зрения анализа данных. Это можно сделать уже при составлении анкеты, но подход нужно пересмотреть после предварительных тестов. Тогда у вас будут реальные ответы и вы сможете проверить методы анализа. Задайте себе два вопроса:

• Соответствуют ли результаты целям исследования?
• Могут ли респонденты из целевой группы ответить на ключевые вопросы?

Пример 1: разнородная выборка не даёт общих выводов

Опрос среди разработчиков должен был помочь компаниям создавать учебные программы и тренинги. Возникает вопрос: для каких именно компаний и учебных заведений? Целевой группой назвали «всех работающих программистов».

Но программисты, которые окончили разные учебные заведения и работают в разных компаниях, вряд ли дадут чёткие рекомендации по улучшению образовательных программ. Из-за разнородности выборки общие выводы затруднены и требуют уточнения с учётом условий конкретных учебных заведений.

Следующий вопрос: могут ли респонденты дать полезные ответы? В исследовании не было критериев включения и исключения. Поэтому среди респондентов могли оказаться люди, давно окончившие учёбу или вовсе не получавшие профильного образования. Вряд ли они дадут актуальную информацию о современных учебных программах.

Пример 2: единица исследования не совпала с единицей отбора

В опросе о внедрении технологий среди участников сообщества «Кофаундер» мы заявили целевой группой организации или лиц, которые принимают решения о внедрении технологий. Но на практике данные собирали у отдельных людей, а не у организаций.

То есть исследуемая единица (организация) не совпадала с единицей отбора (человек). Это распространённая ошибка. Если ответят несколько человек из одной компании, результаты сместятся: возникнет иллюзия большего объёма данных, чем есть на самом деле, и общие выводы исказятся.

Пример 3: не хватило критериев исключения по опыту

В третьем исследовании целевая группа — ИТ-менеджеры, участники конференции. Респонденты отвечали на вопросы о своём опыте управления проектами. В целом выборка точно отражала целевую группу, и респонденты могли ответить на вопросы.

Недостаток — отсутствие критериев исключения по опыту. Респонденты с небольшим опытом могли не дать точных ответов о проблемах управления проектами. В другом исследовании учитывали количество проектов для оценки управляемости рисков, но не учли, как недостаток опыта мог повлиять на первоначальные выводы о рисках.

Методы отбора выборки: вероятностные и невероятностные

Когда целевая аудитория определена, нужен строгий подход к отбору выборки. Чтобы делать точные выводы об аудитории, применяйте вероятностные методы отбора. Ниже — разные способы выборки, вероятностные и невероятностные.

Вероятностные методы

Вероятностная выборка — способ, при котором у каждого члена аудитории есть известная ненулевая вероятность попасть в выборку. Цель — устранить предвзятость и сделать выборку представительной. Если выборка не вероятностная, делать на её основе статистические выводы нельзя.

Простая случайная выборка. У каждого члена аудитории равные шансы быть отобранным. Один из способов: назначить каждому случайное число, отсортировать список и выбрать первых n человек, где n — размер выборки.

Стратифицированная случайная выборка. Аудиторию делят на подгруппы (страты) и из каждой отбирают участников. Стратификация полезна, если разные группы, скорее всего, ответят по-разному. Например, можно разделить участников по полу, так как мужчины и женщины часто по-разному реагируют на опросы. Обычно число отобранных в каждой страте пропорционально её размеру.

Систематическая выборка. Отбирают каждого n-го члена списка аудитории. Если список случайный, метод можно считать аналогом случайной выборки. Но если список отсортирован по какому-то признаку, возможна предвзятость.

Кластерная выборка. Отбирают группы (кластеры), например всех членов одной семьи или пациентов одной больницы. Рандомизацию проводят на уровне кластера, а не отдельных людей. Ответы внутри кластера могут быть схожими, поэтому анализировать кластерную выборку сложнее.

Невероятностные методы

Невероятностную выборку формируют, когда респондентов отбирают по удобству или доступности. Такие выборки могут быть предвзятыми, поэтому делать на их основе сильные выводы не стоит. Но они полезны в трёх случаях:

1. Труднодоступная целевая аудитория — например, хакеры, которых сложно идентифицировать.
2. Специфическая целевая группа — например, топ-менеджеры крупных компаний.
3. Пилотное исследование — когда тестируют идею или сам опрос.

Выборка удобства. Ответы собирают у тех, кто легко доступен и согласен участвовать. Проблема в том, что согласившиеся могут отличаться от отказавшихся, и это искажает результаты.

Снежный ком. Участников просят порекомендовать других, кто мог бы принять участие, пока не наберётся нужное количество ответов. Метод часто используют для труднодоступных групп.

Квотная выборка. Невероятностный аналог стратифицированной выборки: аудиторию делят на подгруппы и из каждой отбирают определённое число участников.

Фокус-группы. Группы из 10–20 человек, которые представляют определённую аудиторию. Их часто используют для предварительных исследований перед основным опросом.

Размер выборки определяет, можно ли доверять результатам

Размер выборки — одна из главных задач при её отборе. Он важен по двум причинам:

1. Статистическая значимость. При недостаточном размере выборки результаты могут оказаться статистически незначимыми. Например, по одному ответу нельзя делать обоснованные выводы о целевой популяции.
2. Сравнение подгрупп. Если кластеров или страт отобрано недостаточно, разные подгруппы популяции не получится эффективно сравнить.

Чтобы определить достаточный размер выборки, учтите четыре параметра:

1. Уровень альфа (α) — вероятность ошибки первого рода, то есть ложного отклонения нулевой гипотезы. Обычно его устанавливают на уровне 0,05 или 0,01.
2. Уровень бета (β) — вероятность ошибки второго рода, то есть ложного принятия нулевой гипотезы. Обычно — 0,20. Часто обсуждают мощность теста, которая равна 1 − β. Мощность теста — вероятность правильного принятия альтернативной гипотезы.
3. Величина эффекта — разница в результатах между двумя группами. Например, если мы изучаем различия в зарплате инженеров-мужчин и инженеров-женщин, величина эффекта — разница между средними зарплатами этих групп.
4. Дисперсия эффекта — вариация данных внутри группы. В примере с зарплатой это разброс зарплат у мужчин и у женщин.

Чтобы определить размер выборки, нужны предварительные данные из прошлых исследований или экспертных оценок.

Формула для расчёта размера выборки

В простом случае — при нормальном распределении переменных отклика и равном числе участников в группах — размер выборки для каждой группы рассчитывают по формуле:

При расчёте размера выборки учитывайте, что часть людей не ответит. Например, если теоретически оптимальный размер выборки — 50 человек, а вы ожидаете получить только 80% ответов, увеличьте выборку до 63 человек.

Зачем нужна выборка, если можно опросить всех

Почему бы не опросить всю аудиторию вместо выборки? Если аудитория небольшая (обычно менее 50 человек), желательно собрать данные от всех участников.

Но для больших аудиторий у выборки есть преимущества:

1. Ниже затраты. Выборка помогает сократить административные расходы и при этом получить достаточно ответов для исследовательских задач.
2. Контроль неответивших. Можно отслеживать тех, кто не ответил, и выяснять причины их неучастия. Если аудитория — несколько тысяч человек, а ответили только 20%, работать с неответившими трудно.
3. Анонимность и кодирование анкет. Чтобы отслеживать неответивших, анкеты должны быть индивидуально закодированы. Так ответы можно сопоставить с анкетами, сохранив анонимность респондентов.

Хороший пример процедуры отслеживания — третье исследование. Исследователи выделили 25 респондентов, которые не ответили, и позвонили им, чтобы узнать причину. Выяснилось, что 25% из них на самом деле не были менеджерами, у 13% адреса устарели, а 55% просто не нашли времени или никогда не отвечают на опросы. Это позволило исследователям заявить, что среди неответивших нет систематического смещения, а значит, их выборка репрезентативна для целевой популяции.

Надеюсь, эта статья убедила вас, что методы выборки в опросах стоит улучшать. По моему опыту, недействительные выборки — самая распространённая проблема таких исследований.