CustDev через опросы: основы исследования для цифрового продукта

Опросы кажутся простыми, но это иллюзия

Опросы — вероятно, один из самых распространённых методов исследований в мире. Их часто используют при разработке цифровых продуктов, а ещё нас регулярно зовут в них участвовать в повседневной жизни — как избирателей, потребителей или пользователей услуг. Из-за этого кажется, что опрос — простой и лёгкий способ собрать важную информацию о продуктах, контекстах, процессах, сотрудниках и многом другом. Это не так.

У меня большой опыт применения и оценки исследовательских методов, и я не ожидал серьёзных трудностей при планировании опроса о внедрении технологий. Опыт показал, насколько я ошибался. Я делюсь извлечёнными уроками, чтобы помочь вам выстроить методологию опросов, особенно при создании цифровых продуктов.

Опрос — это процесс, а не анкета

Опрос — не просто инструмент сбора информации (анкета или контрольный лист). Это целая система, которая помогает описать, сравнить или объяснить знания, установки и поведение людей. Анкета — лишь часть более широкого процесса из таких этапов:

• поставить конкретные измеримые цели;
• спланировать опрос и составить график;
• обеспечить ресурсы;
• разработать опрос;
• подготовить инструмент сбора данных;
• проверить (валидировать) инструмент;
• отобрать участников;
• провести опрос и оценить результаты;
• проанализировать данные;
• подготовить отчёт о результатах.

Три типа опросов по степени контроля исследователя

Опросы различаются по тому, насколько исследователь контролирует процесс. В зависимости от целей и ресурсов выделяют три типа:

1. Контролируемые опросы. Исследователь активно участвует в процессе. Например, в телефонном интервью за каждым респондентом закреплён интервьюер, который помогает понять вопросы и получить точные ответы. Иногда опрос проходит в группе, и исследователь рядом: разъясняет инструкции и отвечает на вопросы.
2. Полуконтролируемые опросы. Исследователь объясняет цели, даёт инструкции и разбирает несколько примеров вопросов. Дальше респонденты заполняют опрос сами, без его активного участия. Так сохраняется баланс между управлением процессом и самостоятельностью участников.
3. Неконтролируемые опросы. Исследователь не вмешивается совсем. Например, это автоматические телефонные звонки или анкеты по почте, где респондент сам отвечает на вопросы о своём образе жизни, привычках в путешествиях или предпочтениях в еде.

Цель исследования должна определять все неоднозначные термины

Цель — это утверждение о том, какие результаты вы ожидаете от опроса. Например, выявить самые полезные функции инструмента фронтенд-разработки или самые частые потребности в обучении новых сотрудников. Важно, чтобы в формулировке цели были определены все потенциально неоднозначные термины. От этих определений зависит и сама анкета, и то, как респонденты поймут терминологию.

Я исхожу из того, что вы уже выбрали опрос

Я опираюсь на свой опыт и работы других исследователей, чтобы показать и сильные, и слабые стороны метода. Опрос — лишь один из эмпирических методов, наряду с анализом случаев, факторными исследованиями и экспериментами. Здесь я исхожу из того, что вы уже решили провести опрос.

Мои три исследования — вместе с ошибками

Я опираюсь на свои прошлые исследования и не скрываю собственных ошибок и упущений. Ошибки меня не пугают: я считаю их важной частью обучения. Главное — разбирать такие ситуации ретроспективно и совершенствовать методы исследования.

Вот три исследования, на которых я учился на своих промахах и менял подход, чтобы получать более точные и ценные результаты. Где именно в них ошиблись с выборкой, я разбираю в статье CustDev и опросы: как отобрать валидную выборку аудитории.

• Опрос разработчиков для создания образовательных программ. Участников набирали через интернет и профильные сообщества. В 2017 году провели 2 опроса, чтобы сравнить, какие знания программисты получили в университете и что им реально пригодилось на работе.
• Опрос участников сообщества о внедрении новых технологий. Анкету распространяли в Сообществе «Кофаундеров». Этим опросом я выяснял, на какие данные компании опираются, когда решают внедрить новые технологии.
• Опрос участников конференции о рисках в проектах и стратегиях управления ими. Анкеты отправляли заранее отобранной группе участников конференции с должностью «менеджер» или аналогичной — не больше двух менеджеров из одной компании. Опрос изучал риски в проектах и стратегии управления ими.