Статьи

Исследование среди разработчиков: Оценка содержания образовательных программ и их влияние на карьеру в IT

2024-09-26 21:01 Исследования
Данное исследование публикуется с целью продемонстрировать конкретный кейс, который не следует рассматривать как универсальное руководство к действию. Это всего лишь один из подходов, использованный в определённое время и в конкретных условиях. Более того, данный кейс не является идеальным, так как требует определения метода для отбора респондентов, что не было сделано.

В последние годы многие крупные компании пересматривают свои учебные программы, поскольку осознают важность контроля за обучением сотрудников в соответствии с бизнес-потребностями. Такой подход позволяет организациям лучше адаптироваться к изменениям на рынке и эффективно развивать свои кадры.

Однако я наблюдаю, что методологии, используемые разработчиками курсов, зачастую применяются поверхностно. Способы оценки и исследования, которые могли бы помочь в создании содержания учебных программ, не используются должным образом. В 2011 году, запуская несколько учебных программ, я решил самостоятельно провести опрос, чтобы выяснить, как можно улучшить образование для разработчиков.

Учитывая ограниченные ресурсы, я использовала вероятностные методы отбора выборки. Тем не менее, это исследование требует дальнейшего развития, и для получения более точных результатов рекомендую использовать стратифицированную и кластерную выборку. Это позволит более глубоко исследовать потребности аудитории и создать более эффективные учебные программы.

Исследование прошло среди 168 действующих разработчиков, чтобы выяснить, насколько их образование оказалось полезным в карьере. Я предложил им список из 57 тем и попросил указать, чему они научились в университете, что знают сейчас, насколько эти знания были полезны, и хотят ли они углубляться в какие-то новые темы.

Анализ результатов показал, что некоторые области требуют большего внимания в учебных программах, в то время как подход к изучению других тем, например, математических дисциплин, нуждается в пересмотре.
Цели исследования:
  1. Понять, в каких областях разработчикам не хватает знаний или они нуждаются в более качественном образовании, чтобы помочь компаниям создавать эффективные внутренние учебные программы и тренинги.
  2. Собрать данные для оценки текущих учебных программ и предложить улучшения для их совершенствования.

Методология исследования

В этом разделе расскажу, как проводилось исследование: какие вопросы задавались, как отбирались участники, и какие меры были предприняты для обеспечения надёжности результатов.

Вопросы

Опрос начинался с демографических данных, чтобы узнать:

  • Образование участников;
  • Опыт работы в разработке ПО, включая стажировки;
  • Тип их работы и основные обязанности.

Основная часть включала вопросы по 57 темам, которые были разделены на категории:

  • 9 тем по математике;
  • 31 тема по программированию;
  • 4 темы по инженерии (в основном по компьютерному «железу»);
  • 13 тем по гуманитарным наукам и бизнесу.

Кроме того, участникам были предоставлены свободные поля для добавления важных, на их взгляд, тем, которые не были включены в основной список.

Составление списка тем

Я изучил программы по информатике и программной инженерии из различных источников, составив первичный перечень тем, которые преподаются в университетах. Затем разбил некоторые из них на более узкие, чтобы получить более точные данные. Например, вместо общей темы «инженерия», я уточнял аспекты вроде «управление конфигурациями», «метрики ПО» и другие. Также сверил темы со стандартами IEEE/ACM для инженеров, чтобы учесть все необходимые направления.

Тестировал вопросы на пилотном опросе, после чего добавил несколько тем в итоговый список.

Ответы

Для каждой темы участники оценивали 4 ключевых аспекта. Ответы выставлялись по шкале от 0 до 5, где каждый балл имел определённое значение, а крайние значения отражали разные полярные мнения.

Дизайн опроса

Первый вопрос касался того, сколько каждый участник узнал в университете.
Насколько хорошо вы изучили эту тему в учебном заведении?
  • 0 = Вообще не изучал(а).
  • 1 = Лишь поверхностно знаком(а).
  • 2 = Изучил(а) основы.
  • 3 = Разобрался(ась) на среднем уровне (имею базовые рабочие знания).
  • 4 = Изучил(а) многое.
  • 5 = Изучил(а) в совершенстве, стал(а) экспертом (знаю почти всё).
Второй вопрос, с использованием той же шкалы, спрашивал, насколько хорошо человек владеет этими знаниями сейчас. Предполагалось, что по некоторым темам участники могли бы узнать больше уже после окончания учебы, а по другим — забыть часть материала.
Каковы ваши текущие знания по этой теме, учитывая то, что вы узнали на работе и, возможно, забыли?
  • 0 = Ничего не знаю.
  • 1 = Лишь поверхностно знаком(а).
  • 2 = Знаю основы.
  • 3 = Разбираюсь на среднем уровне (имею базовые рабочие знания).
  • 4 = Знаю многое.
  • 5 = Знаю в совершенстве, являюсь экспертом (знаю почти всё).
Третий вопрос касался того, насколько полезной оказалась каждая тема в карьере участников. Ожидал, что ответы покажут, какие темы важны, а какие — нет.
Насколько полезным был этот материал для вашей карьеры?
  • 0 = Совершенно бесполезно.
  • 1 = Почти никогда не было полезно.
  • 2 = Иногда бывало полезно.
  • 3 = Умеренно полезно, но только в некоторых случаях.
  • 4 = Очень полезно.
  • 5 = Необходимо.
Последний вопрос спрашивал, насколько полезно было бы для участника изучить больше по этой теме. Предполагал, что ответы на этот вопрос будут схожи с ответами на третий вопрос, и надеялся, что по темам, более востребованным в настоящее время, оценки будут выше.
Насколько было бы полезно (или могло бы быть полезно) узнать больше по этой теме (например, пройти дополнительные курсы)?
  • 0 = Бессмысленно учить больше.
  • 1 = Вряд ли пригодится.
  • 2 = Возможно, будет полезно.
  • 3 = Умеренно полезно.
  • 4 = Важно узнать больше.
  • 5 = Крайне важно узнать больше.
В среднем на прохождение опроса у участников уходило 35 минут.

Процесс сбора данных

Для проведения опроса я использовал два формата анкет: бумажные и онлайн-форму. Это помогло собрать 168 пригодных ответов:
  • 44 бумажные анкеты
  • 124 онлайн-анкеты
Я решил использовать оба способа, чтобы дать участникам возможность выбрать удобный формат. Например, бумажные анкеты лучше подходят тем, кто часто в пути или имеет плотный график.
Период проведения опроса: с мая по октябрь 2011 года. Я договорился с 6 компаниями, чтобы они распространили анкеты среди своих сотрудников. В некоторых компаниях руководство активно поддержало участие, однако были и те, кто отказался от участия.
Для расширения выборки, я использовал рекламу для привлечения дополнительных участников, что позволило собрать еще 42 ответа.
Сопроводительное письмо
Каждая анкета сопровождалась письмом, где я объяснял цель исследования и подчеркивал, что нужны специалисты в сфере разработки ПО. Также я гарантировал конфиденциальность данных, что способствовало доверию участников.
Обработка данных
Из всех полученных ответов 6 анкет пришлось исключить из-за неправильного заполнения.

Надежность данных

Старался собрать выборку, которая бы представляла широкую аудиторию разработчиков ПО. Удалось получить ответы от людей с разным уровнем образования, опытом работы и функциональными обязанностями.
Однако выделил 5 возможных источников искажения данных:
  • Разработчики ПО для внутренних систем: Большая часть участников опроса работала в IT-компаниях (особенно в телекоммуникационном секторе), а вот компании, не связанные с разработкой ПО, почти не участвовали. Это привело к смещению в сторону людей, чья основная работа связана с ПО для внутрених систем.
  • Магистры: Поддержка от высокотехнологичных компаний, вероятно, привела к смещению в сторону людей с учеными степенями. Я получил 55 ответов от таких людей (33%), что заметно выше их доли в общей профессиональной среде разработчиков ПО.
  • Россия: 74% участников работают в России, 23% в Белоруссии и только 3% — в других странах. Таким образом, результаты опроса больше отражают опыт России. В 7 случаях не смог определить, где работают респонденты.
  • Личные ощущения против реальной пользы: Так как опрос собирал субъективные мнения, возможны искажения, когда некоторые темы недооценивались или переоценивались. Например, респонденты могли не любить какой-то предмет и поэтому принижать его полезность. Или же тема могла быть полезной для решения проблем, но участник мог этого не осознавать. Считаю, что такой тип искажения минимален, так как были заметные различия между высоко и низко оценёнными темами. Предлагал провести дополнительные исследования, чтобы объективно измерить пользу различных предметов в работе программистов.
  • Самоотбор: Я распространял много запросов на участие в опросе, но получил ответы только от небольшой части людей, как в компаниях, так и в интернете. Те, кто заполнили анкету, скорее всего, имели больше свободного времени или интересовались такими исследованиями. Чтобы бороться с этим искажением, мне удалось привлечь нескольких руководителей компаний, которые поддержали участие своих сотрудников, дав понять, что заполнение анкеты — это часть их работы.
Что касается первых двух типов искажения, у меня было достаточно данных, чтобы провести отдельный анализ подвыборок. В целом, результаты по подвыборкам не сильно отличались от общей выборки.

Основные результаты опроса

География: Из 165 респондентов, предоставивших информацию, 123 (75%) работают в России, 37 (22%) — в Белоруссии, и 5 (3%) — в других странах. 122 человека (73% из 168 ответивших) получили высшее образование в России, 34 (20%) — в Беларуси, 18 (11%) — в Европе и 10 (6%) — в других странах. Некоторые респонденты учились в нескольких регионах.
Тип образования и опыт: 12 из 167 участников (7%) получили образование уровня среднеспециального (без университетской степени). У 100 человек (60%) высшим образованием был бакалавриат, у 45 (27%) — степень магистра, а 10 (6%) сообщили, что у них есть степень Ph.D.
Таблица №1 показывает области обучения участников, на основе информации от 159 респондентов. Если респондент указал несколько областей, в таблице указана та, которая ближе всего к информатике или программной инженерии (в верхних строчках таблицы).

Самая ранняя степень была получена в 1992 году, а самая поздняя — в 2011 году (117 участников указали эту информацию). В среднем прошло 11,5 лет (стандартное отклонение 7,6) с момента получения первого диплома, и 9,6 лет — с момента получения последней степени.

Участники сообщили, что их стаж работы в ИТ-индустрии варьировался от 0 до 40 лет (n=165, среднее=10,5, стандартное отклонение=7,7). Интересно, что прошло меньше времени с момента получения последней степени, чем общего времени работы в индустрии. Это говорит о том, что многие возвращались в университет для обновления знаний.

Для дальнейшего анализа участников разделил участников на три категории: джуниор, мидл-уровень и сеньор, основываясь на их стаже работы в индустрии, см. таблицу №2.
Тип работы: Участники указали, с каким из трёх типов программного обеспечения они работают. Результаты 149 респондентов приведены в таблице №3.
Также 37 человек сообщили, что работают с несколькими категориями, а 10 респондентов упомянули разработку, которая не относится ни к одной из предложенных категорий. Участники также описали свою работу по несколько ключевым словам, из которых они могли выбрать несколько и/или добавить свои собственные. Из 167 ответов удалось разделить участников на категории, приведённые в таблице №4.

Актуальность образования

В опросе задавались два очень общих вопроса о том, насколько участники считают свое образование актуальным. Эти вопросы добавили после пилотного исследования.
Несколько респондентов упомянули, что отметили «почти никогда не полезно» для многих конкретных предметов, но в целом их образование оказалось полезным.
Вопросы были следующими:
  1. Как в целом ваше образование повлияло на вашу карьеру? (0 = Совсем не актуально; 3 = Иногда актуально; 5 = Чрезвычайно актуально)
  2. Насколько важны были конкретные предметы и детали в вашем образовании по сравнению с обучением тому, как мыслить или подходить к решению проблем? (0 = Конкретные предметы были намного важнее; 2.5 = Оба аспекта были одинаково важны; 5 = Обучение мышлению было намного важнее)
Средние ответы составили 3.5 на первый вопрос и 3.7 на второй.
Однако мнения участников заметно различались: некоторые поставили «0», а другие – «5».
Исходя из первого вопроса, можно сделать вывод, что специалисты в области разработки считают свое образование умеренно актуальным, хотя мнения разделяются.
По второму вопросу можно сказать, что разработчики программного обеспечения считают, что умение мыслить важнее, чем знание конкретных предметов.

Различия между демографическими подгруппами

В данном разделе участники были разделены на группы в зависимости от их ответов на вопросы: те, кто оценил свое образование на ≥4, и те, кто оценил его на <4. Это обеспечило примерно равное распределение для каждого вопроса.

Актуальность образования

  • Общее восприятие: 51% респондентов считают свое образование актуальным (ответ на первый вопрос ≥4). Остальные менее уверены в этом.
  • Региональные различия: Респонденты, получившие образование в Беларуси, значительно чаще считали свое образование актуальным (65%). Среди тех, кто учился в России, лишь 49% сочли его актуальным, и 48% среди обучавшихся в других странах. Это указывает на необходимость обратить внимание на программы учебных заведений России, хотя может присутствовать скрытая предвзятость в сторону более элитных университетов.
  • Специальности: Студенты факультетов компьютерных наук или программной инженерии чаще сообщали о релевантности своего образования (70%). В отличие от них, обладатели образования в области общей инженерии оценили свое образование как значительно менее актуальное для карьеры в программном обеспечении (30%). Это может быть связано с тем, что их обучение включает больше аппаратной, чем программной части, хотя многие компании предпочитают нанимать таких специалистов в области ПО.
  • Некомерные специальности: Респонденты с некомпьютерным образованием гораздо реже (29%) считали свое образование актуальным.

Влияние опыта на восприятие образования

  • Возраст специалистов: Молодые специалисты оценили свое образование как менее актуальное (43%) по сравнению с экспертами (56%). Возможные объяснения:
  1. Более опытные специалисты могли работать над более разнообразными проектами, использующими их образовательный багаж.
  2. Образование может становиться менее актуальным. Предпочитаю первое объяснение.

Значимость обучения мышлению

  • Общие результаты: 56% респондентов считают, что обучение мышлению (≥4) важнее, чем конкретные детали.
  • Региональные различия: Те, кто обучался за пределами России, значительно реже (44%) считали «обучение мышлению» первостепенным. Это может отражать тенденцию российских университетов требовать более широкий набор предметов в учебной программе.
  • Образование и мышление: Обладатели высшего образования больше склонны считать обучение мышлению важнее деталей (67%), как и те, кто изучал что-то кроме компьютерных наук или инженерии (74%). Это логично, поскольку такие люди, вероятно, не усвоили много актуальных программных деталей в университете.
  • Типы разработки ПО: Разработчики телекоммуникационного или встроенного ПО менее ценят обучение мышлению (49%), в то время как те, кто занимается другими типами ПО, придают этому большое значение (78%). Это может отражать факт, что разработка потребительского или бизнес-программного обеспечения требует изучения тем, не охваченных в университетских курсах.

Опыт и аналитические навыки

  • Возраст специалистов: Сеньоры больше ценят обучение мышлению (56%) по сравнению с молодыми специалистами (49%). Это объясняется тем, что эксперты чаще сталкиваются с аналитическими задачами, требующими оригинального мышления. Например, 33% джунов выполняют анализ в своей работе, в то время как 76% сеньоров занимаются этим.

Корреляция восприятия образования

  • Связь между релевантностью и обучением: Коэффициент корреляции между вопросом о релевантности образования и вопросом о предпочтении деталей против обучения мышлению был очень низким (-0.2). Те, кто считал свое образование актуальным, значительно реже (46%) отдавали предпочтение «обучению мышлению», чем те, кто считал свое образование менее актуальным (65%).

Сравнение категорий учебных программ

В таблице №5 представлены ответы на четыре основных вопроса по четырём категориям учебных программ. Ниже несколько ключевых наблюдений из этих данных:
Сравнение понимания математики и программирования
Участники опроса отмечают, что университет дал им гораздо лучшее понимание математики, чем программирования. Это может быть связано с тем, что большинство математических тем, полезных для программистов, действительно преподаются в учебной программе. В то же время многие аспекты разработки ПО начали включаться в курсы только недавно. Дополнительную информацию можно найти в разделе 3.4.

Полезность программного обеспечения
Как и ожидалось, программное обеспечение оказалось самой полезной категорией, и это направление вызывает у участников наибольшее желание учиться дальше. Однако низкие оценки по программному обеспечению в таблице 5 связаны с тем, что в неё включены несколько тем, которые были оценены низко, например, искусственный интеллект.

Знания в области математики и программного обеспечения
Таблица №6 демонстрирует различия между вопросом i (чему они научились) и вопросом ii (что они знают сейчас) по категориям. Явно видно, что многие математические знания забываются, тогда как новые знания в области программного обеспечения приобретаются на рабочем месте.

Различия среди демографических подгрупп
В данных наблюдаются значительные различия среди различных демографических подгрупп. Вот некоторые из них:

  • Уровень образования: Люди с учеными степенями магистратуры или выше изучили больше математики (2.9 против 2.6) и считают её более полезной для карьеры (1.8 против 1.3).
  • Опыт в программном обеспечении: Эксперты оценили свое обучение в области программного обеспечения как значительно более полезное, чем начинающие участники (2.9 против 2.6), хотя их текущий уровень знаний был почти одинаковым (2.6 против 2.5). Эксперты также ощущают, что изучили меньше программного обеспечения в университете (1.6 против 2.0).
  • Менеджеры против неменеджеров: Менеджеры сообщили, что изучили больше тем и нашли их более полезными по сравнению с неменеджерами. Они имели более широкий круг знаний и лучше оценивали дополнительные темы (вопрос ii: 1.8 у неменеджеров и 2.3 у менеджеров; вопрос iii для дополнительных тем: 1.5 у неменеджеров и 2.2 у менеджеров).
  • Разработка программного обеспечения: Участники, занимающиеся исключительно разработкой массового или управленческого программного обеспечения, знали гораздо меньше о «железе» по сравнению с теми, кто разрабатывает системы реального времени или телекоммуникационное ПО (1.3 против 1.9). Первая группа также оценила свои знания о «железе» как менее полезные (1.1 против 1.9). Интересно, что представители первой группы реже забывали свои математические знания (-0.5 против -0.9), хотя это может быть связано с тем, что у них изначально было меньше математической подготовки (2.3 против 2.8).

Детали внутри категорий

В таблицах жирным шрифтом выделены значения, которые близки к крайним для данного вопроса.
Таблицы №7-№10 демонстрируют, какие подтемы в каждой категории считаются наиболее и наименее полезными. Вопрос iii наиболее точно отражает полезность изучаемого материала, за ним следует вопрос iv. Колонки с отметкой «learn» показывают разницу между вопросами i и ii. Если значение сильно положительное, это свидетельствует о том, что материал активно изучается на работе и, вероятно, является полезным. Методологам учебных программ стоит рассмотреть возможность включения этих тем в учебные курсы, чтобы лучше подготовить студентов.
Рейтинг тем и их преподавание
Важно отметить, что низкий рейтинг темы в таблицах не означает, что её не следует преподавать. Например, многие преподаватели считают, что даже курсы с низкой оценкой, такие как дифференциальное исчисление, необходимы для полного понимания более высоко оценённых тем, таких как статистика. Кроме того, результаты опроса отражают лишь мнения участников и могут не совпадать с реальной полезностью знаний на практике. Тем не менее, методологам следует уделить больше внимания высоко оценённым темам и пересмотреть подход к преподаванию менее полезных.
Из данных таблиц можно сделать несколько ключевых выводов:
Дисбаланс в обучении
В обучении будущих специалистов в области программного обеспечения наблюдается дисбаланс в том, как преподавались математические подтемы. Например, дифференциальное исчисление обычно имеет больший вес, чем темы, отмеченные как «наиболее полезные» в таблице №7.
Факультативные и неполноценные темы
Некоторые темы, которые являются факультативными или занимают незначительное место в программе, должны получить большее внимание. К таким темам относятся:
  • Тестирование и контроль качества
  • Сбор и анализ требований
  • Управление проектами
  • Дизайн пользовательского интерфейса
  • Управление конфигурациями
Исключение менее полезных тем
Рекомендуется исключить некоторые темы, которые обязательны в многих учебных планах, но вызывают споры о своей необходимости. Например, это могут быть дифференциальные уравнения и численные методы.
Запрос на дополнительные курсы
Специалисты по программному обеспечению выражают желание углубить знания в области архитектуры и проектирования ПО, считая, что их образование недостаточно охватывает эти темы. Университетам и корпоративным учебным центрам стоит рассмотреть возможность добавления дополнительных курсов по этим вопросам.

Анализ результатов и выводы

Данные, представленные в исследование, показывают, что существует значительный потенциал для улучшения учебных программ по разработке программного обеспечения. Хотя результаты основаны на мнениях участников, между разными группами наблюдается высокое согласие. Это говорит о том, что такие взгляды разделяют не только студенты, но и опытные разработчики, которые уже применили полученные в университете знания на практике.

Основные выводы и изменения в программе

На основе опроса были внесены следующие изменения в учебную программу:
Обязательные дисциплины
Все темы, которые были признаны наиболее важными (за исключением второго иностранного языка), включены в обязательную часть программы. Среди них такие предметы, которые обычно не входят в стандартную программу по компьютерным наукам:
  • Управление проектами
  • Системы реального времени (Real-time software)
  • Дизайн пользовательского интерфейса
  • Сопровождение программного обеспечения (включая реинжиниринг)
  • Управление и профессиональная этика
Факультативные предметы
Темы, признанные наименее значимыми, такие как численные методы и дифференциальные уравнения, были сделаны факультативными. Некоторые дисциплины, например, математический анализ, хотя и получили низкие оценки по полезности, оставлены в программе для соответствия стандартам аккредитации инженерных программ.

Практическое применение результатов

Результаты исследования были использованы при создании корпоративной программы обучения разработчиков. Эти данные также могут оказаться полезными для других компаний или университетов при разработке учебных планов и корпоративных тренингов.
Отдельно хочу поблагодарить всех, кто принял участие в опросе. Спасибо за ваши ответы!
Вы также можете заказать исследование для вашей компании, чтобы разработать учебную программу, которая будет соответствовать запросам ваших сотрудников. Пожалуйста, свяжитесь со мной для уточнения сроков и стоимости подобного исследования.