Зачем мы сделали тесты по ИТ-навыкам (и кому они помогут)
Привет! Меня зовут Никита Сбитнев, я ― продакт hh.ru, и сегодня я расскажу, как устроены наши тесты по ИТ-навыкам.
Почему мы вообще решили делать тесты? Потому что рынок уже понемногу переходит к найму, основанному на навыках. Работодатели всё больше смотрят на реальные умения и пытаются придумать, как объективно оценивать их ещё на этапе собеседования. А лучше ― раньше. По нашим исследованиям, 68% компаний в той или иной мере ориентируются на навыкоцентричный подход.
Мы изучили рынок найма и через исследования поняли, что и нанимателям, и соискателям не хватает рабочего инструмента для skill-based подхода. Работодателям сейчас сложно объективно оценивать умения соискателей. Да и сами соискатели не всегда могут точно определить, насколько они владеют тем или иным навыком, ― кто-то преувеличивает, кто-то преуменьшает. К тому же кандидаты фокусируются на прохождении собеседований, а не на реальных навыках, то есть говорят эйчару то, что (как они полагают) он хочет услышать.
В результате компания может упустить ценного специалиста и нанять того, кто не подходит на роль. А потом переучивать его или менять через несколько месяцев. Понятно, что найм в таком случае будет очень дорогим и долгим. По данным нашего внутреннего исследования, 60% компаний проверяют навыки кандидатов, чтобы на старте снизить затраты.
Но и специалистам такие тесты будут полезны. Они помогут объективно сравнить свой уровень с требованиями рынка и понять, какие навыки нужно развивать в первую очередь. Кроме того, так соискатели смогут подсветить себя перед работодателем и показать, что они действительно что-то умеют.
Мы хотели повысить доверие к нашей базе со стороны работодателей. Сейчас, с появлением AI-инструментов, проблема стоит особенно остро. Для пробы запустили тесты по самым востребованным навыкам ― Excel и английскому, а потом начали добавлять к ним ИТ-компетенции. Сперва мы сомневались, что люди будут их проходить, ― всё-таки на это нужно потратить время и силы. Но эксперимент удался: один только тест по Excel прошли 523 000 человек. Мы поняли, что люди готовы пользоваться этим инструментом, чтобы подчеркнуть свой профессионализм.
Недавно hh.ru стал оператором проекта Минцифры для подтверждения ИТ-навыков. Поэтому с июня все, кто успешно прошёл тест по ИТ-навыкам, могут получить не только пометку об этом в своём профиле, но и официальный сертификат на «Госуслугах». Его можно добавить в резюме или показать работодателю. А эксперты из Минцифры получат информацию о том, сколько в стране айтишников и что они умеют, ― эти данные будут использоваться для аналитики, в том числе и для актуализации образовательных программ.
Как работают тесты по навыкам на hh.ru?
На странице резюме есть блок «Навыки, которые можно подтвердить». Соискатель может выбрать нужный скил и пройти по нему тест. Пометка, что навык подтверждён независимым тестом, добавляет веса профилю.
Если человек успешно пройдёт тест, подтверждённый уровень подсветится зелёным, а в резюме появится значок «Есть подтверждённые навыки», и работодатель его увидит.
А если тест пройти не получится, не случится ровным счётом ничего. Никто, кроме самого пользователя, не увидит негативный результат. Тест снова можно будет пройти через месяц ― мы посчитали, что этого достаточно, чтобы подтянуть знания и нормально подготовиться.
Жульничать и пытаться «списать» ответы, мне кажется, довольно бессмысленная затея. Во-первых, в тесты вшита антифрод-система, которая мешает это сделать. Во-вторых, даже если её обойти, работодатель всё равно поймёт, что соискатель умеет на самом деле. В-третьих, когда пользователь честно проходит тест, то видит свои сильные и слабые места, понимает, что можно подтянуть, чтобы найти хорошую работу. Это удобный инструмент самопроверки, зачем его обманывать?
После тестирования появляется отчёт с результатами. Он автоматически доступен рекрутеру, так что им можно воспользоваться на собеседовании. Это помогает работодателю оценивать навыки кандидата на основе конкретных данных. Кроме того, работодатели могут отфильтровать резюме по подтверждённым навыкам, расширить воронку найма за счёт тех соискателей, которые подходят по умениям, а не только по формальному образованию, быстро сравнивать кандидатов между собой.
Почему именно эти навыки?
Сейчас на hh.ru можно пройти тесты по 20 ИТ-навыкам, английскому, Excel и др. Во многих тестах есть не только теоретическая часть, но и практика.
Самые популярные теоретические ИТ-направления сегодня ― Linux, API и HTML. Самые популярные практические навыки ― Python, SQL и C#. Постепенно мы будем добавлять новые. Ближайшие на очереди ― тест и практика по Go. Мы ориентируемся на рынок, то есть на самые распространённые требования работодателей.
И сами тесты мы составляли так, чтобы они проверяли не абстрактные знания, а отражали рыночные требования к умениям кандидатов. Мы привлекаем к их разработке экспертов из BigTech- и EdTech-компаний: IBS, VK, «Ростелеком», «Ланит», Skyeng, Skypro.
Сразу скажу, что тесты не формальные. Они достаточно сложные и рассчитаны на разные уровни ― от базового до продвинутого. А поскольку в случае неудачи повторить попытку можно только через месяц, нет риска, что человек пройдёт тест просто методом тыка, перебирая варианты.
Как мы разрабатываем задания?
Работа над одним тестом занимает в среднем около трёх месяцев.
Сперва мы проводим анализ для каждого навыка ― определяем, в каких профессиях он считается ключевым, в описаниях каких вакансий встречается чаще всего.
Затем мы вместе с нашими партнёрами из ИТ-компаний разрабатываем тематическое содержание теста: выделяем составляющие навыка и отраслевые требования к нему, критерии для базового, среднего и продвинутого уровня владения.
После этого наступает звёздный час экспертов-практиков из вузов и бигтеха: они разрабатывают банк заданий в соответствии с методологией.
Как мы подходим к выбору экспертов для ИТ-тестов? Как правило, мы приглашаем разработчиков из крупных организаций и вузов. Это специалисты с продвинутым уровнем владения навыком (сеньоры) и с опытом разработки от 5 лет. Обязательное условие ― практический опыт применения навыка, который мы тестируем. То есть если мы пишем задачи для проверки С#, недостаточно просто знать C# или иметь опыт руководства командой разработчиков на С#. Нужен именно опыт написания кода на C#. Также важно, чтобы этот опыт был свежим, не позднее текущего года ― мы учитываем самые последние изменения в содержании навыков и требованиях к специалистам.
Задания проходят несколько итераций ― ревью с методологом, проверку другими независимыми экспертами. Финальный штрих ― редакторская вычитка, чтобы задания были понятными и читались легко.
В наших тестах есть два типа заданий:
PST (problem solving test) ― тест, где нужно выбрать верный ответ из нескольких вариантов
Симулятор ― задание для языков программирования. Он помогает оценить практическое владение навыком. Пользователю нужно написать код, чтобы решить поставленную задачу. Перед отправкой ответа можно проверить его работоспособность ― запустить код и посмотреть, едет или не едет
Но мы планируем тестировать и другие механики ― ведь у каждого навыка своя специфика.
После релиза заданий мы отслеживаем метрики и при необходимости заменяем или дорабатываем отдельные задания. Кроме того, мы регулярно обновляем контент, чтобы поддерживать его актуальность.
Иногда мы получаем от пользователей обратную связь об ошибках в заданиях. Поэтому планируем ввести дополнительный этап проверки заданий до их релиза на прод. Для этого мы соберём группу независимых экспертов, которые проведут ревью, и при необходимости мы доработаем задания.
Первые результаты ― показатели, которыми мы гордимся:
550 000+ пользователей прошли тесты по ИТ-навыкам
257 000+ уникальных юзеров подтвердили свои ИТ-навыки за всё время
С момента запуска совместного проекта с Минцифрой:
183 000+ пользователей прошли тесты по ИТ-навыкам
25 000+ сертификатов выдали тем, кто прошёл тест по ИТ-навыкам
Резюме
Универсальных инструментов для внедрения навыкоцентричного подхода к найму ещё очень мало. И наши тесты ― это простое готовое решение для любого бизнеса. А для соискателей наши тесты ― один из инструментов самодиагностики, чтобы проверить свой уровень, свериться с требованиями рынка и с порога показать нанимателям свои сильные стороны.