Меня зовут Алёна Байкова, я отвечаю за проверку тестовых заданий кандидатов на роль UX-исследователей. 

Когда потребность в исследователях в компании выходит на новый уровень, вакансий становится больше, а значит возрастает нагрузка на обработку откликов кандидатов. Поэтому закономерно встает вопрос о том, как организовать этот процесс без ущерба по времени и встроить подбор кандидатов в рабочий процесс. 

Одно из направлений проверки знаний и навыков кандидатов — дать ему решить тестовое задание. Тут нужно решить сразу несколько задач: как не повесить всю нагрузку на одного человека, как организовать работу группы проверяющих и как прийти к общему мнению о кандидате. А также, как не заставлять ждать кандидатов неделями и всегда возвращаться к ним с ответом.

При этом проверка и качественная обратная связь — это всегда время сотрудников. Для нас было важно найти баланс в этих процессах. Со временем мы смогли сделать процесс прозрачным, быстрым и удобным. Про это сегодня и поговорим.  

Общие договоренности и процесс

Когда кандидат выполняет тестовое, он направляет его представителю HR, с которым вел коммуникацию, или на общую почту, в случае, когда находит его самостоятельно в описании к вакансии / на сайте. В закрытый чат публикуются работы кандидатов, готовые к проверке. В нем же опубликована очередь из 8-ми исследователей-проверяющих. Рядом с фамилиями актуализируются периоды, когда исследователь не сможет проверять (отпуска, командировки, отсутствия). И есть куратор — это проверяющий, который следит за процессом целиком.

• HR присылает тестовое в чат. 

• Куратор смотрит в очередь проверяющих и тегает проверяющего сотрудника.

• Проверяющий ставит реакцию, что увидел сообщение и забрал тестовое в работу.

С этого момента у проверяющего есть три рабочих дня на проверку. 

В чем плюсы этого подхода:

• Нагрузка распределяется равномерно среди 8-ми человек. Каждый получает тестовые по очереди, никто не выпадает и никто не перегружен. 

• Исчезает неопределенность. Мы точно знаем, кто проверяет конкретное тестовое. Не нужно гадать, не нужно дергать людей в личке.

• Сроки проверки прозрачны. Срок, который обещаем кандидату, понятен и соблюдается.

Каждый критерий с помощью шаблона для проверки оценивается «да» или «нет». За разные критерии начисляется разное количество баллов. При использовании шаблона два разных проверяющих глядя на одного кандидата получат примерно одинаковые оценки. Потому что они отвечают на одни и те же вопросы и полагаются на обозначенные критерии. Это влияет на время проверки и занимает всего около двух часов.

Главный риск использования шаблона — перестать видеть живого человека среди списка критериев. Например, кандидат набрал достаточное количество баллов, но работа шаблонная. Или, наоборот, набрал чуть меньше необходимого, но с нестандартным подходом. Эта проблема тоже решается. Проверяющий может дать +1 балл за то, что не вошло в критерии, но заслуживает внимания. А если есть сомнения, зовет коллег посмотреть свежим взглядом.

Также большое внимание проверяющие уделяют написанию обратной связи для кандидатов после проверки тестового. Нам важно указать положительные моменты в работе и отметить зоны роста, чтобы кандидату даже в случае отказа было над чем поразмыслить и использовать опыт проверки тестового при подготовке к следующим собеседованиям.  

Пополнение команды проверяющих тестовые

Проверка тестовых для опытного исследователя не сложный, а больше интересный процесс, но он занимает время.

Чтобы проверяющие не теряли интерес и подходили к проверке с желанием, состав периодически меняется: приходят новые исследователи, которые учатся, а потом начинают активно проверять тестовые. 

Сначала новички изучают подготовленные для проверки инструкции, потом проверяют несколько тестовых, но каждое, прежде чем отдать HR, дополнительно проверяет куратор.При необходимости каждый кейс разбирается отдельно и проверяющие приходят к соглашению. 

Когда куратор понимает, что новичок не совершает ошибок и проверяет исчерпывающе, он начинает работать самостоятельно

В любой сложной ситуации можно прийти в чат и попросить помощи. Мы друг друга страхуем, разбирая сложные и спорные кейсы.

Тестовые и нейросети

Некоторые кандидаты активно пользуются ИИ. Кто-то использует нейросеть как помощника. Кто-то просто копирует сгенерированный текст и отправляет нам.

У нас есть критерий, отвечающий за наличие ИИ в выполненном тестовом.
Нейросети не запрещены, так как это текущая реальность, в которой мы находимся, но важно видеть мысли исследователя, логику и рассуждения. Когда понимаем, что кандидат просто скопировал всё из ИИ без осмысления — отказываем. При этом работа будет проверяться, если человек использовал нейросеть как инструмент: набросал структуру или попросил декомпозировать свои рассуждения, а потом сам всё переработал и добавил описания, выводы. 

Так как мы качественно подходим к проверке тестовых, тратить время исследователей на полностью скопированный текст из ИИ нецелесообразно. Поэтому, когда использование нейросети заметно сразу, у проверяющего есть опция не тратить время и не завершать проверку. 

Завершение проверки

Когда проверка завершена, проверяющий информирует, что можно давать ответ кандидату и все комментарии прописаны. 

Сейчас наша система выглядит так:

• Четкая и прозрачная очередь между проверяющими, при которой тестовые не висят неделями, потому что мы знаем, чья очередь проверять, и кто, в случае форс мажора, может подменить.

• Шаблон проверки тестовых, благодаря которому каждый сотрудник может быстро оценить работу по понятным критериям, не упустив из виду важные нюансы.

• Ответственные и заинтересованные исследователи-проверяющие.

• Куратор, который страхует, пока человек не набьет руку на первых проверках и помогает соблюдать сроки и очередь.

• Коллегиальное ревью для спорных случаев.

• Зафиксированные договоренности к оценке работы, выполненной с использованием ИИ.

Эта система не идеальна, мы ее дорабатываем, вносим правки, прислушиваемся к проверяющим и проводим ретроспективы. 
Но каждый раз убеждаемся в том, что не теряем время — ни свое, ни кандидатов — при этом глубоко погружаемся в работу и процесс проверки. 

Тестовое задание — это способ увидеть, как человек думает.
И чем проще и прозрачнее система проверки, тем легче разглядеть главное.
Очередь и критерии экономят время. Куратор страхует от ошибок. А живое общение помогает не забыть, что за каждой работой стоит живой человек.

Если у вас есть свой опыт проверки тестовых, поделитесь им в комментариях.

Больше интересного про UX-исследования в телеграм-канале «Сдоба»🥨