Привет! Меня зовут Алина Бабенко, я тимлид команды Auction Efficiency в Авито. Под моим руководством 12 DS, и мы отвечаем за то, чтобы в поиске и рекомендациях Авито корректно учитывались разные целевые действия продавцов — клики, сделки, звонки. Этой зимой я, как менеджер, провела четвёртый цикл перформанс ревью и решила рассказать, как устроен этот процесс. Статья будет интересна DS и ML-инженерам, а также DS-менеджерам и лидам.

Зачем нужен процесс перформанс ревью и как он устроен

Авито — большая компания, в которой работают тысячи сотрудников. Такие условия могут создать сразу несколько трудностей в карьерном росте для конкретного сотрудника: 

— достижения легко пропустить. Если в департаменте работает сотня человек, сложно отследить, кто и насколько сильно повлиял на продукт.

— в разных командах условия для роста могут отличаться. Например, в команде А, специалист уровня мидл по своим компетенциям может быть выше, чем синьор в команде Б.

Чтобы не допускать подобных перекосов, разработали прозрачный процесс — перформанс ревью. Мы проводим его в течение двух месяцев дважды в год. За это время оцениваем достижения сотрудников, обозначаем точки роста и повышаем успешных специалистов.

По сути, перформанс ревью — это методика выравнивания ожиданий для одной роли в любой команде. Например, есть общий уровень «синьор» , но цели и задачи в Монетизации, Поиске и Автомодерации сильно различаются. Процесс ревью помогает понять, что все хорошие результаты для любого синьора выровнены между собой. При этом:

— похвалили тех, кто поработал особенно хорошо, 

— повысили того, кто это заслужил,

— обозначили точки роста для тех, у кого они есть.

В результате каждый специалист получает справедливую оценку и награду, а также знает, куда ему стоит направить усилия. 

Весь процесс перформанс ревью состоит из нескольких шагов:

— Сотрудник самостоятельно пишет ревью на то, что он сделал и чего добился за последние полгода.

— Мы собираем отзывы от коллег и смежников. Сотрудник выбирает, с кем он работал по каждой цели, чтобы открыть возможность писать отзывы.

— Менеджеры пишут защиты для ревью специалистов, чтобы подтвердить достижения.

— Менеджеры презентуют свои защиты и обсуждают оценки между собой.

— Сотрудники получают обратную связь от разных менеджеров по результатам калибровок.

Рассмотрим каждый этап чуть подробнее.

Шаг 1: пишем ревью о своей работе

Это формальный повод сесть и выписать, что ты сделал за последние полгода. Знаю, что специалисты подходят к этой задаче по-разному: одни пишут о целях на протяжении всего рабочего периода, другие заполняют форму в выделенный период. Главное — указать задачи, описать, зачем это вообще было нужно, и продемонстрировать результаты.

Сотрудники добавляют ссылки на артефакты, чтобы подтвердить работу. Это может быть pull request, результаты A/B-теста, дизайн-документы. Отдельно хочу отметить возможность добавить респондентов по задаче. Это важно по двум причинам:

1. Отзыв — это обратная связь для специалиста.

2. Качество взаимодействия — одна из компетенций для оценки DS-инженера. 

Чтобы нашим сотрудникам было удобно писать ревью и добавлять артефакты, мы разработали специальную платформу — Перфоратор. В ней можно прописать цели, добавить респондентов, прикрепить артефакты и даже ссылки на соответствующие ОКРы.

OKR (Objectives and Key Results) — это система постановки целей, которая помогает компаниям и командам расти быстрее. В основе — цель (Objective) и измеримые результаты (Key Results), которые подтверждают её достижение.

Шаг 2: собираем отзывы

Эта часть процесса хорошо дополняет предыдущую: есть возможность выразить слова благодарности, похвалить или отметить зоны роста. Во время рабочего процесса не всегда успеваешь дать обратную связь, а на ревью для этого специально выделяют время.

Написать с ходу аргументированный отзыв получается не всегда. Поэтому у нас есть обучающее видео, которое помогает разобраться, что стоит писать, а что нет. Мы не просим ничего сверхъестественного — базовые вещи, вроде того, что комментировать надо работу, а не человека.

Например, не стоит писать: «X очень классно выполнил задачу», стоит раскрыть «благодаря тому, что X сделал эту задачу вовремя, мы смогли закрыть квартальные цели команды или юнита». 

Если же хочется дать отрицательный отзыв, также не стоит писать «мне не понравилось, как велась работа по задаче». Лучше сформулировать конкретные действия, которые стоит начать делать или поменять. 

Например, «стоит более ясно доносить сроки выполнения задач до смежников, чтобы корректировать планы», если дело было в сроках, или «нужно позаботиться о системе мониторингов, чтобы в будущем предотвратить инциденты с падением продовых сервисов», если вдруг упал прод.

Тем не менее, первым отзыв видит менеджер, и, если понимает, что конструктивности не хватает, может вернуть автору и попросить что-то исправить. Сотрудник, чью работу оценивали, увидит рецензию только после окончания калибровок.

Как уже отмечали выше — для DS-специалистов важно уметь продуктивно взаимодействовать с командой, поэтому мы полноценно оцениваем эту компетенцию.

По рабочим задачам я чаще всего пишу более формально, что было хорошо и что можно улучшить. Но в секции про взаимодействия всегда хочется отметить, как приятно с конкретным человеком эти рабочие задачи выполнять :)

Шаг 3: пишем защиту

Эта часть уже для менеджеров: на основе ревью нужно написать краткий текст защиты, который потом будем презентовать на калибровках. В основном тексте важно указать, что именно сделал человек, оценить эту работу и указать основания для такой оценки. И здесь, как менеджер, могу сказать, что хорошо составленное ревью очень помогает. Артефакты добавляют значимости, а респонденты показывают уровень коммуникации.

Система оценок

В Авито много градаций для оценки работы. Начиная от недостаточного результата, когда определяются зоны роста и составляется коррекционный план развития, до промо — когда понимаем, что DS уже работает на следующем уровне. При этом есть отдельная ветка оценок, когда сотрудник достиг особенно высокого результата, но пока есть компетенции, которые стоит улучшить, чтобы перейти на следующий уровень.

Мы разработали удобный шаблон для защиты: сначала прописываем обзор результатов каждого сотрудника, а затем, если хочется почитать про задачи более детально, заполняем формы по отдельным целям. Для каждой цели можно отдельно описать бизнес-контекст, что сделали и какой бизнес-результат получили. 

Шаг 4: проводим калибровку

На этой встрече менеджеры презентуют свою защиту и обсуждают оценку между собой. Для меня это самая насыщенная часть, потому что за время встречи нужно:

— Быстро презентовать работу своего сотрудника.

— Ответить на вопросы по результатам, артефактам, сложности решения, вклада конкретного человека. Например, «почему пайплайны в ноутбуках».

— Ознакомиться с ревью и защитами других сотрудников. Оценить их работу и уже задавать вопросы самому, а потом проголосовать за оценку.

Обычно внутри одного грейда мы случайным образом выбираем одного сотрудника с хорошим результатом, а остальных ребят, кто претендует на аналогичную оценку, рассматриваем в сравнении с ним.

Как оцениваем результаты. Мы опираемся на матрицу компетенций. Это таблица, в которой детально описаны обязательные навыки для каждого грейда. Чтобы оценить уровень специалиста, мы сверяем компетенции с требованиями к его уровню в матрице. 

Например, DS-специалист сейчас находится на уровне мидла. Мы смотрим в таблицу и видим, что у сотрудника должны быть навыки А, Б и В. Дальше оцениваем ревью и сверяемся, проявил ли специалист эти три навыка за последние полгода или нет. Дальше три варианта действий:

— навыки проявлены ниже ожиданий — отмечаем точки роста,

— умения соответствуют текущему уровню — всё остаётся как есть,

— специалист проявил навыки выше ожидаемого уровня — задел на синьора.

Таблицы с компетенциями открыты для всех людей в компании, что повышает прозрачность. При оценке компетенций мы берём две параметра: самооценку DS и оценка менеджера.

Иногда матрицы приходится обновлять, потому что инструменты меняются, некоторые компетенции теряют актуальность и исчезают, а взамен появляются новые.

Я считаю, что за время этих встреч менеджеры сильно устают. Так происходит, потому что калибровки — это очень энергозатратный процесс, который требует высокой вовлечённости. Нужно внимательно изучить результаты каждого сотрудника и дать им справедливую оценку. Нельзя подходить к процессу формально. 

Мы стараемся регулярно улучшать калибровочные встречи, чтобы делать их более эффективными. Поэтому проводим ретро после калибровок: анализируем и размышляем, что стоит улучшить, что можно перестать делать, а что вышло отлично. Мы генерируем гипотезы и придумываем разные подходы, как разобраться с текущими проблемами. 

Например, можем предложить и протестировать новый формат проведения калибровок, вынести какую-то часть в асинхронное обсуждение, или предложить улучшение критериев для разных оценок.

Также стараемся улучшать текстовые шаблоны для защит, чтобы повысить читаемость, но при этом сохранить всю полезную информацию.

Дополнительный челлендж состоит в том, что DS в Авито может выполнять end-to-end задачи: — разрабатывать сервис и его поддержку, 

— писать платформы,

— выкатывать в прод новую модель или алгоритм ранжирования с влиянием на бизнес-метрики. 

Заложить в формальные критерии все возможные задачи DS сложно. Но мы стараемся подойти к процессу объективно, поэтому на калибровках идут очень активные обсуждения.

Шаг 5: даём обратную связь

Итак, калибровки завершились, результаты согласованы. Самое время сообщить их DS-инженеру. Здесь стоит отметить, что ожидания относительно результата обычно формируются менеджером до процесса перформанс ревью. Но калибровки были бы не нужны, если бы все результаты полностью совпадали с теми, что поставил менеджер. После калибровок становятся видны отзывы, кроме случая, если автор пожелал сохранить анонимность, но такое бывает редко. 

Что особенно ценно для меня в этой части — можно дать обратную связь от других менеджеров, которой нет в самой форме ревью. На что обратили внимание, чего не хватило, что можно было бы улучшить — в процессе калибровок можно почерпнуть ещё и такие замечания, которые тоже важны для последующей работы.

Вся статья кратко

Перформанс ревью — это способ объективно оценить вклад каждого сотрудника. Мы проводим ревью каждые полгода, и процесс состоит из нескольких этапов:

— Сотрудник пишет ревью, в котором описывает свои достижения за период

— Коллеги и сотрудники из смежных функций могут написать отзыв о работе с этим специалистом

— Менеджер пишет защиту на ревью, чтобы подтвердить успехи сотрудника

— Менеджеры направления собираются, изучают материалы и обсуждают результаты для каждого сотрудника, чтобы объективно оценить их

— В результате специалист получает оценку, возможно, повышение, и обратную связь от менеджеров направления

Перформанс ревью помогает нам объективно и прозрачно оценивать вклад каждого специалиста и вовремя повышать сильных сотрудников.