5 мин

7K

Привет! 20 мая прошел Inside AI Meetup от Wildberries & Russ — про практические кейсы внедрения ИИ: векторный поиск и модерация с 200+ моделями, AIOps для ML/GenAI-сервисов, RAG без галлюцинаций, запуск LLM-продуктов, генерация текстов из видео, поиск и рекомендации.

В программе были кейсы от опыт Wildberries & Russ, MWS, Avito, VK, M2, МФТИ, Сбера, red_mad_robot и Альфа-Банка, а еще новые знакомства и полезный нетворкинг. В статье вы найдете видеозаписи с ивента и фото.

Доклад «О применении AI в Wildberries & Russ» — Павел Раваев, CDO Wildberries & Russ

Доклад «Внедрение AIOps-практик для контроля и повышения общей утилизации ресурсов для тысяч продуктовых сервисов» — Даниил Понизов, Team Lead MLOps, и Роман Лазовский, MLOps Engineer, Wildberries & Russ

Даниил и Роман рассказали, кто такой ваш этот AIOps и как он помогает решать проблемы, возникающие при промышленной эксплуатации ML и GenAI сервисов требующих большого количества дорогостоящих ресурсов.

В докладе — о нашем опыте внедрения AIOps платформы KeepHQ, как она помогла нам повысить утилизацию ресурсов нашего ресерч кластера и сотни продовых ML-сервисов в 1.5 раза, а также автоматизировать процесс реагирования и контроля разрешения поступающих алертов.

Доклад «Автоматические гардрейлы» — Владимир Солодкин, Ведущий исследователь Института ИИ МФТИ

Модели защиты (guardrails) являются важным дополнением к основной большой языковой модели (LLM), решающей бизнес задачи. Guardrails защищают от попыток вытащить из LLM запрещенную, конфеденциальная, некорреткную, компрометирующая информацию. Спектр угроз и их изощренность растет с каждым днем.

В докладе рассмотрели мультиагентное решение, которое в режиме реального времени анализирует текущие способы атак, например, возникающие в Интернете (в научной литературе, блогпостах и тд), и автоматически дообучает модели защиты. Обсудили и возможность эволюционной модификации не только модели защиты, но и создание новых концепций атак также в автоматическом режиме с помощью мультиагентной системы.

Доклад «Как мы за перевели более 10 продуктов на единую Discovery-платформу» — Денис Самохвалов, Руководитель отдела рекомендаций социальных сервисов AI, VK

Discovery-платформа — единая инфраструктура для рекомендаций, поиска и рекламы. Её ядро: шардированный рантайм, стриминговая платформа Profile Stream и Feature Flow. Денис рассказал про путь эволюции платформы от катбустов к нейроранку, как мы перевели 10+ продуктов и сократили внедрение новых рекомендаций в продуктах до 3 месяцев. Еще показал на примерах преимущества платформизации рекомендаций: снижение time-to-market, codless-подход и переиспользование готовых пайплайнов.

Доклад «Text is All You Need. Отекстовка потока видеоклипов в платформе Wibes» — Антон Костин, ML Lead, и Виталий Подобедов, ML-разработчик, Wildberries & Russ

В Wibes авторские описания видео часто субъективны. Рассказали про сервис, который генерирует тексты и теги напрямую из аудио-визуального контента: как это устроено и как используется для поиска, модерации и определения тематик каналов.

Доклад «Эволюция поиска вакансий на Avito: ML-оптимизации в Avito Работе» — Вадим Вахрушев, Старший DS-инженер, Avito

В докладе Вадим рассказал о поиске в Авито Работе: от отбора кандидатов до переранжирования выдачи для баерского ассистента; какие модели у нас используются; кратко расскажу про наиболее удачные эксперименты в поиске.

Доклад «ИИ для среднего размера компании» — Дмитрий Лахвич, Руководитель Управления по развитию платформы данных, M2

Дмитрий рассказал про ИИ-платформу внутри М2: как выбирали, как разворачивали и от чего пришлось отказаться. Поделился опытом того, как не потратить миллиарды на это и как пилотировали продукты, искали точки роста и где уже приносит пользу.

Доклад «Векторный поиск в модерации контента: как поместить более 200 моделей в 1 ансамбль» — Лев Нечаев, Руководитель команды «Автоматическая модерация методами ИИ», Wildberries & Russ

Векторный поиск — элемент 2-stage модерационных моделей, позволяющий снизить Time to market модерации без дополнительного обучения моделей. Лев рассказал про весь пайплайн: от первых моделей до появления универсальных детекторов на основе векторного поиска, о технических сложностях сбора данных, реализации высоконагруженных детекторов. На практических примерах показал преимущества векторных детекторов по сравнению с обычными one-stage детекторами.

Доклад «RAG, который не галлюцинирует (почти)» — Артем Каледин, Tech Lead CVM B2B, и Александр Швайко, Junior MLE CVM B2B, MWS

Но может полностью сломаться из-за одного ранжировщика.

В MWS разработали RAG-ассистента — чат-бота на базе LLM, который помогает клиентским менеджерам корпоративного сегмента мгновенно находить точную информацию о 100+ продуктах компании (в рамках mvp = 3) с учётом региональной специфики, цен и нюансов подключения. Сегодня более 1 000 менеджеров готовятся к сотням звонков и встреч вручную, без единого инструмента, что приводит к неточным ответам клиентам и потерям в десятках и сотнях миллионов рублей. Решение построено на архитектуре RAG с использованием модели QWEN3-8B, эмбеддингов BGE-M3 и гибридного поиска (Vector + BM25 через RRF), а ключевым элементом качества стал реранкер — в докладе. Артем и Александр подробно сравнили две его версии (на основе FlagEmbedding и metadata-эвристик), показали метрики, разобрали ошибки на конкретных примерах и продемонстрировали живое демо системы.

Доклад «Что на самом деле представляет запуск продуктов на базе LLM» — Юрий Софронов, Руководитель направления «Модели и сервисы для ИИ-Ассистентов», Wildberries & Russ

Юрий рассказал про то, что разработка и интеграция в продукт ИИ решений на самом деле из себя представляет. Часто все представляют это так (и сильно ошибаются): скачал пару open-source библиотек, настроил промпты, прокинул API до LLM. Обсудили, что в реальности кроется за тем, чтобы вывести в прод LLM-based сервисы, какие этапы предстоит пройти, что точно делать не стоит, про что точно стоит не забыть.

Inside AI: Panel Discussion — Wildberries & Russ, Альфа-Банк, Сбер, red_mad_robot

Поговорили о том, где проходят границы между LLM, ML и классической автоматизацией, и какие решения действительно работают. Разобрали инженерные аспекты AI-продуктов — от агентов и пайплайнов до оценки качества и эксплуатации.

Еще обсудили реальные кейсы, экономику и масштабирование, а также трансформацию ролей ML/AI-команд: от обучения моделей к платформам, интеграции и управлению качеством.

• Михаил Дьячков, Руководитель направления Supply and Demand Balance (DS & ML), Wildberries & Russ

• Ксения Михайлова, Руководитель команды ГенИИ пилотов в Альфа-Банке

• Алексей Медошин, Директор департамента защиты от DDoS-атак Wildberries & Russ

• Артем Аюпов, Product lead платформы моделей омнимодальности в блоке развития генеративного ИИ Сбера

• Александр Гирев, Android Team Lead WB Partners, Wildberries & Russ

• Даниил Поляков, AI Lead и Архитектор AI / ML решений, red_mad_robot

Не пропустите анонсы следующих митапов Wildberries & Russ: подписывайтесь на Telegram‑канал @wb_delaet_ml. Там же, кстати, делимся инженерными разборами, архитектурой сервисов, статьями, докладами и опытом построения ML в продакшне.