惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

C
Cyber Attacks, Cyber Crime and Cyber Security
Cisco Talos Blog
Cisco Talos Blog
Scott Helme
Scott Helme
The Last Watchdog
The Last Watchdog
G
GRAHAM CLULEY
T
Tenable Blog
PCI Perspectives
PCI Perspectives
Simon Willison's Weblog
Simon Willison's Weblog
N
News and Events Feed by Topic
Know Your Adversary
Know Your Adversary
S
Schneier on Security
K
KPMG report finds enterprise disconnect between AI and its ROI | CIO
P
Privacy International News Feed
C
CERT Recently Published Vulnerability Notes
NISL@THU
NISL@THU
SecWiki News
SecWiki News
S
Securelist
D
Docker
阮一峰的网络日志
阮一峰的网络日志
人人都是产品经理
人人都是产品经理
T
Tailwind CSS Blog
T
Troy Hunt's Blog
The Register - Security
The Register - Security
K
Kaspersky official blog
Blog — PlanetScale
Blog — PlanetScale
云风的 BLOG
云风的 BLOG
Hacker News: Ask HN
Hacker News: Ask HN
S
Secure Thoughts
Stack Overflow Blog
Stack Overflow Blog
T
Threat Research - Cisco Blogs
博客园 - 司徒正美
Exploit-DB.com RSS Feed
Exploit-DB.com RSS Feed
F
Fortinet All Blogs
T
Threatpost
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
小众软件
小众软件
WordPress大学
WordPress大学
Security Archives - TechRepublic
Security Archives - TechRepublic
博客园 - 聂微东
Attack and Defense Labs
Attack and Defense Labs
B
Blog RSS Feed
Project Zero
Project Zero
Y
Y Combinator Blog
T
The Blog of Author Tim Ferriss
博客园 - 【当耐特】
V
V2EX
Help Net Security
Help Net Security
P
Proofpoint News Feed
A
Arctic Wolf

Все публикации подряд на Хабре

Ловим музу за клавиатуру: как айтишнику стать автором Что умеет Midjourney в 2026? Мой немного грустный разбор этого шикарного инструмента Никто не любит писать тесты, но ИИ может исправить это IPv8 выглядит как мечта. Поэтому почти наверняка не взлетит Производители вернули в продажу материнки с DDR3. Что происходит? Управление агентом с телефона через Telegram теперь в KodaCode От координации к лидерству: как меняется роль руководителя разработки Я сделала родителям бизнес вместо пенсии: зарабатываем 70 тысяч, мама не даёт продать В три раза быстрее приемка товара и оптимизация трудозатрат на 73%: как «РСТ-Инвент» помог Gulliver Group ИИ-шечный мир победил? О влиянии искусственного интеллекта на игропром Кремль снижает давление на Телеграмм пока Европа строит интернет по паспорту Как CEO, CTO и CIO за 8 часов собрали ИИ-директора, который умеет держать позицию под давлением Как (не) потерять домен за выходные Вместо 8 разных VPS: как я организовал практику студентам на одном сервере Почему твой Open Source проект не замечают? R&D: искусство управления неопределенностью в разработке AI-дефляция: вакансий для разработчиков больше, а рост зарплат — худший за 15 лет Мы отдали управление роботами OpenClaw. Что из этого вышло Галактический ID: система идентификации для всех форм разумной жизни Шесть основ бизнес-анализа: начинаем с вопроса «Кто в игре?» Код-ревью, в котором дело не в коде Данные переехали. Команда — нет Системной подход к сдаче OSWE в 2025 Почему комната управления реактором покрашена в цвет морской пены 4 YAML-файла вместо PySpark: как аналитикам строить пайплайны без разработчиков LLM-агент для поиска свободных доменов: автоматизируем подбор Когда, зачем и как правильно начинать новую сессию в Claude Code? Как я заставил нейросеть писать макросы для FreeCAD Анатомия ИИ‑агента для подбора персонала. От тысячи резюме к топ‑10 за минуты Опыт разработчика как экономика внимания Автономность как точка невозврата: кто будет субъектом в цифровом будущем Обучение ИИ в «диких» условиях: как рутинные действия превращаются в датасеты Как измерить LLM для задач кибербеза: обзор открытых бенчмарков Где хранить код? Сравнение GitHub, GitLab и Bitbucket Математика объясняет, почему нормальное распределение встречается повсюду Почему ваш FinOps не работает: 12 тезисов от практиков Как подписать проектную документацию УКЭП с использованием бесплатных лицензий Pilot Адаптивное администрирование Sigla Vision Я грузил уран в бочки, а потом 20 лет строил ИТ в атомной отрасли Чем позвонить с Эвереста? История и обзор спутниковой связи. Часть 2 Как языковая модель помогает контролировать качество инструктажей по охране труда в металлургии Как не передать на desktop свой IP в РКН Анатомия SAP Privileges: как устроено управление правами в macOS MoneyDev: Сказка про три главных слова Обновлённый токенизатор видео K-VAE 2.0 от Сбера Как сделать диспетчеризацию дома на 1284 квартиры почти бесплатно Как мы разогнали железную дорогу Мы дали агентам рутину. Теперь надо решить — что делать с освободившимся временем Токсичный контент, промпт-хакинг и защита ИИ — всё о Guardrails для LLM Умный город начинается с точного взгляда: как «Фалькон Тех» меняет пространство к лучшему Навайбкодил приложение для анализа графов Почему Дюну так интересно читать? Упрощаем работу с рутиной или как стать Гендальфом Белым Деконструкция Go: CPU, RAM и что там происходит. Go Assembler база. Часть 1.1 Какие профессии исчезнут из-за ИИ, а какие появятся? И что с этим делать Как мы построили IT-отдел, где хочется расти: архитектурные встречи, прозрачные метрики и книжные подарки Rufler: Делаем из Claude Code автономный рой через один YAML-конфиг Sing-box и белый список приложений Как построить надёжный обмен сообщениями в микросервисах: лучшие практики для enterprise OpenAI строит MLM-пирамиду, а McKinsey и Accenture помогают ей в этом Дом, который не построил Фишер (Часть 2) «Сверхзвуковой математик» против «Вдумчивого логиста»: битва алгоритмов 3D-упаковки Мультимодальные модели – грубый и дорогой инструмент Разговоры ничего не стоят. Код тоже Проверки физических лиц: с кого начнет ФНС Топ-10 бесплатных нейросетей для создания видео в 2026 году Первые слои кода: как наши решения сегодня определяют архитектуру ИИ на десятилетия Разработка нового статического анализатора: PVS-Studio JavaScript Поиск уязвимостей ПО: базовый минимум или роскошный максимум Почему оценка персонала не работает как инструмент управления Как мы разработали ИИ-ассистента и сократили рутину продуктовой команды на 50% Как я ушел из найма, нажарил косточек и продал на маркетплейсах на 168 млн в год Когда 1С:ERP уже внедрена, а нормального производственного плана всё ещё нет Как я сделал Claude мультимодальным, подключив к нему Qwen Omni Как приглашение на вакансию мечты превращается в атаку Infrastructure as Code: философия и лучшие практики IaC Тестируем Yandex Code Assistant на задаче, в которой нужно хранить секреты nxs-universal-chart v3.0: новое поколение универсального Helm-чарта Callback Injection: Техника, которая отправила Microsoft Defender в глухой нокаут «Все идеи на стол»: митап как способ вывести проект из тупика Сегодня я узнал нечто новое о GPU благодаря багу в своей игре Как заставить LLM ̶ ̶г̶а̶л̶л̶ю̶ ̶ эволюционировать Карта событий как фундамент аналитики: практический кейс для E-commerce Что выбрать для AI: x86, ARM или RISC-V? Дайджест железа за март Роль соматических мутаций в развитии аутоиммунных заболеваний: путь к избирательной терапии Mythos от Anthropic — тревожный сигнал для всех, а не только для банков Guardrails для LLM на Java: как приручить промпт‑инъекции и токсичные ответы Green-VLA: как мы собрали VLA-модель для реального антропоморфного робота и не потеряли обобщение Финансовая гонка вооружений: почему умные люди добровольно в ней участвуют Эра ИИ-агентов наступила: выбираем лучшего цифрового сотрудника # Практический опыт внедрения WinCC Redundancy на производственном предприятии Сделал MVP за 3 дня, а потом неделю прикручивал оплату. Оно того стоило? Физика против Маска: почему Starship V3 может оказаться ещё одной катастрофой Нефть Венесуэлы: крупнейшие запасы в мире, но не крупнейшая нефтяная держава JPA 4. Переосмысление Hibernate Почему зеркальная фотокамера Nikon D5 десятилетней давности идеально подошла для миссии «Артемида-2» Проект «Уровень-Спутник» или как мы сделали платформу для гидрологов «Замедлиться, чтобы ускориться»: почему ИИ повышает цену ошибок в требованиях и архитектуре Как с нуля поднять трафик IT-компании на 1657% при бюджете 55 тыс. и выжить Pixel-perfect Downsampling — идеальная отрисовка 50 миллионов точек без потерь
Как мы автоматизировали аналитику маркетплейсов в Yandex Datalens
Nikita_Vasil · 2026-05-06 · via Все публикации подряд на Хабре

Уровень сложностиПростой

Время на прочтение4 мин

Охват и читатели557

Кейс

Всем привет, меня зовут Никита. Не так давно к моей команде обратился сервис аналитики маркетплейсов — они собирали данные по WB и Ozon и отдавали их селлерам в виде отчетов.

Процесс был устроен по простой схеме: по расписанию обращались к API Wildberries и Ozon, выгружали данные в Google Sheets, дальше внутри таблиц уже считали метрики — продажи, конверсии, воронки, какие-то производные показатели. У каждого клиента свой набор таблиц, свои формулы, свои доработки.

На старте это было удобно для них. Пока клиентов немного, можно быстро что-то поправить, докрутить формулу, добавить новый показатель прямо в таблице.

Проблемы начались, когда объем клиентов вырос.

У каждого по несколько кабинетов (WB, Ozon), таблицы начали разрастаться, логика расчётов расползлась. Каждое обновление данных требовало ручной проверки и правок, из-за чего команда тратила всё больше времени на поддержку таблиц вместо аналитики. По мере роста клиентов начали накапливаться ошибки, а масштабирование напрямую упёрлось в количество людей, которые могли это обслуживать.

Мы решили пересобрать для них систему, вынести сбор и хранение данных в отдельный слой, централизовать расчёты и убрать всю бизнес-логику из Google Sheets. Таблицы в таком сценарии остаются только интерфейсом, но не местом, где живут данные и считаются метрики.

В качестве инструмента визуализации выбрали Yandex DataLens. Он закрывает базовые задачи по работе с дашбордами и при этом остаётся простым для пользователей без технической подготовки. Также было важно, что сервис доступен в России без ограничений и не требует больших затрат на внедрение и использование.

Процесс работы

1. Сбор данных (Python + API)

Мы реализовали backend-слой, который по расписанию обращается к API Wildberries и Ozon и загружает первичные данные (заказы, продажи, карточки товаров и рекламные показатели). Загрузка организована по источникам с учётом ограничений API — лимитов, пагинации и повторных запросов при ошибках.

На этом этапе данные не агрегируются и не преобразуются. В хранилище сохраняется полный сырой слой.

Это позволяет пересчитывать метрики при изменении логики, не терять детализацию и не зависеть от текущей интерпретации бизнес-показателей.

2. Хранилище (BigQuery)

Все данные загружаются в единое хранилище в виде исходных таблиц — без агрегаций и предварительных расчётов. Здесь фиксируется фактическое состояние данных, полученных из API.

Помимо основного слоя данных, мы добавили служебный контур, который описывает структуру системы и управляет загрузками. В нём фиксируется, какие клиенты есть в системе, к каким кабинетам и источникам они подключены, какие доступы используются для получения данных, куда должны выгружаться результаты и как проходит выполнение загрузок.

Это позволяет централизованно управлять процессом. Контролировать корректность загрузок, отслеживать сбои и подключать новых клиентов без ручной настройки всей цепочки.

3. Обработка (SQL View)

Ключевая часть системы — это слой обработки, где формируется бизнес-логика расчётов.

На основе исходных таблиц в хранилище строятся SQL-представления (view), в которых выполняется агрегация и нормализация данных из разных источников. На этом уровне объединяются данные по заказам, товарам и рекламным кампаниям, выравнивается структура (например, по ключам товаров, датам, кабинетам) и рассчитываются производные показатели.

Фактически view выступают как слой бизнес-логики. Здесь задаются формулы расчётов, правила агрегации и связи между таблицами. Это позволяет работать с уже подготовленными витринами данных, а не с разрозненными исходными выгрузками.

В этом слое формируются ключевые метрики. Воронка продаж (просмотр → корзина → заказ), конверсии на разных этапах, выручка, показатели по товарам (в разрезе SKU/артикулов), а также эффективность рекламных кампаний с привязкой к продажам и трафику.

4. Визуализация и доступ к данным

Поверх слоя представлений строятся дашборды в DataLens, которые подключаются напрямую к хранилищу.

На этом уровне пользователи работают уже с готовыми витринами данных. Все метрики предрассчитаны, структура едина, логика едина для всех отчётов.

Это позволяет:

  • получать актуальные данные без ручного обновления

  • исключить ошибки, связанные с формулами и копированием

  • обеспечить единое понимание метрик для всех пользователей

5. Контроль (TG-бот)

Также реализовали контроль загрузок через Telegram-бота.

Он интегрирован с backend-процессами и в реальном времени показывает статус выполнения задач (успешность загрузок по источникам, ошибки при обращении к API, а также состояние отдельных джобов и скриптов).

Он помогает оперативно понять текущее состояние системы без необходимости заходить в инфраструктуру. В любой момент можно увидеть, отработала ли загрузка, где произошёл сбой и требует ли процесс ручного вмешательства.

Без такого слоя ошибки обнаруживаются постфактум, а актуальность данных приходится проверять вручную.

Примеры дашбордов для селлеров

После того как данные и расчёты были вынесены в хранилище, на уровне DataLens мы собрали несколько дашбордов под разные задачи — от операционного контроля до анализа эффективности.

Здесь хочу показать, что у нас в итоге получилось и как выглядит часть итоговых дашбордов для селлеров.

Ключевые показатели

Ключевые показатели

Общий дашборд по бизнесу. Он показывает текущее состояние продаж: динамику выручки, количество заказов, активность по кабинетам и ключевые показатели воронки. Здесь же видно, как пользователи проходят путь от просмотра карточки до покупки.

Показатели по каждому товару и артикулу

Показатели по каждому товару и артикулу

Детализация на уровне товаров. Отчёт строится по SKU/артикулам и позволяет смотреть не только продажи, но и поведение пользователей. Переходы в карточку, добавления в корзину, конверсии в заказ. За счёт этого становится понятно, где именно теряется спрос — на уровне трафика, карточки или цены.

Сводный дашборд работы магазина

Сводный дашборд работы магазина

Сводный дашборд, который собирает всю картину магазина целиком. Продажи, воронку, рекламные показатели и оборачиваемость товаров. Он используется, чтобы отслеживать динамику, сравнивать план и факт и быстро находить отклонения.

У нас получилось убраит ручную обработку данных и разрозненные таблицы, заменив их централизованной системой аналитики.

Команда больше не тратит время на проверку формул и обновление отчётов. Данные всегда актуальны и доступны в одном месте. При этом сама система легко масштабируется.

Клиент остался доволен результатом. Мы продолжаем работать вместе. Постепенно дорабатываем систему, добавляем новые метрики, расширяем отчёты и адаптируем аналитику под меняющиеся задачи бизнеса.

Кстати, есть еще демо-дашборд на основе этого кейса. Смотреть демо.

Я в целом часто делюсь своими наблюдениями из практики и веду телеграм-канал От цифр к делу🔎 | Никита Василевский, где разбираю реальные кейсы и то, как компании на самом деле выстраивают аналитику. Буду рад встретиться с вами и там!