Средний

14 мин

7

Привет, Хабр! Меня зовут Андрей Басов, я руководитель команды технической поддержки стрима корпоративных продуктов и сервисов в MWS, занимаюсь технической поддержкой и сопровождением продуктов линейки Partner Experience Platform.

В прошлом материале я рассказал о том, как мы с коллегами попробовали искать аномалии в логах наших систем с помощью методов машинного обучения. Сейчас мы провели работу над ошибками, все переработали (архитектуру, математический аппарат), внедрили генеративную LLM и Principal Component Analysis — и в итоге создали новую систему анализа жизни продуктов, которая самостоятельно балансирует, обучается, выявляет аномалии, паттерны и даже заглядывает в будущее.

Но не только сама разработка этой «живой» системы стала для меня в проекте вызовом. Мы столкнулись с тем, что некоторые коллеги из разных подразделений не всегда понимают, чем конкретно мы занимаемся и как это все работает. Не всегда разделяют границы ИИ между машинным обучением и генеративным интеллектом.

Поэтому я открываю серию материалов о том, как математика способна превратить пассивную кластеризацию в активную и самосознающую систему: от основ байесовской адаптации, динамических границ и топологического анализа до внедрения в практику. Разбираться будем на примере нашей новой архитектуры.

Наша архитектура

Какой архитектурный концепт для проверки концепции мы применяли ранее и как мы разработали систему автоматического выявления аномалий в логах, я подробно рассказал в посте. Теперь покажу, какая архитектура у нас сейчас.

Наша новая архитектура — это микросервисная система, построенная по принципу event-driven и incremental processing. Она состоит из нескольких независимых, но благодаря cluster-manager все же единых и согласованных компонентов:

• ml‑log‑anomaly‑cluster‑manager‑detector — основной микросервис, отвечающий за прием новых логов, их векторизацию, кластеризацию и обновление состояния кластеров;

• ml‑log‑anomaly‑cluster‑manager‑retrain — фоновый сервис, который периодически перестраивает кластеры, выявляет новые паттерны и оптимизирует структуру;

• ml‑log‑anomaly‑cluster‑manager‑cleaner — отвечает за архивацию и удаление устаревших данных;

• ml‑log‑anomaly‑cluster‑manager‑exporter — экспортирует результаты в системы мониторинга (Grafana, OpenSearch) и уведомления.

Все сервисы работают независимо, но обмениваются состоянием через общие хранилища данных — Qdrant и PostgreSQL

Роли хранилищ данных

Мы используем два хранилища — Qdrant и PostgreSQL. И каждое — для своих целей.

Qdrant выполняет две ключевые роли:

• Хранилище векторов логов — в нем каждый нормированный лог представлен как 768-мерный эмбеддинг (BGEM3), сохраненный как вектор с payload (ID, message, дата, cluster_id).

• Хранилище метаданных кластеров — в нем каждый кластер представлен как отдельная точка в Qdrant, с вектором-центроидом и payload, содержащим всю его внутреннюю статистику:

  • центроид, суммарный вектор, количество точек;

  • границы (статические и адаптивные);

  • скорость и ускорение центра тяжести;

  • параметры байесовской адаптации;

  • MST-метрики;

  • флаги аномальности;

  • ветвление кластера;

  • прочая статистика.

Кластеры находятся в отдельной коллекции clusters, что позволяет быстро искать ближайший для нового вектора через векторный поиск.

PostgreSQL — это управляющая база данных. Она содержит:

• конфигурацию задач;

• состояние процессов;

• историчность данных и статистику.

Это позволяет:

• контролировать жизненный цикл кластеров;

• строить прогнозы на основе временных рядов;

• выявлять глобальные события (например, массовый дрейф кластеров);

• собирать и агрегировать статистику для obs.

Поток данных от лога до кластера будет выглядеть так:

• Источник — OpenSearch, из которого по расписанию забираются логи за последний интервал.

• Предобработка — нормализация: удаление персональных данных, обработка stack trace, выделение контекста.

• Дедупликация — по хешу нормализованного сообщения.

• Векторизация — через LLM (BGEM3), получение 768-мерного эмбеддинга или результирующая групп эмбеддингов в случае stack trace.

• Кеширование в памяти.

• Понижение размерности — адаптивный PCA (если размерность > 128), сохраненная в S3 и кешированная локально.

• Кластеризация — поиск ближайшего кластера по косинусному расстоянию.

• Принадлежность — если расстояние до центроида ≤ адаптивной границы — точка добавляется в кластер, при этом идет инкрементальная легкая коррекция его границ и статистики.

• Аномалии — если не подошел ни один кластер, точка помечается как аномалия и временно хранится для последующей кластеризации в ночное время.

• Ночной ребилд и построение с созданием новых кластеров из текущих аномалий в зависимости от стратегий отслеживания конкретных сервисов.
  

На текущем этапе мы сосредоточились использовать HDBSCAN только для построения новых кластеров из аномальных точек. Это происходит в сервисе retrain в ночное время:

• Собираются все точки с cluster_id = −1.

• Применяется PCA по обученной модели.

• Запускается HDBSCAN с заданными параметрами.

• Создается новый кластер, из которого равномерно по квантилям выносятся информация и исходя из контекста формируется имя кластера. Так же анализируются уже созданные кластеры, перемапливаются по связке master_cluster и сохраняются в Qdrant.

Почему мы оставили HDBSCAN на небольшом участке системы? Он устойчив к шуму и хорошо работает на начальных данных.
В итоге мы построили собственную кластеризацию на основе динамических границ, MST и байесовской логики, с детекцией аномальных событий, происходящих внутри кластеров.

Математика как часть архитектуры

В отличие от классических ML-систем, где математика «прячется» внутри модели, у нас математика — это архитектура. Она позволяет не только кластеризовать и классифицировать данные, но и поддерживать и отслеживать состояние этих кластеров данных в реальном времени, а также выстраивать прогнозы по их статистике, выявлять аномалии, автоматически мерджить и разделять кластера в случаи их деградации.

Вот основные понятия, благодаря которым работает наша система:

• Косинусное расстояние — основа для сравнения смысла логов.

• Инкрементальные агрегаты — позволяют обновлять центроид и дисперсию за O(1).

• Байесовская адаптация — динамически корректирует пороги на основе новых данных.

• MST — оценивает плотность и выявляет «мостики» между фрагментами.

• Скорость и ускорение центроида — превращают статистику в сигнал тревоги.

• Реализованы алгоритмы определения потребности разделения и объединения кластеров, а также алгоритмы определения потребности пересборки кластера.

Все это не отдельные алгоритмы, а методы, встроенные в объектную модель кластера. Каждый кластер — это самонастраивающийся агент с внутренним состоянием, статистикой, именем и поведением.

Чтобы понять, как работает эта базовая часть архитектуры «под капотом», предлагаю последовательно разобраться в следующем:

• Динамические границы кластера — как мы определяем принадлежность точки и почему граница зависит от статистики и байесовской логики.

• Байесовская адаптация порогов — как система учитывает новую информацию, не теряя стабильности.

• Скорость и ускорение центроида — как превратить движение вектора в метрику аномальности.

• MST как оценка плотности — как мы используем графовую структуру для анализа внутренней связности кластера.

• Инкрементальные агрегаты — как обновлять статистику без хранения всех точек.

• Интеграция с LLM — как мы используем генеративный ИИ для сравнения кластеров, генерации имен, ветвления master-кластеров.

• Система самодиагностики — как из истории кластеров строится прогноз поведения всей системы.

Как кластер «чувствует себя»

Представим ситуацию, что нам необходимо найти аномальные события в логах. Мы строим систему на основе эмбеддингов, где каждый лог — вектор в n-мерном пространстве. Затем применяем кластеризацию. Сначала все работает, но на следующий день:

• в данных появляется новая ошибка: SSL handshake failed;

• старый кластер, отвечающий за «подключения к БД», вдруг стал включать disk full;

• граница кластера больше не работает;

• наш алгоритмы не информируют нас об этом.

В этот момент мы еще не умеем определять и находить аномалии в самих кластерах, отслеживать изменения кластеров. Программа просто работает, даже если не выполняет корректно возложенные на на нее обязанности.

А что, если кластер мог бы:

• предупредить, что его структура нарушается;

• сам адаптироваться к изменениям;

• сообщить нам, что он «дрейфует» в многомерном пространстве;

• попросить пересобрать себя;

• предсказывать свое поведение в будущем.

Самодостаточная система кластеризации работает благодаря базовым математическим механизмам, которые заставляют кластеры откликаться на внешний раздражитель.

При этом очень важным является определение схожести объектов: во многом все в итоге упирается в то, как мы измеряем длину вектора и расстояние между точками. Так что дальше вас ждет небольшой и быстрый курс линейной алгебры. В нашем случае это действительно важно. Для большего понимания ниже мы вспомним основы линейной алгебры и немного погрузимся в математику ml.

Вектор

Математика машинного обучения начинается с понятия вектора. Вектор — это не просто список чисел. Это точка в многомерном пространстве.  
Представьте, что есть карта, на которой отмечены города. Каждый город — точка.  
Теперь представьте, что у каждого слова или предложения есть своя «точка» в пространстве.
Вектор записывается как

Например, в эмбеддингах d = 768, то есть каждое слово — точка в 768-мерном пространстве. Такое пространство называется R^d — вещественное d-мерное пространство.

В этом пространстве можно выполнять следующие операции:

Сложение векторов: если у вас есть два вектора a и b, вы можете сложить их по координатам:  

Это как если сложить два смещения: сначала пройти три шага вперед, потом два влево — в итоге переместиться на вектор (3, –2).  

Умножение на число (скаляр):  

• Если , вектор становится в два раза длиннее.

• Если , он разворачивается в противоположную сторону.

Эти линейные операция, лежащая в основе всех преобразований в машинном обучении.

Скалярное произведение двух векторов — это число, которое показывает, насколько два вектора похожи по направлению:  

• Если векторы смотрят в одну сторону — положительное.

• Если в разные — отрицательное.

• Если перпендикулярны — ноль.

Скалярное произведение ввел в XIX веке Герман Грассман как часть своей теории внешних произведений. Позже Джозайя Уиллард Гиббс формализовал его в современном виде.

Норма — это понятие длины. Когда мы говорим о норме вектора, мы имеем в виду способы измерить размер или величину объекта.

Тут загляну вперед и поясню, что методов расчета норм множество и выбор норм зависит от конкретной задачи.

Начнем с евклидовой нормы поскольку она наиболее интуитивно понятная, соответствует «обычному» расстоянию по Пифагору. Иначе в ML она обозначается как l₂

Все мы, наверное, из школы помним такую фразу, что квадрат гипотенузы в прямоугольном треугольнике равен сумме квадратов катетов.

В изначальном варианте евклидово пространство и вытекающее из него евклидово расстояние — это пространство, свойства которого описываются аксиомами евклидовой геометрии. В этом случае предполагается, что пространство имеет размерность 3, то есть является трехмерным.

Из скалярного произведения выводится норма вектора — это его длина:  

Это и есть евклидова норма.

Представь прямоугольный треугольник: катеты x₁, x₂, гипотенуза — это и есть ‖x‖.

Пример:[1] 

В многомерном пространстве — все остается то же самое, только появляется больше измерений.

Норма помогает вычислить расстояние между двумя точками:  

• евклидово расстояние — длина прямой между точками.

Евклидово расстояние обычно используется в l₂ — регуляризации, известная как Ridge-регрессия. Путем добавления штрафного члена к функции потерь, приводя ее коэффициенты к равномерному распределению. Такая регуляризация помогает улучшать способность модели к обобщению.

В NLP евклидово расстояние нам не всегда подходит, потому что вводит для нас зависимость от длины вектора.  

Сравните два предложения: одно короткое, другое длинное, но оба они отражают одну суть вещей и описывают одно и тоже действие. Их векторы будут разной длины, но смысл — одинаковый.

Если применять семантическую векторизацию, норма больше при большей смысловой нагрузки объекта. Поэтому для сравнения векторов чаще используется косинусная мера угла.

Чтобы убрать влияние длины, нужно нормализовать вектор — то есть поделить его на его же длину:  

Только после этого ‖x̂‖ = 1 — он стал единичной длины, то есть нормализован.

Все такие векторы лежат на поверхности сферы, называемой гиперсферой (поверхности нашей d-мерного сферы). Теперь расстояние между векторами зависит только от угла между ними.

Косинус угла как мера расчета расстояния между двумя векторами была предложена в 1960-х годах в информационном поиске для сравнения документов и на текущий момент все еще является основой для семантического поиска.

Если векторы нормализованы, это просто cos(a,b) = (a∙b)/(‖a‖‖b‖).

• Чем ближе к 1 — тем похожее направление.

• Чем ближе к 0 — тем ортогональнее.

• Чем ближе к –1 — тем противоположнее.

Косинусное расстояние — это 1 минус косинус:  

Теперь:

• 0 — идентичны;

• 2 — противоположны;

Как мы помним, максимальное значение косинуса от –1 до 1. Учитывая это в формуле, мы понимаем, что максимальное косинусное расстояние будет иметь пределы от 0 до 2.

И если вектора сонаправлены, то есть идентичны, косинусное расстояние примет значение 0.

Это и есть мера, которую в ml используют для сравнения наших семантический точек, полученных путем векторизации текста.

Кластеризация

Кластеризация — это группировка похожих точек. Целью кластеризации является выделение близких по параметрам объектов и объединение их в кластеры.

Какие же методы мы используем для построения «умных самоадаптирующихся кластеров» ?

Основные методы:

1.Метод ближайших соседей (kNN) — если точка окружена точками одного класса, она, скорее всего, того же класса.  Алгоритм введен в 1950-х годах. Берем точку и ищем ее ближайших соседей. Определяем, к какому кластеру она относится путем определения к какому кластеру относится ближайший из ее соседей. Этот метод хоть часто и используется, но не является универсальным методом чисто кластеризации. Так же часто применяется в классификации и регрессии.

Стоит отметить, что в кластеризации он чувствителен к шуму. Формально кластера им не строятся, а определяются ближайшие соседи и их параметры.

K-Means — один из самых известных методов. Он итерационный — на первой стадии наносятся случайным образом сформированный центры кластеров и определяются точки, которые к ним относятся. Алгоритм останавливается только тогда, когда центры кластеров прекращают дрейфовать.

Алгоритм сходится, но не гарантирует глобального минимума. Он разбивает точки на k кластеров, минимизируя сумму квадратов расстояний до центров:  

Где:

• cᵢ — центроид i-го кластера. Центроид — это среднее всех точек кластера.

Алгоритм простой, нужно:  

1. Выбрать k начальных центров.

2. Отнести каждую точку к ближайшему центру.  

3. Пересчитать центры как средние.

4. Повторять, пока центры не перестанут двигаться. 

У K-Means есть недостатки:  

• Нужно заранее знать параметр k.  

• Предполагает шарообразные кластеры. В реальности кластеры чаще всего были бы вытянутыми, изогнутыми, разорванными. 

• Не работает с шумом и аномалиями.

2.DBSCAN — плотностной алгоритм пространственной кластеризации с присутствием шума основан на определении плотности точек с их объединением в кластера. DBSCAN разработан в 1996 году Мартином Эстером и другими.  

Один из первых методов, устойчивых к шуму.

Если вокруг точки много других точек — значит, она принадлежит кластеру. А если нет других точек, то это, скорее всего, шум. 

3.HDBSCAN — улучшенная версия DBSCAN, разработан в 2015 году. Он не требует задаваться радиусом окрестности вокруг точек, алгоритм строит иерархию кластеров и выбирает оптимальный срез. Использует взаимную достижимость и позволяет находить кластеры разной плотности.

4.Минимальное остовное дерево или Minimum Spanning Tree (MST) — это дерево, соединяющее все точки с минимальной суммой длин ребер.

Строится как алгоритмом Крускала (и относится к жадным: решение о следующем шаге принимается на основании наилучшего локального решения из всех возможных вариантов без учета всей структуры графа):  

1. Сортируем ребра по длине.

2. Добавляем по одному, если не образуется цикл.

3. Повторяем, пока не соединим все точки.
   

Крускал изначально помещает каждую вершину в свое дерево, а затем постепенно объединяет на каждой итерации два некоторых дерева некоторым ребром.

MST используется в HDBSCAN для анализа плотности.

Иерархическая кластеризация — строит дерево вложенных кластеров. Агломеративная — снизу вверх: начинаем с отдельных точек, объединяем ближайшие.

Расстояние между кластерами можно считать по-разному:  

• Минимум — ближайшие точки (одиночная связь). 

• Максимум — самые далекие (полная связь). 

• Среднее — среднее всех пар.

• Центроид — между центрами.

Основные параметры нашего кластера:

Центроид кластера — это среднее или сумма всех векторов нашего кластера или иначе это его «центр тяжести»:

А теперь представьте себе, что в кластере по мере его развития может формироваться миллионы векторов. Но если хранить все векторы — память быстро станет O(n).

Чтобы не хранить все векторы, логично необходимо использовать агрегаты:  

• s = ∑xᵢ — суммарный вектор.

• n — количество точек. 

Тогда:

И при добавлении новой точки/вектора в кластер x:

Итого сложность инкрементального вычисление этого агрегата всего O(1). То есть все операции допустимо делать в режиме реального времени.

Сумма квадратов норм:

Используется для дисперсии.

Среднее расстояние до центроида (средняя длина):

Где:

• dᵢ — косинусное расстояние до центроида;

• S_(d²) — сумма квадратов косинусного расстояния;

• μ — среднее расстояние до центроида.

Дисперсия отклонения — мера разброса, понятие введено Карлом Фридрихом Гауссом и Пьером-Симоном Лапласом в XVIII–XIX веках:

 Дисперсия — это средний квадрат отклонения от среднего. Чем больше дисперсия, тем сильнее точки разбросаны.  

Дисперсия всегда неотрицательна. Для выборки иногда делится на n-1, но в нашей задаче — на n, так как мы оцениваем распределение кластера.

Стандартное отклонение (среднеквадратичное отклонение):

 Оно имеет ту же размерность, что и исходные данные, показывает «среднее отклонение» от центра. В нормальном распределении 68% данных лежат в пределах μ ± σ, и 95% μ ± 2σ.

Граница кластера: чтобы понять, принадлежит ли новая точка/вектор к какому бы то ни было кластеру, нужно знать их границы.

Для этого нам поможет статистика:

• μ  — среднее расстояние до центроида кластера (средняя длина);

• σ  — стандартное отклонение (среднеквадратичное отклонение).

Зная эти величины, мы очень просто высчитаем границу кластера как:

Если расстояние до центроида > r — точка не принадлежит.

Сразу напомню, что в данном случае мы считаем, что каждый кластер является как бы сферой, а точки за ней — аномалии.

k — коэффициент. В нормальной модели k = 2 соответствует 95% доверительному интервалу,
k = 3 – 99,7%. Но в реальных данных распределение может отличаться, поэтому k адаптируется.

Байесовская адаптация k  

Историческая справка:

Оценка хвоста (k) в статистике — это процесс оценки параметров хвоста распределения, а апостериорная вероятность — это обновленная оценка вероятности гипотезы после учета новых данных.

Иначе k— это квантиль нормального распределения, соответствующая вероятности выброса.

Где:

• P_tail — доля «дальних» точек;

• φ⁻¹ — обратная функция нормального распределения.

Алгоритм работает так:

• Найдём точки, которые лежат за median + 2σ

• Зададимся P_tail = (кол-во точек) / n

• Если n < 30 — используем априор P_tail = 0.02

• k_old = k, k_new = φ⁻¹(1 − P_tail)

• Сглаживаем: k = 0.8·k_old + 0.2·k_new

Теперь у нас не будет больше скачков, а также мы гарантируем, что граница будет автоматически рассчитывать стабильно как для малых, так и для больших кластеров.

Байесовская оценка k — не единственная оценка, которой можно придерживаться. Это лишь экспоненциальное сглаживание.  

Хвост распределения — его крайняя часть, где редкие значения. В реальных данных хвосты часто «тяжелее», чем у нормального распределения. Например, в финансовых данных или в интернет-трафике.  

Квантиль — значение, ниже которого лежит заданная доля данных. Например, 95-й перцентиль — значение, ниже которого 95% точек. Квантили используются в статистике, начиная с работ Фишера и Пирсона в начале XX века.

MST в кластере 

Средняя длина ребер по аналогии:

Стандартное отклонение (среднеквадратичное отклонение):

Граница:

MST помогает оценить плотность связности внутри кластера. Длинные ребра — это «мостики» между плотными областями. Если ребра длинные — кластер разряженный, если ребра короткие — кластер плотный. Используется как дополнительная метрика границы 

Динамика центроида

Центр кластера — вектор cₜ .

Определим скорость центроида:

Ускорение:

Если скорость резко выросла — кластер встряхнуло.

Аномальный скоринг

Теперь мы можем в режиме реального времени высчитывать средние:

• μₛ, σₛ — среднюю длину и среднеквадратичное отклонение по скорости;

• μᵤ, σᵤ — среднюю длину и среднеквадратичное отклонение по ускорению.

Скоринг:

Получаем, что, например, если score > 2 — кластер взволнован.  

На этом все. В этом материале мы познакомились с ключевыми понятиями и методами необходимыми для задач кластеризации в машинном обучении. А также поняли, что необходимо кластеру, чтобы самостоятельно развиваться и отслеживать свою деградацию. Это основа для понимания того, как происходит кластеризация и базис того, как будет строится система основанная на этих механизмах.

Что мы получили

Теперь мы умеем строить оперативные дашборды в Grafana и в реальном времени семантически отслеживать, кластеризовать, выводить, классифицировать логи наших систем. Наши инженеры с легкостью видят, какие логи и сколько раз повторялись, не тратят время на классификацию этих данных, видят аномалии, видят семантические именованные кластера, количества логов и прирост в каждом из них.

А в следующих сериях я расскажу и покажу, как мы строим прогнозы аномальных событий на основе метрик аномалий поведения систем. Так что не переключайтесь.