惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

Microsoft Azure Blog
Microsoft Azure Blog
大猫的无限游戏
大猫的无限游戏
S
Secure Thoughts
美团技术团队
Security Latest
Security Latest
月光博客
月光博客
D
Darknet – Hacking Tools, Hacker News & Cyber Security
Simon Willison's Weblog
Simon Willison's Weblog
V
Vulnerabilities – Threatpost
N
News | PayPal Newsroom
T
Tailwind CSS Blog
cs.AI updates on arXiv.org
cs.AI updates on arXiv.org
Webroot Blog
Webroot Blog
L
LINUX DO - 最新话题
博客园 - Franky
博客园 - 【当耐特】
Hugging Face - Blog
Hugging Face - Blog
罗磊的独立博客
T
Troy Hunt's Blog
V2EX - 技术
V2EX - 技术
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
P
Privacy International News Feed
www.infosecurity-magazine.com
www.infosecurity-magazine.com
云风的 BLOG
云风的 BLOG
L
Lohrmann on Cybersecurity
Apple Machine Learning Research
Apple Machine Learning Research
Attack and Defense Labs
Attack and Defense Labs
TaoSecurity Blog
TaoSecurity Blog
MyScale Blog
MyScale Blog
C
Cisco Blogs
P
Proofpoint News Feed
N
News and Events Feed by Topic
S
SegmentFault 最新的问题
N
News and Events Feed by Topic
Cyberwarzone
Cyberwarzone
Google DeepMind News
Google DeepMind News
P
Privacy & Cybersecurity Law Blog
NISL@THU
NISL@THU
P
Palo Alto Networks Blog
GbyAI
GbyAI
Project Zero
Project Zero
H
Hackread – Cybersecurity News, Data Breaches, AI and More
H
Heimdal Security Blog
IT之家
IT之家
Stack Overflow Blog
Stack Overflow Blog
Schneier on Security
Schneier on Security
T
The Exploit Database - CXSecurity.com
K
KPMG report finds enterprise disconnect between AI and its ROI | CIO
Application and Cybersecurity Blog
Application and Cybersecurity Blog
A
Arctic Wolf

Все публикации подряд на Хабре

Ловим музу за клавиатуру: как айтишнику стать автором Что умеет Midjourney в 2026? Мой немного грустный разбор этого шикарного инструмента Никто не любит писать тесты, но ИИ может исправить это IPv8 выглядит как мечта. Поэтому почти наверняка не взлетит Производители вернули в продажу материнки с DDR3. Что происходит? Управление агентом с телефона через Telegram теперь в KodaCode От координации к лидерству: как меняется роль руководителя разработки Я сделала родителям бизнес вместо пенсии: зарабатываем 70 тысяч, мама не даёт продать В три раза быстрее приемка товара и оптимизация трудозатрат на 73%: как «РСТ-Инвент» помог Gulliver Group ИИ-шечный мир победил? О влиянии искусственного интеллекта на игропром Кремль снижает давление на Телеграмм пока Европа строит интернет по паспорту Как CEO, CTO и CIO за 8 часов собрали ИИ-директора, который умеет держать позицию под давлением Как (не) потерять домен за выходные Вместо 8 разных VPS: как я организовал практику студентам на одном сервере Почему твой Open Source проект не замечают? R&D: искусство управления неопределенностью в разработке AI-дефляция: вакансий для разработчиков больше, а рост зарплат — худший за 15 лет Мы отдали управление роботами OpenClaw. Что из этого вышло Галактический ID: система идентификации для всех форм разумной жизни Шесть основ бизнес-анализа: начинаем с вопроса «Кто в игре?» Код-ревью, в котором дело не в коде Данные переехали. Команда — нет Системной подход к сдаче OSWE в 2025 Почему комната управления реактором покрашена в цвет морской пены 4 YAML-файла вместо PySpark: как аналитикам строить пайплайны без разработчиков LLM-агент для поиска свободных доменов: автоматизируем подбор Когда, зачем и как правильно начинать новую сессию в Claude Code? Как я заставил нейросеть писать макросы для FreeCAD Анатомия ИИ‑агента для подбора персонала. От тысячи резюме к топ‑10 за минуты Опыт разработчика как экономика внимания Автономность как точка невозврата: кто будет субъектом в цифровом будущем Обучение ИИ в «диких» условиях: как рутинные действия превращаются в датасеты Как измерить LLM для задач кибербеза: обзор открытых бенчмарков Где хранить код? Сравнение GitHub, GitLab и Bitbucket Математика объясняет, почему нормальное распределение встречается повсюду Почему ваш FinOps не работает: 12 тезисов от практиков Как подписать проектную документацию УКЭП с использованием бесплатных лицензий Pilot Адаптивное администрирование Sigla Vision Я грузил уран в бочки, а потом 20 лет строил ИТ в атомной отрасли Чем позвонить с Эвереста? История и обзор спутниковой связи. Часть 2 Как языковая модель помогает контролировать качество инструктажей по охране труда в металлургии Как не передать на desktop свой IP в РКН Анатомия SAP Privileges: как устроено управление правами в macOS MoneyDev: Сказка про три главных слова Обновлённый токенизатор видео K-VAE 2.0 от Сбера Как сделать диспетчеризацию дома на 1284 квартиры почти бесплатно Как мы разогнали железную дорогу Мы дали агентам рутину. Теперь надо решить — что делать с освободившимся временем Токсичный контент, промпт-хакинг и защита ИИ — всё о Guardrails для LLM Умный город начинается с точного взгляда: как «Фалькон Тех» меняет пространство к лучшему Навайбкодил приложение для анализа графов Почему Дюну так интересно читать? Упрощаем работу с рутиной или как стать Гендальфом Белым Деконструкция Go: CPU, RAM и что там происходит. Go Assembler база. Часть 1.1 Какие профессии исчезнут из-за ИИ, а какие появятся? И что с этим делать Как мы построили IT-отдел, где хочется расти: архитектурные встречи, прозрачные метрики и книжные подарки Rufler: Делаем из Claude Code автономный рой через один YAML-конфиг Sing-box и белый список приложений Как построить надёжный обмен сообщениями в микросервисах: лучшие практики для enterprise OpenAI строит MLM-пирамиду, а McKinsey и Accenture помогают ей в этом Дом, который не построил Фишер (Часть 2) «Сверхзвуковой математик» против «Вдумчивого логиста»: битва алгоритмов 3D-упаковки Мультимодальные модели – грубый и дорогой инструмент Разговоры ничего не стоят. Код тоже Проверки физических лиц: с кого начнет ФНС Топ-10 бесплатных нейросетей для создания видео в 2026 году Первые слои кода: как наши решения сегодня определяют архитектуру ИИ на десятилетия Разработка нового статического анализатора: PVS-Studio JavaScript Поиск уязвимостей ПО: базовый минимум или роскошный максимум Почему оценка персонала не работает как инструмент управления Как мы разработали ИИ-ассистента и сократили рутину продуктовой команды на 50% Как я ушел из найма, нажарил косточек и продал на маркетплейсах на 168 млн в год Когда 1С:ERP уже внедрена, а нормального производственного плана всё ещё нет Как я сделал Claude мультимодальным, подключив к нему Qwen Omni Как приглашение на вакансию мечты превращается в атаку Infrastructure as Code: философия и лучшие практики IaC Тестируем Yandex Code Assistant на задаче, в которой нужно хранить секреты nxs-universal-chart v3.0: новое поколение универсального Helm-чарта Callback Injection: Техника, которая отправила Microsoft Defender в глухой нокаут «Все идеи на стол»: митап как способ вывести проект из тупика Сегодня я узнал нечто новое о GPU благодаря багу в своей игре Как заставить LLM ̶ ̶г̶а̶л̶л̶ю̶ ̶ эволюционировать Карта событий как фундамент аналитики: практический кейс для E-commerce Что выбрать для AI: x86, ARM или RISC-V? Дайджест железа за март Роль соматических мутаций в развитии аутоиммунных заболеваний: путь к избирательной терапии Mythos от Anthropic — тревожный сигнал для всех, а не только для банков Guardrails для LLM на Java: как приручить промпт‑инъекции и токсичные ответы Green-VLA: как мы собрали VLA-модель для реального антропоморфного робота и не потеряли обобщение Финансовая гонка вооружений: почему умные люди добровольно в ней участвуют Эра ИИ-агентов наступила: выбираем лучшего цифрового сотрудника # Практический опыт внедрения WinCC Redundancy на производственном предприятии Сделал MVP за 3 дня, а потом неделю прикручивал оплату. Оно того стоило? Физика против Маска: почему Starship V3 может оказаться ещё одной катастрофой Нефть Венесуэлы: крупнейшие запасы в мире, но не крупнейшая нефтяная держава JPA 4. Переосмысление Hibernate Почему зеркальная фотокамера Nikon D5 десятилетней давности идеально подошла для миссии «Артемида-2» Проект «Уровень-Спутник» или как мы сделали платформу для гидрологов «Замедлиться, чтобы ускориться»: почему ИИ повышает цену ошибок в требованиях и архитектуре Как с нуля поднять трафик IT-компании на 1657% при бюджете 55 тыс. и выжить Pixel-perfect Downsampling — идеальная отрисовка 50 миллионов точек без потерь
Loki «Next Wave»: как Grafana Labs переписала правила логирования на GrafanaCON 2026
stnkv-it · 2026-05-03 · via Все публикации подряд на Хабре

Уровень сложностиСредний

Время на прочтение5 мин

Охват и читатели691

Обзор

Всем привет. В этой статье будет много текста, мало цифр с пруфами, пока что более поверхностный разбор, но я думаю тем кто упустил GrafanaCON 2026 это будет интересно.

Маленький спойлер для начала

Существует особый класс технических конференций, где за бодрыми слайдами прячутся по-настоящему серьёзные архитектурные решения. GrafanaCON 2026 в Барселоне оказался именно таким. Grafana Labs представила Grafana 13 и целую волну обновлений open source инструментов, но для всех, кто эксплуатирует логирование на промышленных масштабах, главной темой стала переработка архитектуры Loki под девизом "Architecture for the Next Wave of Log Workloads"

Мир логов изменился, а Loki - пока что нет

Рост популярности структурированных логов и OpenTelemetry фундаментально изменил паттерны работы с логами: от простого текстового поиска — к сложным аналитическим запросам с высокой кардинальностью. Это сделало критически важным переосмысление системного дизайна, чтобы устранить узкие места производительности и растущие расходы на инфраструктуру.
Проще говоря: инструмент, который строился как «дешёвый поиск по тексту», столкнулся с задачами, для которых не проектировался. (ну ладно я тут утрирую что это «дешевый поиск по тексту», но всё же).

По данным Grafana Labs 2026 Observability Survey, более 77% организаций опираются на open source и открытые стандарты для observability. Но однако более 38% команд по‑прежнему называют главной проблемой — сложность. Направление выбрано верное, но эксплуатировать инструменты по‑прежнему непросто. Именно в этот разрыв метит «Next Wave».

Проблема с репликацией: копии каждой строки лога

Чтобы понять ценность изменений, нужно сначала понять, что именно сломано в старой архитектуре.

Традиционная архитектура Loki достигала высокой доступности через репликацию: каждая входящая строка лога отправлялась трём ингесторам (replication factor = 3). Дедупликация при этом опиралась на именование файлов — если ингесторы покрывали один временной диапазон, они должны были генерировать идентичные имена файлов, и дубликаты «схлопывались».
Staff Software Engineer Тревор Уитни объяснил механику во время брифинга на GrafanaCON: в распределённой системе ингесторы немного расходятся по времени, и любой дрейф синхронизации приводит к тому, что файлы получают разные имена — дедупликация перестаёт работать корректно.

Результат? Каждая строка лога в среднем хранилась 2.3 раза — двойной перерасход CPU, памяти, сети и объектного хранилища. (значение 2.3 раза — это более империческая величина). Да это осознанная плата, ведь без репликации мы бы теряли данные при падении узла, но факт остается фактом мы получаем избыточное хранение и доп.нагрузку.

Три архитектурных изменения, которые изменят всё

Теперь переходим к самому интересному, а что же именно изменится в архитектуре Loki.

Схема новой архитектуры Loki, которая была представлена на GrafanaCON 2026

Схема новой архитектуры Loki, которая была представлена на GrafanaCON 2026

Kafka как durability layer: конец эпохи репликации на ингесторах.

Первое и самое фундаментальное изменение. Grafana Labs вводит Kafka-backed ingestion - более эффективные и надёжные пайплайны на уровне приёма логов.

Принципиальный сдвиг прост: вместо репликации между ингесторами - очередь сообщений как единственный источник истины. Лог попадает в Kafka один раз, а уже оттуда его забирают ингесторы. Эффективный фактор репликации падает до единицы. Данные перестают дублироваться.
Но тут есть важная оговорка: single-binary режим для разработки и домашних лабораторий не требует Kafka. Новая зависимость актуальна только для полноценных production-инсталляций с распределённым режимом работы. Для тех, кто уже использует Kafka в своём стеке, это означает более органичную интеграцию всего observability-пайплайна.

Новый планировщик запросов: data locality и параллелизм

Переработанный планировщик запросов распределяет работу по партициям и выполняет её параллельно, оптимизируя под локальность данных и максимизируя пропускную способность. Это позволяет Loki обрабатывать значительно меньше данных на каждый запрос при более быстром возврате результатов.

Две ключевые идеи нового планировщика:

Data locality - стараться обрабатывать данные там, где они физически находятся, а не тащить их через сеть. Особенно критично при работе с облачными хранилищами, где каждый байт передачи стоит денег.

Параллельное исполнение — позволяет разбивать один большой запрос на независимые подзапросы по патрициям и выполнять их одновременно, вместо последовательного сканирования потоков.

В совокупности эти изменения дают до 20-кратного сокращения сканируемых данных и 10-кратного ускорения на агрегирующих запросах. Но стоит понимать что эти цифры могут оказаться маркетинговым вбросом от Grafana. Вангую но на деле мы получим цифры немного другие. Но если Вы платите за S3, то Вы сильно заметите изменение в стоимости услуг.

Поглощение Logline: «иголка в стоге сена»

Grafana Labs объявила о поглощении Logline. Специализация Logline — эффективный поиск, точечные запросы типа «найди конкретный user ID или error code в петабайтах данных». Как везде пишут что это «поиск иголки в стоге сена».
Интеграция этой технологии в Loki должна значительно улучшить производительность точечного поиска при сохранении экономичной, index‑light архитектуры.
Исторически это была ахиллесова пята Loki. Инструмент намеренно избегал тяжёлых инвертированных индексов, делая ставку на дешёвое хранение и метки, что хорошо работало для широких поисков, но проигрывало при точечных запросах. В Loki 3.0 появились экспериментальные Bloom Filters как первый шаг в этом направлении. Поглощение Logline это следующий, значительно более серьёзный шаг.

Что это означает для вас в production среде

Если вы сейчас эксплуатируете Loki в распределённом режиме, основные практические последствия таковы:

Инфраструктурные зависимости. Переход на Kafka-backed ingestion означает либо наличие Kafka в стеке, либо решение о его добавлении. Это не бесплатно с точки зрения операционной сложности, зато вы получаете гарантии доставки и возможность переиграть логи при необходимости - чего в старой схеме попросту не было.

Экономика облачного хранилища. 20x сокращение сканируемых данных - прямое снижение расходов на операции чтения в объектном хранилище. Для высоконагруженных инсталляций это может кардинально изменить ежемесячный счёт.
(опять-таки, держим в голове что цифра 20x - это пока что заявленная цифра от GrafanaLabs).

Аналитика в реальном времени. Новый планировщик позволяет крутить сложные агрегаты по терабайтам логов там, где раньше приходилось ждать десятки секунд или минут. SRE-расследования после деплоя становятся значительно менее болезненными.

Точечный поиск. Если вы сейчас обходите ограничения Loki через параллельные индексы или Elasticsearch рядом с Loki - это направление теперь официально в roadmap. Когда именно технология Logline будет доступна в open source и Grafana Cloud, станет ясно позже.

Итог

«Next Wave“ для Loki — это признание того, что мир изменился. OpenTelemetry стало индустриальным стандартом инструментации. Структурированные логи стали нормой. Запросы с высокой кардинальностью — повседневностью. Старые архитектурные допущения Loki, заложенные ещё в эпоху простого текстового поиска, перестали соответствовать этим реалиям. 

Grafana Labs меняет три фундаментальных допущения разом: от репликации к Kafka, от линейного сканирования к параллельному партиционированию, от принципиального отказа от индексов к гибридному подходу.

Обновление Loki на GrafanaCON 2026 — одно из самых значительных архитектурных изменений проекта за последние годы. Посмотрим, как это будет работать в реальных production‑нагрузках: цифры на слайдах и цифры в боевой системе — далеко не всегда одно и то же. Но направление выглядит разумным и хорошо обоснованным.