KDD'25 | BurstGPT：我们收集了 1031 万条 Azure OpenAI 真实 trace，LLM 推理系统没你想的那么稳 - 惯性聚合

推荐订阅源

Threat Intelligence Blog | Flashpoint

cs.CL updates on arXiv.org

Know Your Adversary

TaoSecurity Blog

Palo Alto Networks Blog

Security Latest

The Last Watchdog

Google DeepMind News

Help Net Security

News and Events Feed by Topic

Secure Thoughts

Attack and Defense Labs

News and Events Feed by Topic

MIT News - Artificial intelligence

Full Disclosure

Privacy International News Feed

The GitHub Blog

Troy Hunt's Blog

CXSECURITY Database RSS Feed - CXSecurity.com

Hacker News: Front Page

aimingoo的专栏

Security @ Cisco Blogs

Hackread – Cybersecurity News, Data Breaches, AI and More

Apple Machine Learning Research

Engineering at Meta

大猫的无限游戏

Google Online Security Blog

Recent Announcements

Help Net Security

美团技术团队

Google Developers Blog

www.infosecurity-magazine.com

Schneier on Security

博客园 - 【当耐特】

博客园 - 司徒正美

博客园 - marsggbo

LLM agent 为什么不稳？问题可能不在模型，在 harness Meta-Harness：让 LLM 自己搜索最优 harness，模型不动，性能白涨从零理解 ASR：音频基础、Qwen3-ASR 架构，以及离线 vs 流式推理原理 arXiv'26 | LLM Agents 让群体信念变得可编程：当 AI 开始系统性操控舆论巴西「主权大模型」翻车：当模型可以随便融合，怎么证明它偷了你的权重？进阶篇 | 不靠人工设计，让遗传算法自己进化出 SOTA 的 LLM 剪枝指标说人话：一文搞懂现在火热的 LLM agent 自进化原理 ICML'26 | Transformer 真的需要三个投影矩阵吗？Q-K=V 让 KV Cache 直接砍半 UPenn & Meta | NF-CoT：当 LLM 的思维链不再是文字，而是连续概率流 arXiv'26 | 为什么你的多智能体系统越加 agent 越慢？DeLM 用去中心化解了这个矛盾 arXiv'26 | Self-Harness：让 Agent 自己改自己的 harness，pass rate 最高翻倍 Anthropic | 当 AI 开始造自己：递归自我改进离我们有多远？ arXiv'26 | Mirage：把世界模型的 3D 记忆搬进 Latent Space，快 10 倍还省 55 倍显存 arXiv'26 | FlashMemory-DeepSeek-V4：用 13.5% 的显存干 100% 的活，超长上下文推理的 less is more MoE 压缩新思路：别删专家、别合并专家，把它们"重映射"就够了 MoE 变 Dense：剪枝+蒸馏能救内存瓶颈吗？ ReMoE：只动 Router 就让 MoE 推理快 2 倍？这才是端侧 MoE 部署该有的姿势 LLM 时代，还有人搞 AutoML 吗？有，而且变得更难了 arXiv'26 | Frontier：LLM 推理仿真器，端到端误差从 51.7% 降到 2.6% arXiv'26 | ELF：Flow Matching 生成文字，用 10 倍少的数据全面超越主流 Diffusion LM LLMRouterBench：当所有 routing 方法被拉到同一起跑线，结果有些尴尬 LLM Agent Memory 全景拆解：从 RAG 到 KV Cache 到参数写入，100+ 篇工作的方法演进与真实取舍 EuroSys'26 | TokenFlow：让 LLM 流式输出真正「流」起来 AAAI'23 | NAS-LID：用「局部内在维度」给超网做体检，省 86% 显存 ICLR'26 Workshop Spotlight | Lang-PINN：让 LLM 多智能体帮你从自然语言一键搭建物理信息神经网络 KBS'21 | 我写的 AutoML 综述被引 2700+ 次，今天来聊聊这篇文章的来龙去脉 EuroSys'26 | PARD 提前丢掉注定超时的请求，goodput 最高提升 176% EuroSys'26 | MFS 把整个 model family 融进一套嵌套模型，KVCache 跨 tier 直接共享 EuroSys'26 | LLMFolder 用常量折叠把 FFN 参数砍 80%，精度反超剪枝方法 65% EuroSys'26 | KUNSERVE 把冗余参数副本临时让给 KVCache，P99 TTFT 最快降 72× EuroSys'26 | IBP 用无损 bit 压缩缓解 PCIe 瓶颈，GNN/DLRM/LLM 推理都能用 FAST'26 | SolidAttention 把 SSD 搬进 LLM 推理，笔记本也能跑 128k 上下文 LLM 推理启动慢？华为用一个「可编程 Page Cache」把模型加载砍了 79% 延迟降47%！FineMoE如何用「细粒度」打破MoE推理的显存-延迟死局训练一个「会管技能库」的 AI——SkillOS 让 agent 真正越用越强 MoE 训练通信瓶颈有救了？DySHARP 直接在交换机里做计算，干掉 50% 冗余流量 2026-05-12-2508_06526 把 Dense LLM 变成 MoE 还能推理提速？NeurIPS 2024 Read-ME 做到了说人话理解 EPIC：KV Cache 复用的「编译-链接」范式（附可运行代码复现） KV Cache 也能「语义共享」？SemShareKV 用 LSH 做到了写完 Markdown 还要手动排版？我写了个 VS Code 插件一键搞定微信公众号、知乎、小红书多 Agent 协作不需要说「人话」？LatentMAS 让 LLM 在隐空间里直接协作让不同 LLM 之间共享 KV Cache？DroidSpeak 是怎么做到的 RouteMark: 基于路由行为指纹的模型合并知识产权归属 | A Fingerprint for IP Attribution in Routing-based Model Merging Lang-PINN: 从自然语言到物理信息神经网络的多智能体框架 | From Language to PINNs via a Multi-Agent Framework Ghost in the Cloud: 地理分布式大模型训练的安全隐患 | Your Geo-distributed LLM Training is Easily Manipulated GM-Skip: 基于度量引导的 Transformer 块跳过策略加速视觉语言模型 | Metric-Guided Transformer Block Skipping for Efficient VLMs ExpertFlow: 基于预测性专家缓存与令牌调度的高效MoE推理 | Efficient MoE Inference via Predictive Expert Caching and Token Scheduling AutoHete: 面向大语言模型的自动化高效异构训练系统 | An Automatic and Efficient Heterogeneous Training System for LLMs DAC'26 | ExpertFlow：让 MoE 大模型在单卡上跑起来，内存省 93%、速度快 10 倍 Eurosys26 | FineMoE如何用「细粒度」打破MoE推理的显存-延迟死局 LoRA fine-tune吞吐量提升1.96倍！LoRAFusion如何把内存带宽浪费和pipeline bubble一起干掉 Fast26 | LLM 推理启动慢？华为用一个「可编程 Page Cache」把模型加载砍了 79% KV Cache 的两层存储到底卡在哪？FAST'26 这篇论文给出了答案 NeurIPS24 | 把Dense LLM变身MoE还提速 ICML25 | EPIC：KV Cache 复用的「编译-链接」范式（附可运行代码复现） KV Cache 复用的第三条路：FAST 2026 CacheSlide 是怎么解决 Agent 推理的位置漂移问题的 MoE 推理的内存墙，被一块多芯粒芯片打穿了？ KVCOMM：让多 Agent 系统的 KV Cache 真正“通起来”，TTFT 直接砍掉 7.8 倍 NSDI26 | DroidSpeak让不同 LLM 之间共享 KV Cache TokenDance 解决多 Agent LLM 推理的 KV Cache 冗余问题当 AI 开始学会"记住"：LLM Agent 记忆系统的统一视角【转载】ACM MM 投稿论文模板修改成投稿模式尝试从源头理解 SVD 原理和计算 LLM 场景下的强化学习技术扫盲解决 Overleaf 中插入 PDF 图片失败的问题：排查与修复 Tmux ctrl+B快捷键失效处理办法对抗训练综述学习笔记【转知乎回答】一文看懂 LLaMA 中的旋转式位置编码（Rotary Position Embedding）二进制中为什么负数是正数取反再加一 leetcode 常见题型代码总结 Prompt-Tuning、P-Tuning和Prefix-Tuning区别和代码实现【转】 Deepspeed ZeRO系列算法原理+通信开销详解 NSCC集群使用笔记 Huggingface Transformers实现张量并行的小坑 set/get_output_embeddings Pytorch 如何使用 storage 实现参数 offload？ TACC 集群使用笔记图解 vLLM 的推理调度策略大模型推理框架 vLLM 源码解析（二）：Block 模块分配和管理 OpenAI 的视频生成大模型Sora的核心技术详解（一）：Diffusion模型原理和代码详解大模型推理框架 vLLM 源码解析（一）

KDD'25 | BurstGPT：我们收集了 1031 万条 Azure OpenAI 真实 trace，LLM 推理系统没你想的那么稳

marsggbo · 2026-07-23 · via 博客园 - marsggbo

此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。原文来自 — 版权归原作者所有。