Deepspeed ZeRO系列算法原理+通信开销详解 - 惯性聚合

推荐订阅源

cs.CV updates on arXiv.org

CTFtime.org: upcoming CTF events

Netflix TechBlog - Medium

DataBreaches.Net

钛媒体：引领未来商业与生活新知

Threat Intelligence Blog | Flashpoint

SegmentFault 最新的问题

奇客Solidot–传递最新科技情报

Hugging Face - Blog

Threat Research - Cisco Blogs

Visual Studio Blog

Cyber Attacks, Cyber Crime and Cyber Security

博客园_首页

Recorded Future

Java Code Geeks

The Cloudflare Blog

人人都是产品经理

Tor Project blog

The GitHub Blog

Vulnerabilities – Threatpost

Palo Alto Networks Blog

罗磊的独立博客

博客园 - 叶小钗

The Exploit Database - CXSecurity.com

博客园 - 【当耐特】

freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More

The Hacker News

The Blog of Author Tim Ferriss

Blog — PlanetScale

Privacy International News Feed

Proofpoint News Feed

美团技术团队

Cisco Talos Blog

博客园 - 司徒正美

Stack Overflow Blog

LINUX DO - 热门话题

Simon Willison's Weblog

Help Net Security

Google Online Security Blog

让小产品的独立变现更简单 - ezindie.com

博客园 - marsggbo

LLM agent 为什么不稳？问题可能不在模型，在 harness Meta-Harness：让 LLM 自己搜索最优 harness，模型不动，性能白涨从零理解 ASR：音频基础、Qwen3-ASR 架构，以及离线 vs 流式推理原理 arXiv'26 | LLM Agents 让群体信念变得可编程：当 AI 开始系统性操控舆论巴西「主权大模型」翻车：当模型可以随便融合，怎么证明它偷了你的权重？进阶篇 | 不靠人工设计，让遗传算法自己进化出 SOTA 的 LLM 剪枝指标说人话：一文搞懂现在火热的 LLM agent 自进化原理 ICML'26 | Transformer 真的需要三个投影矩阵吗？Q-K=V 让 KV Cache 直接砍半 UPenn & Meta | NF-CoT：当 LLM 的思维链不再是文字，而是连续概率流 arXiv'26 | 为什么你的多智能体系统越加 agent 越慢？DeLM 用去中心化解了这个矛盾 arXiv'26 | Self-Harness：让 Agent 自己改自己的 harness，pass rate 最高翻倍 Anthropic | 当 AI 开始造自己：递归自我改进离我们有多远？ arXiv'26 | Mirage：把世界模型的 3D 记忆搬进 Latent Space，快 10 倍还省 55 倍显存 arXiv'26 | FlashMemory-DeepSeek-V4：用 13.5% 的显存干 100% 的活，超长上下文推理的 less is more MoE 压缩新思路：别删专家、别合并专家，把它们"重映射"就够了 MoE 变 Dense：剪枝+蒸馏能救内存瓶颈吗？ ReMoE：只动 Router 就让 MoE 推理快 2 倍？这才是端侧 MoE 部署该有的姿势 LLM 时代，还有人搞 AutoML 吗？有，而且变得更难了 arXiv'26 | Frontier：LLM 推理仿真器，端到端误差从 51.7% 降到 2.6% arXiv'26 | ELF：Flow Matching 生成文字，用 10 倍少的数据全面超越主流 Diffusion LM LLMRouterBench：当所有 routing 方法被拉到同一起跑线，结果有些尴尬 LLM Agent Memory 全景拆解：从 RAG 到 KV Cache 到参数写入，100+ 篇工作的方法演进与真实取舍 EuroSys'26 | TokenFlow：让 LLM 流式输出真正「流」起来 AAAI'23 | NAS-LID：用「局部内在维度」给超网做体检，省 86% 显存 ICLR'26 Workshop Spotlight | Lang-PINN：让 LLM 多智能体帮你从自然语言一键搭建物理信息神经网络 KDD'25 | BurstGPT：我们收集了 1031 万条 Azure OpenAI 真实 trace，LLM 推理系统没你想的那么稳 KBS'21 | 我写的 AutoML 综述被引 2700+ 次，今天来聊聊这篇文章的来龙去脉 EuroSys'26 | PARD 提前丢掉注定超时的请求，goodput 最高提升 176% EuroSys'26 | MFS 把整个 model family 融进一套嵌套模型，KVCache 跨 tier 直接共享 EuroSys'26 | LLMFolder 用常量折叠把 FFN 参数砍 80%，精度反超剪枝方法 65% EuroSys'26 | KUNSERVE 把冗余参数副本临时让给 KVCache，P99 TTFT 最快降 72× EuroSys'26 | IBP 用无损 bit 压缩缓解 PCIe 瓶颈，GNN/DLRM/LLM 推理都能用 FAST'26 | SolidAttention 把 SSD 搬进 LLM 推理，笔记本也能跑 128k 上下文 LLM 推理启动慢？华为用一个「可编程 Page Cache」把模型加载砍了 79% 延迟降47%！FineMoE如何用「细粒度」打破MoE推理的显存-延迟死局训练一个「会管技能库」的 AI——SkillOS 让 agent 真正越用越强 MoE 训练通信瓶颈有救了？DySHARP 直接在交换机里做计算，干掉 50% 冗余流量 2026-05-12-2508_06526 把 Dense LLM 变成 MoE 还能推理提速？NeurIPS 2024 Read-ME 做到了说人话理解 EPIC：KV Cache 复用的「编译-链接」范式（附可运行代码复现） KV Cache 也能「语义共享」？SemShareKV 用 LSH 做到了写完 Markdown 还要手动排版？我写了个 VS Code 插件一键搞定微信公众号、知乎、小红书多 Agent 协作不需要说「人话」？LatentMAS 让 LLM 在隐空间里直接协作让不同 LLM 之间共享 KV Cache？DroidSpeak 是怎么做到的 RouteMark: 基于路由行为指纹的模型合并知识产权归属 | A Fingerprint for IP Attribution in Routing-based Model Merging Lang-PINN: 从自然语言到物理信息神经网络的多智能体框架 | From Language to PINNs via a Multi-Agent Framework Ghost in the Cloud: 地理分布式大模型训练的安全隐患 | Your Geo-distributed LLM Training is Easily Manipulated GM-Skip: 基于度量引导的 Transformer 块跳过策略加速视觉语言模型 | Metric-Guided Transformer Block Skipping for Efficient VLMs ExpertFlow: 基于预测性专家缓存与令牌调度的高效MoE推理 | Efficient MoE Inference via Predictive Expert Caching and Token Scheduling AutoHete: 面向大语言模型的自动化高效异构训练系统 | An Automatic and Efficient Heterogeneous Training System for LLMs DAC'26 | ExpertFlow：让 MoE 大模型在单卡上跑起来，内存省 93%、速度快 10 倍 Eurosys26 | FineMoE如何用「细粒度」打破MoE推理的显存-延迟死局 LoRA fine-tune吞吐量提升1.96倍！LoRAFusion如何把内存带宽浪费和pipeline bubble一起干掉 Fast26 | LLM 推理启动慢？华为用一个「可编程 Page Cache」把模型加载砍了 79% KV Cache 的两层存储到底卡在哪？FAST'26 这篇论文给出了答案 NeurIPS24 | 把Dense LLM变身MoE还提速 ICML25 | EPIC：KV Cache 复用的「编译-链接」范式（附可运行代码复现） KV Cache 复用的第三条路：FAST 2026 CacheSlide 是怎么解决 Agent 推理的位置漂移问题的 MoE 推理的内存墙，被一块多芯粒芯片打穿了？ KVCOMM：让多 Agent 系统的 KV Cache 真正“通起来”，TTFT 直接砍掉 7.8 倍 NSDI26 | DroidSpeak让不同 LLM 之间共享 KV Cache TokenDance 解决多 Agent LLM 推理的 KV Cache 冗余问题当 AI 开始学会"记住"：LLM Agent 记忆系统的统一视角【转载】ACM MM 投稿论文模板修改成投稿模式尝试从源头理解 SVD 原理和计算 LLM 场景下的强化学习技术扫盲解决 Overleaf 中插入 PDF 图片失败的问题：排查与修复 Tmux ctrl+B快捷键失效处理办法对抗训练综述学习笔记【转知乎回答】一文看懂 LLaMA 中的旋转式位置编码（Rotary Position Embedding）二进制中为什么负数是正数取反再加一 leetcode 常见题型代码总结 Prompt-Tuning、P-Tuning和Prefix-Tuning区别和代码实现【转】 NSCC集群使用笔记 Huggingface Transformers实现张量并行的小坑 set/get_output_embeddings Pytorch 如何使用 storage 实现参数 offload？ TACC 集群使用笔记图解 vLLM 的推理调度策略大模型推理框架 vLLM 源码解析（二）：Block 模块分配和管理 OpenAI 的视频生成大模型Sora的核心技术详解（一）：Diffusion模型原理和代码详解大模型推理框架 vLLM 源码解析（一）

Deepspeed ZeRO系列算法原理+通信开销详解

marsggbo · 2024-06-26 · via 博客园 - marsggbo

此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。原文来自 — 版权归原作者所有。