如题，近期优秀的大模型层出不穷。作为技术人，需要阅读高质量的AI技术报告或论文，并且掌握未来应用趋势。本文将推荐一些高质量的AI技术报告，以及Agent智能体综述。

大模型技术报告

DeepSeek-V3 Technical Report

作者：DeepSeek

时间：2024.12.27

内容提要：主要介绍了DeepSeek-V3模型，这是一个拥有6710亿参数的专家混合（MoE）语言模型，其中每个token激活370亿参数。通过算法、框架和硬件的协同设计，该模型克服了跨节点MoE训练中的通信瓶颈，实现了近完全的计算-通信重叠，显著提高了训练效率并降低了训练成本。在仅花费266.4万H800 GPU小时的情况下，DeepSeek-V3完成了14.8万亿token的预训练，成为目前最强的开源基础模型。此外，该模型还引入了从DeepSeek-R1系列模型中提取推理能力的创新方法，并在知识、代码、数学和推理等多个基准测试中表现出色，性能与领先的闭源模型相当。

链接：arxiv.org/pdf/2412.19437

DeepSeek_R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning

作者：DeepSeek

时间：2025.01.23

内容提要：R1是近期火爆全网的深度求索模型。文中介绍了DeepSeek-AI团队通过强化学习（RL）开发的第一代推理模型DeepSeek-R1-Zero和DeepSeek-R1，其中DeepSeek-R1-Zero通过纯RL训练展示了强大的推理能力但存在可读性问题，而DeepSeek-R1通过引入冷启动数据和多阶段训练进一步提升了推理性能，达到了与OpenAI-o1-1217相当的水平；文章还展示了通过蒸馏技术将推理能力迁移到小模型上的成功实践，显著提升了小模型的推理表现，并开源了多个模型供研究社区使用，同时探讨了蒸馏与RL的优劣，指出未来研究方向包括提升通用能力、解决语言混合问题及优化软件工程任务性能。

链接：github.com/deepseek-ai/DeepSeek-R1/blob/main/DeepSeek_R1.pdf

DeepSeek MoE: Towards Ultimate Expert Specialization in Mixture-of-Experts Language Models

作者：DeepSeek

时间：2024.01.11

内容提要：详细介绍了DeepSeek-MoE模型的设计，提出细粒度专家分割（Fine-grained Expert Segmentation）和共享专家隔离（Shared Expert Isolation）技术，解决传统MoE模型专家冗余和泛化性不足的问题。 仅用13B激活参数量达到与Llama2 70B相当的性能，训练成本降低80%。

链接：arxiv.org/pdf/2401.06066

Kimi k1.5

作者：Moonshot

时间：2025.01.22

内容提要：Kimi一如既往认为长文本是核心。其中，Kimi k1.5 是一个通过强化学习（RL）训练的多模态大型语言模型（LLM）。Kimi k1.5通过扩展上下文窗口和改进的策略优化方法，在多个基准测试中达到了最先进的推理性能，与OpenAI的o1模型相当。此外，文章还提出了long2short方法，通过长链推理（CoT）技术提升短链推理模型的性能，取得了显著的性能提升。这些方法不仅提高了模型的推理能力，还增强了其在多模态任务中的表现。

链接：github.com/MoonshotAI/Kimi-k1.5/blob/main/Kimi_k1.5.pdf

Extending Context Window of Large Language Models via Semantic Compression

作者：Department of Mathematical Sciences, Tsinghua University, Theory Lab, 2012 Labs, Huawei Technologies

时间：2023.12.15

内容提要：这篇文章提出了一种新颖的语义压缩方法，用于扩展大型语言模型（LLMs）的上下文窗口，使其能够处理比原始模型长6-8倍的文本，而无需对预训练模型进行微调或增加计算成本。该方法通过利用信息论中的源编码概念，使用预训练模型在将输入传递给LLMs之前减少长输入的语义冗余。实验结果表明，这种方法在包括问答、总结、少样本学习和信息检索等多种任务中有效地扩展了LLMs的上下文窗口，并在保持文本生成流畅性的同时减少了计算开销。

链接：arxiv.org/pdf/2312.09571

Reinforcement Learning: An Overview

作者：Kevin P. Murphy

时间：2024.12.09

内容提要：强化学习（Reinforcement Learning, RL）的综述性文章，全面介绍了RL的基本概念、方法、理论基础以及多种扩展应用。文章从序贯决策制定问题的定义出发，详细讨论了部分可观测马尔可夫决策过程（POMDPs）、马尔可夫决策过程（MDPs）、上下文MDPs、上下文bandits等不同类型的模型，并介绍了值函数、策略、模型等不同类型的RL方法。文章还探讨了探索与利用的权衡问题、RL作为后验推断问题的视角、分布强化学习、奖励函数设计、层次强化学习、模仿学习、离线强化学习等重要主题，并讨论了这些方法在实际应用中的挑战和解决方案。此外，文章还涉及了如何利用大型语言模型（LLMs）与RL结合的最新进展，以及RL在实现通用人工智能（AGI）中的潜在作用。

链接：https://arxiv.org/pdf/2412.05265

Agent综述

Agent AI: Surveying the Horizons of Multimodal Interaction

作者：斯坦福大学李飞飞团队

时间：2024.01.25

内容提要：这篇80页的综述系统性地总结了多模态AI智能体的发展，探讨了其在具身交互、跨现实任务中的应用，以及如何结合大语言模型（LLM）和视觉语言模型（VLM）构建更复杂的智能体系统。论文还提出了“无限代理”概念，支持跨物理和虚拟环境的多模态生成与编辑。

链接：arxiv.org/pdf/2401.03568

Google Whiterpaper Agents2

作者：Google

时间：2024.09

内容提要：Google 出品的 Agents白皮书。详细介绍了AI代理的核心架构，包括模型层（Model Layer）、工具层（Tool Layer） 和 编排层（Orchestration Layer），并探讨了其与传统语言模型的区别、学习能力、实际应用以及未来发展，旨在推动AI代理在各领域的广泛应用。

链接：drive.google.com/file/d/1oEjiRCTbd54aSdB_eEe3UShxLBWK9xkt/view

参考实现：github.com/alibaba/spring-ai-alibaba/