市面上的 AI 教程大多教你调 API。你学会了调 ChatGPT 的接口，却说不清 Attention 到底在算什么。你跟着教程跑通了 RAG，但让你解释 loss 曲线为什么震荡，你卡住了。

AI Engineering from Scratch 解决的正是这个断层。435 节课、20 个阶段、约 320 小时，从线性代数一路走到自主 Agent 系统。每个算法先用纯数学手写一遍，再用 PyTorch 重写一遍。免费、开源、MIT 协议。

上线两个月，GitHub 突破 11,000 star。

这篇文章涵盖什么

• 这个项目是什么、设计哲学
• 20 个阶段的课程结构
• 每节课的统一教学模式
• 每节课都会产出可复用的工具
• 谁适合学、怎么开始

设计哲学：先造轮子，再用轮子

项目的核心理念写在 README 里：

You don't just learn AI. You build it. End-to-end. By hand.

具体来说，每个算法都遵循「Build It / Use It」双轨模式：

1. Build It — 用纯 Python（有时是 Julia 或 Rust），不依赖任何框架，从数学推导写出完整实现
2. Use It — 用 PyTorch、scikit-learn 等生产级框架重写同一个算法

当你用 PyTorch 的时候，你已经知道它在底层做了什么。

这不是看五分钟视频然后复制粘贴部署。每一课都要：读问题 → 推导数学 → 写代码 → 跑测试 → 保留产出物。

20 个阶段的课程地图

课程严格按依赖关系堆叠。数学是地基，Agent 和生产是屋顶。可以跳过你已经掌握的阶段，但不要跳了又抱怨上面的内容看不懂。

Phase 0 — Setup & Tooling          → 环境搭建
Phase 1 — Math Foundations         → 线性代数、微积分、概率论、优化
Phase 2 — ML Fundamentals          → 经典机器学习（回归、SVM、集成方法）
Phase 3 — Deep Learning Core       → 神经网络（感知机到反向传播到自建 mini 框架）
Phase 4 — Computer Vision          → CNN、YOLO、Stable Diffusion、ViT、NeRF
Phase 5 — NLP                      → 分词、Word2Vec、注意力、机器翻译
Phase 6 — Speech & Audio           → 语音识别、TTS、音频生成
Phase 7 — Transformers Deep Dive   → 自注意力、多头注意力、位置编码、MoE
Phase 8 — Generative AI            → GAN、VAE、扩散模型、Flow Matching
Phase 9 — Reinforcement Learning   → Q-Learning、PPO、RLHF
Phase 10 — LLMs from Scratch       → 分词器、预训练、SFT、DPO、量化、推理优化
Phase 11 — LLM Engineering         → Prompt Engineering、RAG、LoRA、MCP
Phase 12 — Multimodal AI           → CLIP、LLaVA、视频理解、多模态 RAG
Phase 13 — Tools & Protocols       → Function Calling、MCP 协议、A2A、可观测性
Phase 14 — Agent Engineering       → Agent Loop、记忆、规划、框架、生产部署（42 节课）
Phase 15 — Autonomous Systems      → 长周期 Agent、自我改进、安全栈
Phase 16 — Multi-Agent & Swarms    → 多 Agent 协作、群体智能
Phase 17 — Infrastructure          → 生产基础设施
Phase 18 — Ethics & Alignment      → AI 伦理与对齐
Phase 19 — Capstone Projects       → 毕业项目

几个值得注意的亮点：

• Phase 7（Transformers）：从零手写 Self-Attention、Multi-Head Attention、RoPE 位置编码，最后完整搭一个 Transformer
• Phase 10（LLMs from Scratch）：手写 BPE 分词器、预训练 124M 参数的 GPT、实现 RLHF 和 DPO、量化和推理优化，还覆盖了 DeepSeek-V3 架构和 DualPipe 并行
• Phase 13（Tools & Protocols）：23 节课深入 MCP 协议，从基础到安全（OAuth 2.1）到生产部署，还有 A2A 协议
• Phase 14（Agent Engineering）：整个课程最重的阶段，42 节课，从 ReAct Loop 到 Agent Workbench，覆盖 LangGraph、AutoGen、CrewAI、OpenAI Agents SDK、Claude Agent SDK 等所有主流框架

四种编程语言

不是每种语言都到处用，而是用在最合适的场景。

每节课的结构

每节课都有自己的文件夹，结构完全一致：

phases/<NN>-<phase-name>/<NN>-<lesson-name>/
├── code/      可运行的实现代码
├── docs/
│   └── en.md  课程讲解文档
└── outputs/   本节课的产出物

每节课六个环节：

1. MOTTO — 一句话核心思想
2. PROBLEM — 具体的痛点问题
3. CONCEPT — 图解和直觉理解
4. BUILD IT — 纯数学推导，不用框架
5. USE IT — 用 PyTorch/sklearn 跑同样的东西
6. SHIP IT — 产出一个可复用的工具

每节课都会产出可复用的工具

这是这个项目和其他教程最大的区别。别的课程以「恭喜你学会了 X」结尾，这门课以「你现在拥有了一个可以日常使用的工具」结尾。

四种产出物：

Prompts — 粘贴到任何 AI 助手中，获得针对特定任务的专业级帮助

Skills — 可以安装到 Claude、Cursor、Codex、Hermes 等支持 SkillKit 的 Agent 中

Agents — 自主工作者，你在 Phase 14 自己写了它的循环逻辑

MCP Servers — 插入任何 MCP 兼容客户端，Phase 13 从头到尾手写

举个例子，Phase 14 第 1 课「Agent Loop」：

def run(query, tools):
    history = [user(query)]
    for step in range(MAX_STEPS):
        msg = llm(history)
        if msg.tool_calls:
            for call in msg.tool_calls:
                result = tools[call.name](**call.args)
                history.append(tool_result(call.id, result))
            continue
        return msg.content
    raise StepLimitExceeded

约 120 行纯 Python，零依赖。产出一个 skill-agent-loop.md（可安装的 Skill）和一个 prompt-debug-agent.md（调试 Agent 的 Prompt）。

学完全部 435 节课，你手里有 435 个你亲手构建、完全理解的工具。

怎么开始

三种方式：

方式 A — 在线阅读。 打开 aiengineeringfromscratch.com，任何已完成的课程可以直接看，不需要克隆仓库。

方式 B — 克隆运行。

git clone https://github.com/rohitg00/ai-engineering-from-scratch.git
cd ai-engineering-from-scratch
python phases/01-math-foundations/01-linear-algebra-intuition/code/vectors.py

方式 C — 定制你的路径（推荐）。 如果你不是零基础，项目内置了 SkillKit 技能，在任何支持的 Agent 中运行：

十个问题，评估你的知识水平，映射到合适的起始阶段，生成个性化学习路径和预估时间。每完成一个阶段后：

/check-understanding 3        # 测验你对 Phase 3 的掌握程度

谁适合学

• 想真正理解 AI 的开发者 — 不满足于调 API，想知道底层的数学和工程细节
• 转 AI 方向的工程师 — 有编程基础（任何语言），需要系统性的知识体系
• AI 应用开发者 — 已经在用 LLM 但对 Transformer、RLHF、量化这些概念一知半解
• 面试准备者 — AI 岗位面试越来越看重底层理解，这门课覆盖了大部分考点

唯一的前置要求：你能写代码，你想理解 AI 到底是怎么运作的。

和其他学习资源的对比

这不是一门速成课。320 小时的完整路径，相当于一个学期的课程量。但你换来的不是「我用过 PyTorch」，而是「我知道 PyTorch 在做什么」。

值得关注的阶段细节

Phase 10（LLMs from Scratch） 是这门课的精华之一，22 节课覆盖了构建 LLM 的完整链路：

• 手写 BPE/WordPiece/SentencePiece 分词器
• 预训练 124M 参数的 Mini GPT
• 分布式训练（FSDP、DeepSpeed）
• SFT 指令微调 → RLHF → DPO 对齐
• 量化（INT8、GPTQ、AWQ、GGUF）
• 推理优化（KV Cache、Flash Attention、Speculative Decoding）
• DeepSeek-V3 架构解析、MoE、DualPipe 并行

Phase 14（Agent Engineering） 则是目前市面上最全面的 Agent 课程，42 节课覆盖：

• ReAct / ReWOO / Plan-and-Execute / Tree of Thoughts 等核心模式
• 记忆系统（MemGPT、Mem0、Sleep-Time Compute）
• LangGraph / AutoGen / CrewAI / OpenAI Agents SDK / Claude Agent SDK
• Computer Use Agent / Voice Agent
• Agent 安全（Prompt Injection 防御）
• Agent Workbench（从 31 课开始的 12 节连续实战）

作者: itech001
来源: 公众号：AI人工智能时代
网站: https://www.theaiera.cn/
每日分享最前沿的AI新闻资讯和技术研究。

本文首发于 AI人工智能时代，转载请注明出处。