惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

T
Tor Project blog
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
T
Threatpost
T
Troy Hunt's Blog
O
OpenAI News
S
Securelist
cs.CV updates on arXiv.org
cs.CV updates on arXiv.org
P
Proofpoint News Feed
S
Secure Thoughts
Martin Fowler
Martin Fowler
H
Hacker News: Front Page
博客园_首页
Security Latest
Security Latest
Cyberwarzone
Cyberwarzone
阮一峰的网络日志
阮一峰的网络日志
L
LINUX DO - 热门话题
V2EX - 技术
V2EX - 技术
W
WeLiveSecurity
雷峰网
雷峰网
博客园 - Franky
C
Cyber Attacks, Cyber Crime and Cyber Security
Jina AI
Jina AI
S
Security @ Cisco Blogs
Apple Machine Learning Research
Apple Machine Learning Research
S
Security Affairs
Scott Helme
Scott Helme
T
The Exploit Database - CXSecurity.com
博客园 - 三生石上(FineUI控件)
P
Privacy & Cybersecurity Law Blog
罗磊的独立博客
G
Google Developers Blog
L
Lohrmann on Cybersecurity
量子位
The GitHub Blog
The GitHub Blog
V
Vulnerabilities – Threatpost
大猫的无限游戏
大猫的无限游戏
T
Threat Research - Cisco Blogs
K
Kaspersky official blog
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
Webroot Blog
Webroot Blog
F
Fortinet All Blogs
CTFtime.org: upcoming CTF events
CTFtime.org: upcoming CTF events
小众软件
小众软件
cs.CL updates on arXiv.org
cs.CL updates on arXiv.org
GbyAI
GbyAI
PCI Perspectives
PCI Perspectives
N
News | PayPal Newsroom
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
Spread Privacy
Spread Privacy
有赞技术团队
有赞技术团队

博客园_首页

Plist 二进制格式 Milvus 和 PGVector,哪个更好? OpenClaw 已过时?在 VS Code 中运行 Hermes Agent! 第30篇文章:一个大三计科生的自白 Manim如何在数学公式中完美显示中文? Docker 部署 RocketMQ 5 并发编程核心概念辨析 C#事务处理最佳实践:别再让“主表存了、明细丢了”的破事发生 CLI 是什么?为什么大厂突然集体卷命令行? 【从0到1构建一个ClaudeAgent】协作-自主Agent UIImageView 设置图片不生效的原因排查 最小二乘问题详解20:无先验约束下的增量式SFM自由网平差 痞子衡嵌入式:大话双核i.MXRT1180之XIP应用里借助MU实现可靠Flash IAP的方法 AI Chat 封装, SemanticKerne.AiProvider.Unified 已发布 Windows下右键编辑js文件无法打开记事本——在注册表中使用环境变量 在后台服务中使用 Scoped 服务,为什么总是报错? H200 安装驱动并使用sglang启动模型 wireshark 抓包Trap上报告警内容 我用 AI 辅助开发了一系列小工具(2):图片压缩工具 [A Primer On MC and CC] 2.1 Memory Consistency 1 - 指令重排序和 SC 模型 Oracle数据库SCN推进技术详解与实践指南 玩转控件:封装个带图片的Label控件 Claude Code 4.7 真正该升级的不是模型,而是你的工作流 前端小白一句话,AI 帮我做了个颜值拉满的桌面媒体播放器。当代码不再是门槛,一句话编程就是现实。 5. WorkBuddy: 小龙虾的灵魂三件套,让你的小龙虾不只是工具 SQLite 分片方案实战:三种分片策略的深度对比 告别简陋 UI!一款基于 Fluent Design 和基于 WinUI 的开源免费、现代化的 Avalonia UI 控件库 关于二进制排列组合枚举的总结 AI开发-python-LangGraph框架(3-27-LangGraph从零实现大模型智能决策工作流) ElasticSearch主分片和副本分片概念详解 【002】HTTPS 粗解:证书、TLS 握手与对后端配置的影响 Hermes Agent 一周暴涨五万 Star,但我劝你别急着追 明明连接的是Redis的DB0,为什么能查到DB3的数据? 【从0到1构建一个ClaudeAgent】协作-Agent团队 熟悉电子元器件之后,电子小白下一步该怎么走? MAF快速入门(23)通过C#类定义Skills .NET 高级开发 | 手写一个对象映射框架 FastAPI数据库ORM怎么选?我肝了三个Demo后,终于不再纠结了 mysqldump 参数拾遗:在遗忘与铭记之间 C# .NET 周刊|2026年3月5期 Claude code入门 - 陈彦斌 一文学习入门 ThingsBoard 开源物联网平台 GitHub 热门项目 | 2026年04月16日 如何为GIT设置全局勾子,为每次提交追加信息 Number.isFinite和isFinite与isNaN()和Number.isNaN的区别 PortSwigger SQL注入LAB2 推荐一个测试人必备的Skills,从功能到性能全搞定(附详细实操和安装下载方式) 筑基期:掌握Odoo基础核心知识点02(Odoo XML 开发方式详解) GLM模型这么火,咱们用vllm也咧一个呗! 深入理解 AbortController:从底层原理到跨语言设计哲学 字符串学习笔记 多租户系统框架的基础模块设计和分析设计 Apache SeaTunnel Zeta 为什么能做到“又快又稳”? AI开发-python-LangGraph框架(3-26-LangGraph基本概念及第一个简单样例) Vue 3 组件通信,别只会用 Props 和 Emits 了,这几个狠活儿你得看看 ElasticSearch7.X版本配置密码 用Manim实现动态交点计算--从一个动点问题说起 团结引擎+Addressable+Instant Game打包抖音小游戏 function call 实战:让 LLM 自动判断 pod 异常、调用日志工具并完成故障分析 bubseek —— 让 Agent 的足迹,变成团队的洞察 通过 C# 读取并导出 PDF 书签 如何用 GitHub Actions 实现 Steam 自动化发布 【从0到1构建一个ClaudeAgent】并发-后台任务 .NET 高级开发 | 定制 ASP.NET Core 框架 电子小白:什么是运算放大器(运放) zero2Agent:面向大厂面试的 Agent 工程教程,从概念到生产的完整学习路线 堆上的ORW HC32F460 USB CDC通信异常:非对齐访问异常排查 20260413-Hyperbridge 攻击事件:发生在默克尔山上的验证绕过 那些喊着AI 要淘汰你的人,正在靠你的焦虑赚大钱! 深度学习进阶(八)Swin Transformer 最小二乘问题详解19:带先验约束的增量式SFM优化与实现 SnapTranslate 3.0 正式发布:全局划词翻译 + 完整英语学习闭环,一站式搞定查词、记词、复习 工作的意义、工作的困难认知再思考 .NET + AI 进阶实战:基于类的技能开发 - 打造可治理的 Agent 能力模块 【从0到1构建一个ClaudeAgent】规划与协调-技能 上周热点回顾(4.6-4.12) 电子小白的工具三件套:面包板、杜邦线、万能板 单表五亿数据的查询优化 | Mysql、StarRocks 2. WorkBuddy:从“我是谁”到“帮我干活” C# 如何减少代码运行时间:7 个实战技巧 基于HelixToolkit.SharpDX 渲染3D模型 - 笺上知微 从零开始的双臂具身VLA起源及现阶段发展综述 - SkyXZ 记对 xonsh shell 的使用, 脚本编写, 迁移及调优 - pluvium27 受够了Vibe Coding的失控?换个起点,让AI事半功倍 从开始配置漏洞环境到漏洞复现流程 - 難しい 关于10年工作经验的程序员对OpenClaw的实战经验分享以及看法 - 虚无境 Any metadata 的内存布局 C# .NET 周刊|2026年3月2期 - InCerry 我帮你测过了,测试圈排名第二的 Skill 依然很牛逼 Skill Discovery | 无监督技能发现的经典工作总结 - MoonOut 上下文工程是什么?过时了么?一文讲明白! - 一枫说码 开了 TUN 模式还是直连?90% 的人都踩过这个坑 AScript扩展多种脚本语言 - rockey627 AI 学习笔记:Agent 的记忆机制 你能被装进一个文件里吗?——7 万人把同事"蒸馏"成了 AI - 我没有三颗心脏 Claude Code 通关手册(七):给 AI 装上技能包——Skills 完全指南 - 暮色之狐 在浏览器中快速编辑代码:VSCode Web 集成实践 - Newbe36524 蒸馏自己 skill?基于 Deepseek 的蒸馏器,丐版蒸馏方式,简单便捷 - To_Carpe_Diem Spring AI Aliababa和AgentScope,哪个更好? - 苏三说技术
FastAPI 文件上传避坑全指南:分块存盘、类型校验与安全兜底
一名程序媛呀 · 2026-04-27 · via 博客园_首页

你有没有遇到过这种情况:
用 FastAPI 写个文件上传接口,本地跑得好好的,一发到线上就各种 422413,要不就是大文件一传内存直接爆炸?

今天咱们就来把这些坑一个个填平,聊聊 FastAPI 里表单和文件上传那些事儿,让你上线的时候心里有底。

📦 这篇文章能帮你解决什么?

- 普通表单字段怎么接, Form(...) 的正确打开方式

- 单文件和多文件上传的实战写法,以及异步读取的坑

- 文件大小限制怎么做才安全

- 小文件与大文件在内存处理上的本质区别,什么时候该落盘

🧩 第一部分:先搞懂表单数据怎么接

好,咱们先来最简单的场景。前端提交一个普通登录表单,用户名和密码。
很多人一上来就用 Form(...) ,但不知道为什么非要用它,不用行不行?

你可能会问:FastAPI 不是自己就能解析 JSON 吗?
对啊,但表单数据是 application/x-www-form-urlencodedmultipart/form-data ,不是 JSON。
你得明确告诉 FastAPI:这个字段从表单里拿,不是从路径参数或查询字符串里来。

from fastapi import FastAPI, Form

app = FastAPI()

@app.post("/login")
async def login(
    username: str = Form(...),
    password: str = Form(...)
):
    return {"user": username}

注意那个 Form(...) 里的三个点,代表必填。如果你想给默认值,就直接 Form("guest")

可别偷懒用 Optional None 又不设 Form 默认值,如果前端不传这个字段,直接 422,又要排查半天。

📁 第二部分:单文件上传,不止 UploadFile 那么简单

接下来重点来了,文件上传。

FastAPI 给了咱们 UploadFile ,这货比 Starlette 原生的 UploadFile 好用不少,自带异步接口。

from fastapi import FastAPI, UploadFile, File

@app.post("/upload")
async def upload_file(file: UploadFile = File(...)):
    contents = await file.read()
    return {"filename": file.filename, "size": len(contents)}

这里有个超容易翻车的点:就是 await file.read() 会把整个文件内容读进内存。
你要是传个几百兆的文件,内存当场就飙上去了。所以对于小文件(比如头像),这么做没问题,但要是一视同仁,没作区别判断,大文件这么来一下,那就是给服务器埋雷了。

再说个我踩过的坑:那就是文件读一次就没了。
你如果先 await file.read() 一次,再想读第二次时,你就拿不到东西了。要想复用,得先把内容存到变量里。

📚 第三部分:多文件上传,List 写法最省心

前端需要一次传多张图?直接把参数类型设置为 List[UploadFile] 就行,别自己手写循环拼装,那纯粹是给自己找活干。

from typing import List
from fastapi import FastAPI, UploadFile, File

@app.post("/upload-multiple")
async def upload_files(files: List[UploadFile] = File(...)):
    for file in files:
        content = await file.read()
        # 依次处理每个文件
    return {"uploaded": [f.filename for f in files]}

是不是以为这样就完了?还没完。

多文件上传时,如果某个文件出错,前面成功的文件要不要回滚?
怎么给前端返回精确的“第三个文件格式不对”这种错误?

这些都需要业务层自己设计好,FastAPI 只负责把文件对象给你。

🛡️ 第四部分:文件大小限制与安全性,别等出事了再想

官方文档里的确提到可以基于 request.headers 里的 Content-Length 做大小判断,但根据以往的经验,别完全依赖它。
客户端完全可以伪造这个头部,或者分块传输编码根本没有这个字段。

真正靠谱的做法是:

- 在网关层(Nginx)先限制一波 client_max_body_size

- 在 FastAPI 应用里通过中间件或依赖,对已上传大小做累计检查

- 读文件时别一次性全读,用 file.read(size) 分块读,边读边写磁盘

咱直接看代码。分块存盘的核心思路就一句话:别一口吃成胖子,拿个小碗,一勺一勺舀到磁盘里。

我习惯用 aiofiles 这个库来做异步文件写入,避免阻塞事件循环。先装一下:

uv add aiofiles

然后上代码,假设我们要把上传的文件分块存到服务器本地:

import os
import aiofiles
from fastapi import FastAPI, UploadFile, File, HTTPException

app = FastAPI()

CHUNK_SIZE = 1024 * 1024  # 每次读 1MB,根据服务器内存调

@app.post("/upload-chunked")
async def upload_chunked(file: UploadFile = File(...)):
    # 生成一个安全的目标路径,这里简单用原文件名,生产环境务必改成 UUID
    save_path = os.path.join("/tmp/uploads", file.filename)
    os.makedirs(os.path.dirname(save_path), exist_ok=True)

    try:
        # 用 aiofiles 以异步写方式打开目标文件
        async with aiofiles.open(save_path, 'wb') as out_file:
            # 读第一块
            chunk = await file.read(CHUNK_SIZE)
            while chunk:
                await out_file.write(chunk)
                chunk = await file.read(CHUNK_SIZE)
    except Exception as e:
        # 出错了要清理掉不完整的文件,别留垃圾
        if os.path.exists(save_path):
            os.remove(save_path)
        raise HTTPException(status_code=500, detail=f"File save failed: {e}")

    return {
        "filename": file.filename,
        "saved_path": save_path
    }

🎯 几个必须划重点的细节:

  • CHUNK_SIZE 别设太大也别太小。设 1MB 或 2MB 是个比较稳妥的值,太大跟一次读完没区别,太小了磁盘 I/O 频繁反而慢。这是我实测过几次后的经验值。

  • 一定要异步写。如果你用同步的 open() 加 write(),FastAPI 的主线程会被堵住,并发直接就跪了。aiofiles 让整个过程保持在异步上下文里。

  • while chunk: 这个循环会一直跑到读不到数据为止,这正是我们想要的“流式读取”。文件再大,内存里永远只保留当前这一小块。

  • 异常处理里的清理 绝对不能省。上次我就偷懒没删残废文件,结果 /tmp 塞满了几十个写到一半的垃圾,排查了半天才发现。

  • 真实项目中,save_path 记得用 uuid 重命名,别直接用 file.filename,防止路径穿越攻击。

如果你想在存盘的同时做一下大小限制检查,可以在循环里累加一个 total_size,一旦超过阈值就终止并抛异常:

MAX_SIZE = 50 * 1024 * 1024  # 50MB
total_size = 0
chunk = await file.read(CHUNK_SIZE)
while chunk:
    total_size += len(chunk)
    if total_size > MAX_SIZE:
        # 注意:此时 out_file 已经写了一些数据,需要清理
        await out_file.close()
        os.remove(save_path)
        raise HTTPException(status_code=413, detail="File too large")
    await out_file.write(chunk)
    chunk = await file.read(CHUNK_SIZE)

这样,不管多大的文件过来,你的内存都稳如老狗,磁盘也不会被撑爆。

最后啰嗦一句:上传文件一定要校验类型。
别光看扩展名,用 python-magicfiletype 库去读文件头,那种把 .exe 改成 .jpg 传上来的坏心思不能不防。

filetype 纯 Python 实现,不需要系统依赖,更轻量,咱就用它。uv add filetype安装一下即可!
这里单独抽一个校验函数,方便在接口里调用:

import filetype

# 只允许这些类型的图片上传
ALLOWED_MIME = {"image/jpeg", "image/png", "image/webp"}
# 文件头最少读这么多个字节就够判断了
MAGIC_BYTES_LEN = 261

def validate_file_type(file: UploadFile, allowed_mimes: set):
    """
    读文件头部魔数来判断真实类型。
    这里先只读头部,不消耗整个文件,后面还能接着 read。
    """
    # 保证读取指针在开头,不然拿不到正确头部
    file.file.seek(0)
    head = file.file.read(MAGIC_BYTES_LEN)
    # 读完头记得把指针复位,否则后续分块读或存盘读不到完整内容
    file.file.seek(0)

    kind = filetype.guess(head)
    if kind is None:
        raise HTTPException(
            status_code=400,
            detail=f"无法识别文件类型,文件头部不是已知格式"
        )
    if kind.mime not in allowed_mimes:
        raise HTTPException(
            status_code=400,
            detail=f"不支持的文件类型: {kind.mime},只允许: {', '.join(allowed_mimes)}"
        )
    return kind

@app.post("/upload-safe")
async def upload_safe(file: UploadFile = File(...)):
    # 先校验类型,不通过直接拒绝,不会在磁盘落任何东西
    validate_file_type(file, ALLOWED_MIME)

    # 下面才开始真正的存盘逻辑……
    # (这里接你分块存盘或直接 read 的代码)
    contents = await file.read()
    return {"filename": file.filename, "size": len(contents)}

🎯 这个实现里也藏着几个容易翻车的小细节:

  • file.file.seek(0) 这步 绝对不能漏UploadFile.file 是一个类文件对象,读了头部后指针就偏移了,不复位的话,后续读文件会缺前面这一截,导致存下来的文件损坏。这个坑我当初排查到凌晨三点。

  • MAGIC_BYTES_LEN 我习惯设 261 字节,足以覆盖绝大多数格式的文件头。但像 Office 2007 那种 zip 包裹格式,判断会稍微复杂,一般业务用场景够用了。

  • 校验时机选在 存盘动作之前,这样可以第一时间拒绝恶意文件,避免无效 I/O 和潜在的安全风险。

  • filetype.guess() 通过文件头魔数判断,.exe 改成 .jpg 会被揪出来,这是扩展名和 MIME 欺骗搞不定的。但这种判断不是 100% 防得住所有伪装,有条件再加一层病毒扫描是更安全的。

🧠 第五部分:内存缓存 vs 硬盘暂存,怎么选?

这个问题的本质其实是个取舍。对于头像、缩略图这种大概率不到 1MB 的文件,你完全可以 await file.read() 后直接丢对象存储,速度快代码也清爽。

但对于用户上传的附件、视频这类可能很大的文件,就得用 分块读取 + 临时文件流 的模式。
Starlette 的 UploadFile 有个属性叫 file ,它底层是 tempfile.SpooledTemporaryFile ,小文件就在内存里,超过一定阈值自动落盘。
但这个阈值默认是 1MB,你可以根据自己服务器内存情况调一下。

我的选择就简单粗暴:只要不是确定要转存的临时数据,一律流式写硬盘,免得到时候 OOM 了再后悔。


🎯 一句话总结:用 Form 接表单,用 UploadFile 接文件,用 List 处理多文件,小文件图方便,大文件走流式落盘,层层设限兜底安全。

这篇文章里每一个注意点,几乎都是反复Debug排障后换来的。如果你看完觉得有用,记得收藏一下,免得下次写文件上传接口的时候又掉进同一个坑里。
顺便点个赞,加个关注,让我知道这样的经验总结对你有帮助,以后我就有动力继续把其他的踩坑经历都倒出来。

有什么别的问题,或者你也有更巧妙的方法,直接在后台留言,咱们一起聊聊。毕竟,天下码农是一家,坑不踩过怎么长大呢? 😉