惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

Attack and Defense Labs
Attack and Defense Labs
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
The Hacker News
The Hacker News
C
Cyber Attacks, Cyber Crime and Cyber Security
A
Arctic Wolf
Recent Commits to openclaw:main
Recent Commits to openclaw:main
T
Troy Hunt's Blog
小众软件
小众软件
L
LangChain Blog
Schneier on Security
Schneier on Security
D
DataBreaches.Net
爱范儿
爱范儿
P
Proofpoint News Feed
博客园 - 聂微东
M
MIT News - Artificial intelligence
Hacker News: Ask HN
Hacker News: Ask HN
T
Tailwind CSS Blog
Vercel News
Vercel News
V
Visual Studio Blog
aimingoo的专栏
aimingoo的专栏
云风的 BLOG
云风的 BLOG
Jina AI
Jina AI
阮一峰的网络日志
阮一峰的网络日志
博客园 - 【当耐特】
博客园 - 三生石上(FineUI控件)
雷峰网
雷峰网
T
Threat Research - Cisco Blogs
Simon Willison's Weblog
Simon Willison's Weblog
月光博客
月光博客
Spread Privacy
Spread Privacy
C
Cisco Blogs
S
Securelist
量子位
S
Security @ Cisco Blogs
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
T
Tenable Blog
WordPress大学
WordPress大学
T
The Exploit Database - CXSecurity.com
宝玉的分享
宝玉的分享
C
Cybersecurity and Infrastructure Security Agency CISA
Exploit-DB.com RSS Feed
Exploit-DB.com RSS Feed
MongoDB | Blog
MongoDB | Blog
C
CERT Recently Published Vulnerability Notes
Help Net Security
Help Net Security
酷 壳 – CoolShell
酷 壳 – CoolShell
博客园 - 司徒正美
B
Blog RSS Feed
博客园_首页
Security Archives - TechRepublic
Security Archives - TechRepublic
cs.AI updates on arXiv.org
cs.AI updates on arXiv.org

人人都是产品经理

为什么你的产品找不到差异化?90%的失败都卡在第一步上(下) – 人人都是产品经理, 3年从30万到1300万用户、获2200万美元融资,这个AI教育产品用“抽卡”破解了获客难题 – 人人都是产品经理, 园区招商系统怎么做才能真正帮到去化?我加了这一个功能,推广链接转发400次阅读过万 – 人人都是产品经理, AI大事件:OpenAI发完网络安全模型又搞药物研发,小鹏汽车要抓”DeepSeek时刻” – 人人都是产品经理, 电商不是卖货,是一场更残酷的产品经理实战 – 人人都是产品经理, 没想到,活动营销又回来了! – 人人都是产品经理, 为何All-in海外KOC:一场关于AI时代窗口期的豪赌 – 人人都是产品经理, 重新理解企业的内部协作 – 人人都是产品经理, 苹果的 AI 战略到底是什么? – 人人都是产品经理, 医疗智能体·第2讲——合规护城河:等保、PIPL与HIPAA的架构实战 – 人人都是产品经理, 向量知识库五步法:从“答非所问”到“精准回复” – 人人都是产品经理, 鸿蒙PC三方库构建总指挥HPKBUILD(sha)库为例 – 人人都是产品经理, 何时该用LLM?AI产品经理的LLM设计指南 – 人人都是产品经理, 医疗信息领域的需求方、决策方、准入方以及关注点(二) – 人人都是产品经理, 即梦涨价:一场被误读的「傲慢」 – 人人都是产品经理, 面试AI PM必答题:Hermes和OpenClaw的区别,如何讲清楚业务价值 – 人人都是产品经理, AI的下一张船票:世界模型——AI产品经理必须理解的技术拐点 – 人人都是产品经理, 小红书做GEO,怎么让AI信你?记住这 3 个重要信息 – 人人都是产品经理, 5 家印度 AI 初创公司,看看印度 AI 再做什么 – 人人都是产品经理, AI项目跨团队协作:产品技术业务如何不打架 – 人人都是产品经理, Agentic Workflow(智能体工作流):让AI从”答案生成器”变成”数字员工” – 人人都是产品经理, lycium_plusplus 项目全景解读:OpenHarmony 三方库构建的“大管家” – 人人都是产品经理, 从爆单救火到前置履约:两套预采策略,把生鲜大促履约效率拉满 – 人人都是产品经理, 什么时候该补货?我用一轮数据做了一个决定 – 人人都是产品经理, 从“机械兜底”到“动态分流”:AI客服重复进线治理的4大底层逻辑 – 人人都是产品经理, 抖音拼效率,红书拼洞察 – 人人都是产品经理, 全民狂欢与退潮——为什么龙虾这波热潮冷却得如此之快? – 人人都是产品经理, Stripe押注!MPP重塑全球支付 – 人人都是产品经理, 小红书GEO:AI引用你的内容,不是因为你对,而是因为你看起来可信 – 人人都是产品经理, 前百度副总裁押注办公Agent,日韩付费爆发,Manus迎来强劲对手 – 人人都是产品经理, 企事业单位数字化的业务供需本质 – 人人都是产品经理, 医疗智能体·第1讲——医疗信息化重构:从“辅助软件”到“自主智能体”的范式转移 – 人人都是产品经理, 粉丝量就是空气!!! – 人人都是产品经理, 用户说“薯片碎了”,机器回“要买吗?”:意图识别的翻车与破局 – 人人都是产品经理, RAG召回准确率从75到90 我做对了这三件事 – 人人都是产品经理, AI大事件:Anthropic改收费、OpenAI发安全版、手术机器人纳入医保、阿里发布”秒悟” – 人人都是产品经理, Chrome 推出 Skills 新功能,Agent 重塑上网方式 – 人人都是产品经理, GitHub前创始人拿了a16z的1700万美元,做Agent时代的Git – 人人都是产品经理 拷贝或克隆其他 Flutter OH 项目到本地后无法运行 – 人人都是产品经理, 优惠券设计:优惠券创建 – 人人都是产品经理, 不用死磕文档!AI 助手 1 小时搞定飞书 CLI 安装 + 配置 + 知识库 – 人人都是产品经理, 用小龙虾做竞品分析报告:从2天到20分钟,我是怎么做到的 – 人人都是产品经理 用小龙虾做市场分析报告:搞懂这3个公式,市场规模不再靠猜 – 人人都是产品经理, 你早就在做 Harness 工程,只是不知道它叫这个名字 – 人人都是产品经理, Think Long就够?你可能想多了! – 人人都是产品经理, 货代SRM实战:供应商准入怎么做,才能让资源池不是通讯录而是可交付网络? – 人人都是产品经理, 如何做好用户调研?详解基本技巧 – 人人都是产品经理, 木鸟、途家、美团对打,平台春天行动开“卷” – 人人都是产品经理, 入职才发现公司不靠谱?小红书从业者求职避坑指南 – 人人都是产品经理, 美国 AI 三巨头联手封堵,中国 AI 突围之路在何方 – 人人都是产品经理, 小红书,放在需求对面的镜子 – 人人都是产品经理, AI 会带来大规模失业吗? – 人人都是产品经理, 从出单到补货前,我第一次犹豫:该不该放大? – 人人都是产品经理, Flutter 三方库鸿蒙化适配:5 种高效检查方式,快速判断是否需要适配 – 人人都是产品经理, 从做产品进阶拿结果:医美机构产品经理转岗科室运营经理 – 人人都是产品经理, 阿里HappyHorse,一场关于“Token经济”的阳谋 – 人人都是产品经理, To B AI:客户留存落地的观察与思考 – 人人都是产品经理, AI产品的“生命线”——数据采集、标注、清洗的产品化设计 – 人人都是产品经理, 谈谈AI Agent(二):当“孩子”能自己“体验世界”时,你该学什么? – 人人都是产品经理, UI/UX设计师的3层能力进阶,前两层让你活下来,第三层…才是真正的分水岭 – 人人都是产品经理, 2分钟 → 30秒,效率提升75%:B端产品经理如何用「规则枷锁」驯服AI幻觉? – 人人都是产品经理, 还没来得及学OpenClaw,来了个更猛的:Hermes Agent – 人人都是产品经理, AI日报:宇树机器人跑出10m/s刷新世界纪录 – 人人都是产品经理, 一文说透基金互金如何用情绪价值引导用户决策做转化 – 人人都是产品经理, 当浏览器开始替你”看”网页:AI 浏览器正在亲手拆掉它脚下的那张网 – 人人都是产品经理, 0代码,一天时间我Vibe Coding了个网站 – 人人都是产品经理, Hermes 和 OpenClaw 之争,Agent 的能力应该“装上去”还是“长出来”? – 人人都是产品经理 视频生成的“桌子”,字节Seedance 2掀完,阿里快乐马掀 – 人人都是产品经理, 从听不懂到完全信任:我的 Codex 深度产品体验 – 人人都是产品经理, 当虚拟偶像有了北京户口,与真人偶像还有什么区别? – 人人都是产品经理, 会说,远远比会做更重要 —— 对 SBTI 爆火现象的五层观察 – 人人都是产品经理, AI产品经理必看:当“搭环境”比“选模型”更重要,你的认知还在2024年吗? – 人人都是产品经理, 2026年AI产品商业化核心逻辑:从功能demo到规模化营收的3个必破卡点 – 人人都是产品经理, 京东围绕供应链,卷起裤腿下场的那些事儿 – 人人都是产品经理, SBTI一夜刷屏:它赢在了“太会说人话” – 人人都是产品经理, 折扣零售的真相:不是便宜,而是价值感! – 人人都是产品经理, 和甲方吵了一架,最后加钱做了——我学到的ToB产品经理生存法则 – 人人都是产品经理, 和几位小红书操盘手聊了8小时,干货全在这 – 人人都是产品经理, 智谱GLM-5.1登场,开源模型首超Opus4.6!!! – 人人都是产品经理 Anthropic收入凭什么反超OpenAI,终于有人把这事说清楚了 – 人人都是产品经理, 史上最有故事感的技术报告——Claude最强模型Mythos 7个极其精彩的细节 – 人人都是产品经理, 模型不是壁垒,Harness 也不是 – 人人都是产品经理, 抖音本地生活业务思考21 – 人人都是产品经理, Superpowers:145k Star的AI编码框架,到底是什么来头? Superpowers:145k Star的AI编码框架,到底是什么来头? – 人人都是产品经理, OpenAI 的路走错了,Anthropic Harness 解法启示:模型需要实践专科生 – 人人都是产品经理, 画原型图的前一步:设计站点地图 – 人人都是产品经理, 给 DeepSeek 的最后一封催更信 – 人人都是产品经理, 手把手教你用 Claude Code 搭建 AI 营销团队:5 个 Agent、12 项技能,独立完成研究、写作、设计全流程 – 人人都是产品经理, 你以为大模型在学语言?不,它在重新发明语言学 – 人人都是产品经理 所谓Skill,不过是AI时代的工业垃圾 – 人人都是产品经理, 聊一聊内容传播的几个方法 – 人人都是产品经理, 当平台开始吃掉生态:从 OpenClaw 被封杀,读懂 Anthropic 的这盘棋 – 人人都是产品经理, 你装了 10 个 AI 插件,Obsidian 还是一个文件夹 – 人人都是产品经理 关于AI智能体架构演进的系统性思考:从单体试水到多体协同的重构 – 人人都是产品经理, 当“人”变成Skill,我们又该何去何从? – 人人都是产品经理 Mythos 事件:前沿 AI 治理的意外实验 – 人人都是产品经理, 货代CRM:信用与风险管理怎么做,才能把坏账风险拦在放货之前? – 人人都是产品经理, 从HR收集自拍照到员工自助录入——我见证了园区人脸识别从”不可用”到”真好用”的全过程 – 人人都是产品经理 千问闯关AI混沌期:阿里画靶,吴嘉张弓,马云射箭? – 人人都是产品经理,
DeepSeek OCR究竟解决了什么问题?
三白有话说 · 2025-10-22 · via 人人都是产品经理

在AI模型泛滥的时代,OCR技术似乎早已“卷无可卷”。但DeepSeek OCR的出现,却重新定义了“识别”的边界。它不仅提升了识别精度,更在多语言、多场景、多任务之间实现了统一架构的突破。本文将深入解析DeepSeek OCR的技术路径与产品定位,探讨它究竟解决了哪些长期被忽视的痛点。

DeepSeek-OCR采用“看图识字”的机制替代传统大模型“逐字阅读”的机制,在超长文本(比如读长文档、读书等)场景,实现保证内容识别精度的前提下,让算力成本降低将近10倍,并极大的提升模型计算效率、改善记忆负载;所以这次又是一次“降本增效”的升级。

以上是对DeepSeek-OCR的一个快速理解,这篇文章,我不去关注这项技术多牛逼和以及怎么实现的等相关的问题,更多的是站在产品经理实用的角度去理解DeepSeek-OCR,我将重点理解清楚如下几个问题:

1.DeepSeek-OCR到底解决了哪些目前存在的行业问题和痛点?与传统OCR的区别?

2.DeepSeek-OCR的性能和表现数据如何?

3.从应用层的角度看DeepSeek-OCR将影响哪些应用场景?

4.技术社区和专家观点评价

5.DeepSeek OCR将带来哪些行业思考?

6.企业和AI应用怎么使用?

1.DeepSeek-OCR解决了什么行业问题?

1.AI应用领域目前存在的行业痛点

在实际的AI应用场景中,特别是办公场景,相信大家有大量的应用场景是跟文档(包括PDF和word文档等)有关的,比如阅读文档、基于文档的内容生成等,大模型在文档处理这个领域的技术,会影响到相当多的AI应用和使用场景,因此这个领域的痛点,也是一个普遍存在的行业痛点。

只要是做过跟文档处理相关的 AI 应用的朋友,都会知道文档处理是一个充满技术挑战的难题。以 AI 快研侠在实现 AI生成报告的场景为例,我们主要遇到了如下3个问题:

1)文档内容识别和信息提取问题

大家平时提交给大模型和AI应用的大部分文档里面,有很多是以PDF或者Word的格式存在的,通常这些文档里面可能不仅仅只有文字,还可能存在图片、图表、表格等比较复杂的内容。

这些内容大模型是无法直接识别和理解的,通用大模型目前只能处理文本信息的内容,所以现有的AI读文档的应用,实现机制大部分是只提取文档中的文本内容,然后把它们提交给大模型用于内容生成,而其中的图片、表格、图表这些基本上会被忽略,这就很容易导致信息丢失从而影响AI应用的效果的问题。

可是如果想要去识别这些信息,现有的方式主要是通过OCR和多模态大模型来处理,将信息提取转来转换成文本之后交给大模型,然而,这种方式的识别成本非常高,除了面向企业的应用场景有可能会使用之外,普通面向C端的产品基本不太可能使用这种方式来实现。

2)生成成本巨大和处理时间很长的问题

基于文档生成的场景还有一个普遍存在的问题,就是生成成本巨大的问题,比如大家随便上传几个文档,可能字数就会超过十几万字,和AI聊天的场景等不同的是,生成一篇长文的时候,其token的消耗很容易就会达到百万级别的消耗,所基于文档生成的场景也是一个非常消耗成本的应用场景。

因为处理的文件数量和字数比较多,所以也通常导致了模型需要很长时间去处理的问题,最后导致的结果就是生成文本的时候,用户需要更多的等待时间,从而影响用户的体验。

3)超长文本情况下,大模型出现失忆的问题会更严重

大家都知道,大模型存在上下文长度的窗口,一旦输入的内容太长,大模型就很容易出现失忆的情况,相信大家也经常会遇到,在使用chatgpt类产品用于文档对话问答的情况下,常常会出现对话了几轮之后模型就出现了失忆的情况,所以,失忆的问题也是AI应用场景经常需要面临的挑战。

2. DeepSeek OCR 如何解决以上的行业问题?

1)DS-OCR采用将文本“画”成图像再压缩读取的方式解决内容识别问题

对于文档内容识别的问题,DeepSeek OCR采用了光学压缩的机制来实现,该机制的实现方式是:

  • 它先把长篇的文字内容“绘制”成一张(或多张)图像。
  • 然后,利用视觉模型(后文会提到的DeepEncoder)把这张信息量巨大的图像,压缩成极少数的“视觉token”(你可以理解为“视觉信息单元”)。
  • 最后,语言模型(解码器)再从这些高度浓缩的视觉token中,把原文解码并恢复出来。

这个方式相比传统OCR的识别方式,可以做到在保证识别率精度的情况下,把识别成本进一步压缩的更低,DeepSeek-OCR 的实验数据显示,在 10 倍压缩率下(例如,把一篇 1000 个词的文章压缩成 100 个视觉 token),原文的恢复率高达 97%,几乎做到了无损。

对于AI应用开发者来说,相当于我们拥有了一种成本更低的方式去解决文档识别的问题,因此对于AI应用层来说,DeepSeek-OCR是我们听到的福音;

2)“看图阅读”的方式极大提升信息处理效率,也降低了生成成本

光学压缩的方式,简单一点理解,就是用少量视觉token表示大量文本token,以此来大幅降低后续语言模型处理时的计算开销。

前面也提到,用这种方式实现的情况下,同样处理比如1000个文本token对应长度的内容(比如1700个汉字),之前的大模型处理的方式需要阅读1000个文本token,而视觉压缩的方式,只需要阅读100个视觉token,因此信息处理量明显下降,处理的效率大幅提升,同时也降低了生成成本。

通俗一点理解,这种方式的意义在于,它让AI从“逐字阅读”(处理海量的文本 token)转变为“看图阅读”(处理极少的视觉 token)。这就好比你看书时,不是一个字一个字地读,而是一眼扫过去就抓住了整页的核心内容,信息处理的效率得到了根本性的提升。

值得注意的是,前面部分节省的是OCR的成本,如果AI应用开发者放弃了支持图片和图表等信息识别的能力,这部分成本也没啥区别,但是文本处理部分是一定会发生的,Deepseek-OCR目前的机制,意味着可以让应用开发者在处理文本部分的成本就直接大幅下降(可能是降低10倍)。

3)改善大模型失忆的问题

前面提到,大模型失忆的主要问题是因为输入内容过长,超过了上下文长度而导致的,DeepSeek OCR 目前的实现方式直接通过视觉压缩的方式,可以把文本token的长度压缩10 倍,因此,这对于改善大模型失忆的问题大有裨益。

以下通过一张表清晰的对比为了解决文档识别的应用场景问题,传统的技术方案和DeepSeek-OCR方式的差异:

一句话总结而言,DeepSeek OCR 让相当多的AI应用开发者在处理文档技术问题的时候,以更低的成本解决内容内别的问题,同时还降低了大模型文本输入的成本,提升响应的效率,以及环节了超长文本下大模型的失忆问题。

2.DeepSeek-OCR的性能和表现数据如何?

1)识别精度表现:10倍压缩的情况下,几乎无损精确识别

除了压缩成本等相关的问题,大家对于DeepSeek-OCR更加高度关注的是其识别精度的问题,目前在大家相对比较认可的Fox 基准测试(一个专门测量在不同压缩率下的精确文本匹配能力的测试)中,测试结果显示:

当使用 100 个视觉 token(作为压缩预算)时:

  • 对于包含600-700个文本token的页面,压缩成100个视觉token的时候(约6.7倍压缩),模型精度高达98.5%。
  • 对于包含900-1000个文本token的页面(约9.7倍压缩),模型精度依然保持在96.8%。

这说明在 10 倍左右的压缩率下,模型几乎是“无损”的。

当把压缩预算降低到 64 个视觉 token(意味着压缩率更高) 时,模型的表现如下:

  • 精度会随着压缩率的增加(即页面上的字数变多)而下降。
  • 当压缩率达到19.7倍时(处理1200-1300文本token),精度会降至59.1%。

这符合直觉:给的“信息预算”越少,能承载的原文信息就越有限。

2)性能表现:达到SOTA,在OmniDocBench上表现优异

在业界公认的权威基准测试 OmniDocBench 上,deepseek-ocr取得了 SOTA(State-of-the-Art,即业界顶尖)的性能。

  • 它用最少的toke达到了顶尖的性能,也就是说可以使用最少的算力开销,实现精准的识别效果;
  • 仅用100个视觉token/页,就超过了同样优秀的GOT-OCR2.0(使用了256token)。
  • 使用了不到800个视觉token,就优于了平均使用近7000token/页的MinerU2.0。

3)生产效率:单A100每天可处理超20万页

这个模型不仅效果好,而且“跑得快”。在生产环境中,单块 A100-40G 的 GPU 每天可以生成(处理)超过 20 万页的训练数据。这意味着它具备了大规模商业化落地的高吞吐量能力。

3.DeepSeek-OCR将影响哪些应用场景的发展?

宽泛一点讲,所有跟文档识别相关的应用场景,都会受益,个人认为,重点受益的场景主要包括如下:

  • 办公文档的处理和生成场景:比如AI阅读文档和报告,AI生成文档与报告,DeepResearch等应用领域;
  • 纸质档案电子化:政府、银行、医院、图书馆的海量历史档案、病历、卷宗,可以被快速电子化并实现检索。
  • 实时证件识别:在机场、酒店、银行柜台,自动识别身份证、护照、银行卡,实现自动填表和身份核验。
  • 法律/知识产权检索:快速处理扫描版的判决书、专利说明书,用于法律检索和分析。
  • 风控与打假:自动比对合同、发票、仓单上的关键字段,或者识别车牌、集装箱号,用于防伪和风险控制。

4.技术社区和专家观点评价

1)硅谷热议,被誉为“AI的JPEG时刻”

模型一经发布,就因为它 3B(30亿)参数的“小”规模、带来的指数级效能变革以及“大道至简”的设计思想,在硅谷引发了热议。

  • 有人认为它甚至开源了谷歌Gemini商业机密的核心思路。
  • 特斯拉前AI总监Karpathy(卡帕西)也称赞其“图像比文字更适合LLM输入”。
  • 行业内将其称为“AI的JPEG时刻”,意思是它像JPEG压缩图像一样,为AI处理和存储记忆开辟了一条全新的、高效的路径。

2)DeepSeek将模型连同权重开源,实现“把贵的东西做成白菜价”

DeepSeek 团队延续了他们一贯的风格,将这个强大的模型连同权重一起开源了。这相当于“把贵的东西做成白菜价”,让所有开发者都能享受到这项技术红利,这对于整个 AI 领域,特别是文档处理(Document AI)方向,是实用且重要的一步,所以也获得了广大AI应用开发者的好评;

3)争议:10倍压缩97%精度,需在实际工作负载中验证

DeepSeek 宣称的“10 倍压缩 97% 精度”是在特定基准(Fox)上测试的,这个声明是否能在用户实际的、五花八门的工作负载中同样成立,还需要大量的实践来验证。

4)争议:OCR是否已“基本解决”?

社区对于“OCR 是否已经被 LLM 基本解决了”这个问题,存在巨大争议:

正方观点(如 pietz):认为 OCR 基本解决了。例如 Gemini 2.5 Flash Lite 已经能以极低成本(1000 页/$0.20)处理多种 OCR 任务。

反方观点(如 cahaya, carschno, mormegil):坚决反驳。

  • 复杂表格:LLM在转换包含多层标题、合并单元格、复选框的复杂表格时,仍然会频繁失败。
  • 手写体识别(HTR):HTR仍然非常困难。LLM在处理手写体时,经常会“幻觉”出看似正确但与原文完全无关的内容。而像transkribus.eu这样的专用工具表现好得多。

有开发者(breadislove)认为,端到端的 OCR(即模型一步到位完成所有事)仍然“极其棘手”。在实际工程中,组合式的流水线(先做布局检测 -> 再做阅读顺序判断 -> 最后再做 OCR)效果往往更好。

5)挑战:Karpathy指出的不对称性、成本和生态问题

Karpathy 本人也指出了“以图为入”的几个挑战:

  • 不对称性:用户输入可以是图像(压缩),但模型的输出(生成)仍然需要是文本。因为让AI生成一张逼真的、包含特定文字的图像,本身还是一个未解决的难题。
  • 计算开销:图像编码(如DeepEncoder)本身的计算开销是不容忽视的。
  • 可编辑性:文本一旦被“图像化”,就失去了可编辑性。
  • 生态兼容性:现有的AI工具链(如RAG、向量数据库)都是围绕文本token构建的,如何与这种新型的视觉token兼容,是一个巨大的工程问题。

五、DeepSeek OCR将带来的行业思考

1.使用图像作为LLM输入可能比传统文本更高效

特斯拉前AI总监Karpathy评论:使用图像作为LLM输入可能比传统文本更高效,他的观点甚至挑战了“文本 token 是标准输入”这一常规假设,并暗示了“语言模型”(Language Model)未来可能会向更通用的“信息处理模型”(Information Processing Model)进化,而视觉(图像)可能是比文本更通用的信息载体,其中的原因包括:

1)一个图像patch可包含多个字符

  • 传统的文本输入,一个token(计算单元)通常只代表“一个词的一部分”。
  • 而在图像输入中,一个视觉token(例如一个图像patch)可以代表“一页的一部分”,这个“部分”里可能天然就包含了多个单词或字符。

2)图像天生支持粗体、颜色、布局等视觉元素,纯文本输入会丢失大量信息。例如,“加粗”、“红色”、“标题字体”、“段落布局”,这些信息在纯文本中要么丢失了,要么需要用 HTML 或 Markdown 这样的额外标记(markup)来描述。而图像输入天生就“看”到了这些视觉元素,信息更丰富。

3)图像输入可使用更强的双向注意力

  • 文本生成(解码)通常使用“自回归因果注意力”(只能看前面的内容)。
  • 而图像编码(理解)可以使用“双向注意力”(可以同时看前后左右的内容),这种机制的理解能力通常更强。

2.突破LLM“内存限制”,使AI能处理数百页超长上下文

这项技术的潜力在于,它有望突破 LLM 的“内存限制”。当 AI 能够以极高压缩率处理信息时,它就有可能用更少的算力去处理以往无法想象的超长上下文,比如几百页的财报或一整本小说。

3.未来构想:AI可将旧记忆存储为图像,实现高效信息归档

一个有趣的未来构想是,AI 可以将“旧的记忆”(即久远的上下文)存储为图像,以此来实现高效的信息归档。

4.“用光学压缩模拟人类遗忘机制”,更好的解决计算资源的问题

这个构想进一步被比作人类的“遗忘曲线”,模拟了自然的记忆和遗忘过程:

  • 近期上下文被视为“高保真记忆”,系统会将其保存为高分辨率图像(信息保真度高,压缩率低)。
  • 远期上下文被视为“低密度记忆”,系统会将其压缩为更模糊的图像(信息密度低,压缩率高,token消耗少)。

这种“文本遗忘”机制,是平衡无限上下文信息和有限计算资源的一个早期研究方向,未来可能带来巨大突破。

六、企业如何部署和使用?

DeepSeek-OCR 不仅仅是一个研究模型,它提供了清晰的使用和部署路径。

1.DeepEncoder支持多种具有固定token预算的“原生分辨率”模式

模型提供了多种“档位”供开发者选择,让你可以根据需求平衡成本和性能。这些被称为“原生分辨率”模式:

  • Tiny(微小档):512×512分辨率,压缩为64tokens。
  • Small(小档):640×640分辨率,压缩为100tokens。
  • Base(基础档):1024×1024分辨率,压缩为256tokens。
  • Large(超大档):1280×1280分辨率,压缩为400tokens。

2.DeepEncoder还支持“动态分辨率”模式(Gundam)

除了固定档位,它还支持一种更强大的“动态分辨率”模式(Gundam),这种模式会混合平铺的“局域视图”(看清细节)和“全局视图”(看清整体布局)。

  • 这种模式会产生更多的token,例如+256tokens(n在2-9之间)。
  • 这些模式允许开发者根据页面的复杂度,灵活地平衡token预算(即成本)和性能。

3.官方建议

1.对于典型文档(报告、书籍),建议从Small模式(100 tokens)开始测试

在实际评估时,官方给出了建议:

  • 对于绝大多数典型文档(如报告、书籍),建议从Small模式(100tokens)开始测试。这个档位在成本和精度上取得了最好的平衡。
  • 模型发布了明确的token预算模式,从64tokens(Tiny)到400tokens(Large)以及复合的Gundam模式,PM可以根据业务场景的复杂度来选型。

2.对于包含密集小字体或极高token数的页面,应使用Gundam模式

如果你的业务场景非常极端,比如页面上塞满了密密麻麻的小字体,或者单页的 token 数极高,那么应该使用Gundam 模式。Gundam 模式结合了全局和局域视野,并提供了明确的 token 预算,专为复杂场景设计。

3.通过二次模型调用(需提示词),模型能对复杂结构的内容进行深度解析和推理

需要注意的是,该模型还可以支持图表、几何图形、化学公式等复杂元素的深度解析和推理,通常需要通过“二次调用”并配合特定的提示词(Prompt)来实现,具体可以后续大家需要的时候详细体验和关注,其中包括:

  • Markdown识别:能处理模糊的电子书页面,并将其转换为结构化的Markdown格式。
  • 深度解析(DeepParsing):它能通过自动推理和纠错,来修正初步识别的结果。比如,如果初步识别漏掉了字母,它可以通过上下文推理进行修复。

同时官方也提供了一些提示词示例如下:

  • 文档(带布局):n<|grounding|>Convertthedocumenttomarkdown.
  • 无布局OCR:nFreeOCR.
  • 图表解析:nParsethefigure.
  • 内容定位:nLocate<|ref|>xxxx<|/ref|>

4.模型已开源,Hugging Face和GitHub提供了部署指引

模型的部署门槛相对较低:

  • DeepSeek在GitHub上提供了快速部署指引,并在HuggingFace上开源了模型。
  • 它提供了一个经过测试的、可立即使用的设置(Python3.12.9,CUDA11.8,PyTorch2.6.0,FlashAttention2.7.3),以及适用于普通GPU的6.67GB分片,这大大降低了工程师的设置成本。
  • 安装环境前提为cuda11.8+torch2.6.0,并需要安装vllm-0.8.5和flash-attn==2.7.3。
  • 推理支持vLLM(推荐,用于图像、PDF和批量评估)和标准Transformers(HF)两种方式。
  • vLLM方式下,直接运行run_dpsk_ocr_image.py或run_dpsk_ocr_pdf.py即可。
  • Transformers方式下,使用AutoModel.from_pretrained加载deepseek-ai/DeepSeek-OCR即可。

以上为我站在产品经理角度,对于当下大家热评的DS OCR的一些理解和观点

作者:三白有话说,公众号:三白有话说

本文由 @三白有话说 原创发布于人人都是产品经理。未经作者许可,禁止转载。

题图来自豆包官网截图