惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

Apple Machine Learning Research
Apple Machine Learning Research
爱范儿
爱范儿
博客园_首页
博客园 - 【当耐特】
V
Visual Studio Blog
博客园 - 叶小钗
月光博客
月光博客
美团技术团队
J
Java Code Geeks
小众软件
小众软件
Y
Y Combinator Blog
博客园 - Franky
Martin Fowler
Martin Fowler
博客园 - 聂微东
Microsoft Azure Blog
Microsoft Azure Blog
IT之家
IT之家
MyScale Blog
MyScale Blog
人人都是产品经理
人人都是产品经理
Microsoft Security Blog
Microsoft Security Blog
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
阮一峰的网络日志
阮一峰的网络日志
酷 壳 – CoolShell
酷 壳 – CoolShell
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
云风的 BLOG
云风的 BLOG

thinkingReed

ColPali:使用视觉语言模型的高效文档检索 VisionThink:通过强化学习实现高效的视觉语言模型 ChartMoE:使用混合专家架构的图表理解方法 基于标记级相关性引导的压缩方法以实现高效的多模态文档理解 PACT:基于剪枝和聚类的Token减少方法 DocLayLLM:一种用于富含文本的文档理解的高效多模态大语言模型扩展方法 mPLUG-DocOwl 2:高分辨率文档理解的布局感知压缩方法 mPLUG-DocOwl 1.5 研究报告:模型架构与位置编码机制 QG-VTC:基于问题引导的视觉Token压缩方法 MinerU 技术报告:高精度文档内容提取解决方案 StrucTexT:多模态Transformer的结构化文本理解框架 TabPedia:统一的表格理解视觉语言模型 Pix2Struct:截图解析作为视觉语言理解预训练方法 TextMonkey:用于文档理解的无OCR大型多模态模型 Swin Transformer:分层视觉Transformer Vision Transformer:将Transformer应用于图像分类任务 DocPedia:频域方法实现高分辨率文档理解 领域特定的大语言模型用于通过有标签数据监督微调的暖通空调系统故障诊断 将知识从大模型迁移到小型下游模型
mPLUG-DocOwl:面向无OCR文档理解的统一结构学习
2025-07-10 · via thinkingReed
背景 目前,多模态大语言模型主要依赖图像-文本对进行训练,然后通过视觉编码器和语言模型之间的对齐模块(projector模块,目前常用的方法有MLP或者交叉注意力机制)来实现跨模态对齐。 这类方法在一般的图像理解方面表现良好,但在处理富