惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

月光博客
月光博客
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
N
Netflix TechBlog - Medium
大猫的无限游戏
大猫的无限游戏
爱范儿
爱范儿
Martin Fowler
Martin Fowler
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
The Register - Security
The Register - Security
IT之家
IT之家
博客园_首页
Microsoft Security Blog
Microsoft Security Blog
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
博客园 - 三生石上(FineUI控件)
I
InfoQ
CTFtime.org: upcoming CTF events
CTFtime.org: upcoming CTF events
Jina AI
Jina AI
Apple Machine Learning Research
Apple Machine Learning Research
M
MIT News - Artificial intelligence
博客园 - Franky
C
Check Point Blog
T
The Blog of Author Tim Ferriss
V
Visual Studio Blog
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
T
Tailwind CSS Blog
Recent Announcements
Recent Announcements
云风的 BLOG
云风的 BLOG
美团技术团队
The Cloudflare Blog
Y
Y Combinator Blog
H
Hackread – Cybersecurity News, Data Breaches, AI and More
MyScale Blog
MyScale Blog
The GitHub Blog
The GitHub Blog
D
DataBreaches.Net
Google DeepMind News
Google DeepMind News
V
V2EX
aimingoo的专栏
aimingoo的专栏
GbyAI
GbyAI
G
Google Developers Blog
S
SegmentFault 最新的问题
Hugging Face - Blog
Hugging Face - Blog
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
U
Unit 42
罗磊的独立博客
量子位
MongoDB | Blog
MongoDB | Blog
Last Week in AI
Last Week in AI
Stack Overflow Blog
Stack Overflow Blog
小众软件
小众软件
D
Docker
人人都是产品经理
人人都是产品经理

Nicksxs's Blog

学一下chrome的扩展开发 看下chrome的内置模型 从 app.test 到小锁:valet 本地 HTTPS 的完整链路 浅析一下jpeg图片格式及其来源 关于github拉取下载加速的另一个方式 关于适合什么模型,推荐下llmfit 看看目前本地能跑什么模型,使用llama.cpp 最近使用vibe coding的一些感悟 使用php的inotify扩展来监听文件变更 一些设计模式的记忆点 使用xiaomi mimo大模型api运行Hermes Agent 结合Obsidian的cli的一体化体验 开始尝试使用obsidian作为笔记软件 学习下大神的知识库 学习下git的worktree 一些架构师知识点的记录 解答一下关于traefik的一点疑惑 记录一下迁移服务器需要使用的一些命令 较早代iPhone更换新iPhone的一些小指南 如何查看mac的路由表和网关等信息 如何开启mysql的optimizer trace 浅析下mysql的索引的基数与可选择性 分享个加速github访问的方法 学习体验下Koupleless框架-浅析代码 学习体验下Koupleless框架 体验下nocodb这个神奇的系统 学习下MDC的机制 重新复习理解下java的类加载器 记录下ffmpeg命令 尝试学习理解下Claude Code的实现原理和细节 在Antigravity中对比体验Claude Sonnet 4.5模型 来看下我装备了5060TI显卡的gpt-oss模型表现 来看下google最新力作Antigravity的水平如何
体验下微软开源的Markdown转换工具Markitdown
2026-04-05 · via Nicksxs's Blog

这个工具的来源是看到了大神的个人知识库的文章,比之以前可能都是以rag的形式,现在是通过直接让大模型学习提取原始知识文档,来给自己做个人知识库的索引和整理,那么有一个前提是大模型更擅长的文档格式是纯文本的,或者说就是以Markdown的形式,因为既有段落格式,又是相对纯文本的,便于输入大模型.
那很多情况我们就需要把我们现有的文档转换成Markdown形式,便于大模型去分析理解
刚好想起来前阵子微软开源了这么个工具,
仓库在这里
我们就来简单的使用体验下

1
2
3
git clone git@github.com:microsoft/markitdown.git
cd markitdown
pip3 install -e 'packages/markitdown[all]'

我们不去具体阅读代码,就是来使用体验下
可以直接把仓库Clone下来,然后安装就可以了
简单的使用说明是

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
usage: SYNTAX:

markitdown <OPTIONAL: FILENAME>
If FILENAME is empty, markitdown reads from stdin.

EXAMPLE:

markitdown example.pdf

OR

cat example.pdf | markitdown

OR

markitdown < example.pdf

OR to save to a file use

markitdown example.pdf -o example.md

OR

markitdown example.pdf > example.md

Convert various file formats to markdown.

我们可以用最贱的方式

1
markitdown path-to-file.pdf > document.md

我在网上找了个transformer的论文中文版pdf
来转换成markdown试一下
发现其实这个转换还是限制挺大的,并没有非常全能
比如pdf中是文本的表格
也会错乱的比较多

模型BLEU训练成本(FLOPs)
cmidrule
EN-DE EN-FREN-DEEN-FR
———————–—–—–
ByteNet [18]23.75
1.0 ⋅ 1020
Deep-Att + PosUnk [39]39.2
——————————-———–———-———-
GNMT + RL [38]24.6 39.922.3 ⋅ 10191.4 ⋅ 1020
9.6 ⋅ 10181.5 ⋅ 1020
ConvS2S [9]25.16 40.46
MoE [32]26.03 40.562.0 ⋅ 10191.2 ⋅ 1020
Deep-Att + PosUnk Ensemble [39]40.48.0 ⋅ 1020
1.8 ⋅ 10201.1 ⋅ 1021
GNMT + RL Ensemble [38]26.30 41.16
ConvS2S Ensemble [9]26.36 41.297.7 ⋅ 10191.2 ⋅ 1021
第6张的表就变成了这样子,可能还是主体的文本稍微好一点
但是论文相对来说结构也不是那么已读也是个原因
另外如果是非文本型的可能还是需要结合外部的ocr和大模型来辅助提取内容
可以用markitdown的插件系统
markitdown-ocr Plugin
The markitdown-ocr plugin adds OCR support to PDF, DOCX, PPTX, and XLSX converters, extracting text from embedded images using LLM Vision — the same llm_client / llm_model pattern that MarkItDown already uses for image descriptions. No new ML libraries or binary dependencies required.
1
2
pip install markitdown-ocr
pip install openai # or any OpenAI-compatible client

然后通过代码设置

1
2
3
4
5
6
7
8
9
10
from markitdown import MarkItDown
from openai import OpenAI

md = MarkItDown(
enable_plugins=True,
llm_client=OpenAI(),
llm_model="gpt-4o",
)
result = md.convert("document_with_images.pdf")
print(result.text_content)

这样就能把包含图片的信息也进行转换,迫于没有外国信用卡,我就没法演示了