惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

小众软件
小众软件
A
About on SuperTechFans
博客园 - Franky
Engineering at Meta
Engineering at Meta
Recent Announcements
Recent Announcements
云风的 BLOG
云风的 BLOG
B
Blog
Microsoft Security Blog
Microsoft Security Blog
L
LangChain Blog
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
U
Unit 42
Martin Fowler
Martin Fowler
Y
Y Combinator Blog
Stack Overflow Blog
Stack Overflow Blog
博客园 - 叶小钗
Vercel News
Vercel News
Apple Machine Learning Research
Apple Machine Learning Research
The Cloudflare Blog
Last Week in AI
Last Week in AI
腾讯CDC
Microsoft Azure Blog
Microsoft Azure Blog
爱范儿
爱范儿
V
V2EX
G
Google Developers Blog

少数派

派早报:Google 发布 Fitbit Air 等 - 少数派 「新人报到」確認需求,再開始 - 少数派 从 SOLO 独立开发者社区,我看到了越来越多开发者开始做自己的产品 - 少数派 我怎么管理那些"不常做,但总会忘"的生活事项 - 少数派 人形机器人量产元年,数据才是具身智能的“生死线” - 少数派 BuhoLaunchpad 高度还原 Mac 启动台:开发历程与思考 - 少数派 五年陪伴依然不舍,DIY 换壳后让罗技 MX Master 3 继续服役 - 少数派 新玩意 240|少数派的编辑们最近买了啥? - 少数派 一日一技|为什么你应该关闭 iOS 的键盘声音 - 少数派 我做了个插件和 Skills,一键提取任何网站的设计规范 Design.md - 少数派 住在三四线城市的你,该开始录播客了 - 少数派 甘南秘境,大白高国 - 少数派 AI的审美:谁让把我变成川内倫子 - 少数派 返工怎能不烦恼,打工人片单总有一部是你的「嘴替」 - 少数派 为了让「上厕所」更健康,我做了一个小工具 - 少数派 AI + Skill,能够让生成的文章去除 AI 味吗? - 少数派 新玩意|韶音OpenDots ONE 耳夹式耳机 - 少数派 《美满》| 在每一个春天的晚上相爱(362) - 少数派 新玩意|优篮子 PS01 MagSnap 磁吸支架 - 少数派 自我整合手记 | 我开始早睡了:用稳定规则,为自由托底 - 少数派 用龙虾(OpenClaw)两个多月,我最深的12个体会 - 少数派 听歌时间到,12 张你可能错过的 2025 华语乐坛好专辑 - 少数派 承诺能追吗 - 少数派 macOS 26启动台没了? 我做了个不一样的App启动器 - Keboard - 少数派 《四海为家的人》| INTJ对话INTJ(361) - 少数派 你发过的那些黑历史,是时候一次清干净了 - 少数派 新玩意:安安静静玩,越玩越专注:计客密码机 - 少数派 iPad 用户首次体验 Android 平板:vivo Pad6 Pro - 少数派 数据逻辑强 - 少数派 极北行+ | 一路向北,探访日本至北之地 | 001 - 少数派
我用 5 分钟,读完了 80 分钟的视频 - 少数派
2023-08-28 · via 少数派

媒介即讯息

不同的信息载体适合用来展示不同的内容。

ai_video_1

文字的是人类抽象出来的信息的载体

文字具有高效和长效的特点,我们今天之所以能够感受到百千年前的佳作,李白的诗句,孔夫子的论语,司马迁的史记,都要得益于文字。而相比起来,那些古代的舞蹈、音乐、就没那么幸运了,大多都随着继承者的落寞,寂静在历史长河中。

所以阅读文字也是人类获取信息最好的方式。

可惜的是文字出现的时间非常短暂,阅读文字的能力还没能够写入到人类的 DNA 中,人类还是需要通过后天学习来掌握阅读能力,经过良好地培训,好的阅读者也可以达到一目十行的阅读速度。

但即便是今天,在中国的义务教育这么普及的情况下,阅读文字对大部分人来说依旧是困难的。通过阅读文字来获取信息,是高效的,但却不是最符合人类出厂设定的方式。反而,通过观看画面信息,听取声音信息的方式,才是最符合人类出厂设定的方式。

视频作为信息载体

缺点是效率太低。用来展示简单的信息时,视频很方便。但当展示的内容变相复杂,视频这一形式的缺点就暴露得愈加明显。同样是 10000 字的信息量,观看一个视频,需要花费 1 个小时的时间。但如果通过图文的方式来阅读,可能只需要 15 分钟。这就是效率上的差距。

当然视频也有优点,受益于图像信息和声音信息,视频展现出来的内容更加丰富,更加多维,感染能力更强,更符合观众的视听,接受起来更加自然。

音频作为信息载体

播客(音频内容)也是一样的道理。缺少了图像信息,音频内容通过耳朵进入大脑的带宽更低,效率也更低。但声音也有很多优点,例如声音让人觉得更加亲近,更加适合用来讲故事等。

在之前的《聊聊播客的兴起及播客推荐》中,我也有过描述:

音频这种内容形式非常有自己的特点。

人类接受音频信息的带宽是非常小的

我们的大脑在处理音频信息时,需要投入更多的注意力。举个例子,很多人看过某个日本的综艺节目,节目里在人打电话时,无论递给他什么东西,他都会接住。

人类接受音频的效率非常低。

接受同样的文字, 阅读的速度是听音频的速度的3-4倍。况且在图文和视频信息中,经常可以通过图表来简化内容,这在音频里是无法实现的。

音频非常亲切,且有辨识度

古话说:未见其人而先听其声。我们与朋友相处久后,常常通过他的声音就可以辨识他。反过来说。当你长期接触一个声音时,也会觉得你和他更加亲密。

而播客的内容形式,多是几个播主之间的闲聊,与嘉宾的闲聊,或是纯粹地讲故事。这几种内容形式都不会太过硬核,刚好是听众可以接受的程度。而播主们的声音,又可以发挥音频亲密的特点,大大提高播客的用户留存率。

视频/播客处理流程

今天的短视频平台、长视频平台、博客平台里,都有很多不错的视频和音频。其中就有不少我感兴趣的。但作为一个效率爱好者,一个忙碌的打工人,我实在不愿意舍弃 1 小时的时间,去获取 15 分钟的信息。

所以我就想了个办法

  1. 将视频和音频转化成成文字,通过阅读文字,来处理视频。
  2. 借助最新的 AI 技术,可以对文字进行进一步的处理,提高处理的速度。
ai_video_2

信息的流程且听我细细道来

01 直接下载视频字母/逐字稿

视频我们以常见的长视频平台,Bilibili 和 Youtube 为例。

在发布视频时,视频创作者可以上传字幕。视频平台为了让用户有更好的观看体验,可能也会给视频生成 CC 字幕,Youtube 的 CC 字幕覆盖率比较高, Bilibili 则还比较少。

如果有字幕文件,我们的处理流程就会简单很多,直接下载字幕文件即可。

在 Youtube 中,我是通过一个叫“Transcript & Summary”的浏览器插件来获取字幕。它会在 Youtube 视频的网页右侧展示视频的字幕,直接点击复制全文即可。

ai_video_3

在 Bilibili 中,则是通过油猴插件来获取字幕。

Greasy Fork 网站搜索 CC 字幕即可使用。开启插件后,就可以在 B 站的字幕文件处点击下载按钮下载字幕。

ai_video_4

同样的,如果播客有提供逐字稿,我们可以直接下载播客的逐字稿。

例如疯投圈的这期播客逐字稿,我们就可以复制文章中的文字,保存到本地。

ai_video_5

下载完逐字稿后,就可以直接跳转到第三步了。

但毕竟提供逐字稿的播客比较少,所以我们需要将音频/视频转化成文字。

02 将视频/音频转成文字

如果视频没有字幕,播客没有提供逐字稿,则我们需要用大模型来讲视频/音频转化成文字。

第一步,下载视频/音频的源文件。

我是使用 Downie 这款工具,来下载源文件。复制视频/音频的链接,粘贴到应用中即可。Youtube/bilibili/抖音的视频,小宇宙的播客,都可以下载。

ai_video_6

第二步,将源文件转化成文字

这里推荐使用的是飞书妙计或者通义听唔,来转换,他们的好处是可以区分不同的说话人。

这一步骤通常需要消耗比较10-20 分钟的时间,但好在可以在后台进行。

ai_video_7

处理完成后,我们就可以得到:

ai_video_8

再将逐字稿发给 AI ,让 AI 来帮忙处理内容

03 AI 处理内容

今年来,大模型的发展速度飞快。ChatGPT、Claude、llama 等大模型发展迅速,基于了我们很多新的能力。

《Chatgpt 有啥用?》这篇文章中,我们介绍过大语言模型的几个能力:聊天、总结、扩展、推理。转化,都可以用来帮助处理信息。

3-1 将口头语转换为书面语

大部分视频/音频,使用的都是口头语句表达,不是适合阅读的书面语。所以直接阅读字幕/视频稿并不合适。如果想要直接阅读文字,可以使用 AI 将字幕或逐字稿转化为书面语句。

promot 是

 请使用简洁明了的语言编辑以下段落,以改善其逻辑流程,消除任何印刷错误并用中文回复。请务必保持文本的原始含义。请首先编辑以下文本:

3-2 AI 总结、挖掘内容

用AI 来总结内容,帮助我们更快地了解视频或博客的内容,节省阅读的时间。

这里我推荐使用的是 Claude 来总结。

例如这个胖东来老板的这个视频,上了 B 站热门,146 万的播放量,我想了解下他讲的内容,但又不愿意花 28 分钟时间来观看。于是我就把他交给 AI。

ai_video_10

于是我下载字幕后,上传到 Claude 上,写上这句 Prompt

 让我们一步一步思考,阅读这份视频字母,并总结出视频的主要观点和论据
ai_video_11

如果对于视频/音频中有任何的内容不清楚,还可以让 AI 进行更加详细的解答。

例如这一期播客,总时长是 85 分钟,听起来花费的时间太长了。

ai_video_17

但是借助 Claude,3 分钟我就能知道内容主要讲了什么,并可以对其中不理解的地方,进行更加深入的提问。

ai_video_16

每次看到 AI 总结的内容,总有一种爽感,我又用 5 分钟时间,听完了一期 85 分钟的博客。

Ps. 关于大模型的选择

我推荐大家可以使用 Claude。

首先,Claude 支持更大的上下文数量(160k/200k),要比 ChatGPT 的 16k 或 32k 要大得多。而且 Claude 的使用很方便,不像 llama 那样需要代码接入。最后,Claude 目前还是完全免费的,不过可以预见的是未来一定会收费的。能免费就先用着呗。

image-20230828005017398

其他产品推荐

Bilibili - Ai 课代表

上面这套流程,也有一些现成的产品可以直接使用

比如 bilibili 的【AI 课代表】,安装好插件后,插件就会展示视频的总结内容,字幕列表,针对视频中的内容,和可以进行提问。使用体验非常棒。

ai_video_13

下图中可以看到,即便是没有 CC 字母的视频,AI 课代表也可以处理。

ai_video_14

Monica

再比如之前在 newsletter 里推荐过得 【Monica】,也可以直接总结 Youtube 的视频。不过因为我的会员已经过期了,就不不展示 Monica 的功能了,想了解的读者朋友可以查看我的这条动态。

ai_video_15

Memo

最近有一个创业团队做的产品 Memo,也可以实现这一步骤。Memo 可以讲播客的文字化、并进行 AI 总结。不过其使用的模型并不支持识别不同的说话人,目前也仅在内测中,还不够稳定。例如我转化的文字,就全部都变成了繁体中文。所以可以保持关注下后续的更新迭代。

ai_video_9

结语

要注意的是,并不是所有的视频都要用这种方式来处理。很多制作精良的视频,经过文字化和 AI 的处理后,失去了如图像、氛围、音色等等信息,丰富的内容将变得非常平淡、平实。

用文章中的这套流程来处理视频,是从「效率」出发的方法论。

很多视频,比如电影、动画、up主的创作等等,是可以坐下来好好欣赏的。

在我的日常生活里,我只会用这样的方法来处理那些我想了解,但并不想花时间观看的视频。

《效率与体验》这篇文章中,详细地讨论过「效率」和「体验」往往是不可兼得的。

而有了这个方法后,在观看视频时,你就可以决定使用效率的方法来快速解决,还是在茶余饭后,坐下来,好好欣赏这个视频。