惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

GbyAI
GbyAI
Martin Fowler
Martin Fowler
I
InfoQ
腾讯CDC
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
爱范儿
爱范儿
Microsoft Security Blog
Microsoft Security Blog
Google DeepMind News
Google DeepMind News
D
DataBreaches.Net
云风的 BLOG
云风的 BLOG
F
Fortinet All Blogs
N
Netflix TechBlog - Medium
博客园 - 聂微东
Microsoft Azure Blog
Microsoft Azure Blog
D
Docker
博客园 - 三生石上(FineUI控件)
Y
Y Combinator Blog
博客园 - Franky
Engineering at Meta
Engineering at Meta
B
Blog
罗磊的独立博客
Apple Machine Learning Research
Apple Machine Learning Research
Jina AI
Jina AI
V
Visual Studio Blog

少数派

派早报:Google 发布 Fitbit Air 等 - 少数派 「新人报到」確認需求,再開始 - 少数派 从 SOLO 独立开发者社区,我看到了越来越多开发者开始做自己的产品 - 少数派 我怎么管理那些"不常做,但总会忘"的生活事项 - 少数派 人形机器人量产元年,数据才是具身智能的“生死线” - 少数派 BuhoLaunchpad 高度还原 Mac 启动台:开发历程与思考 - 少数派 五年陪伴依然不舍,DIY 换壳后让罗技 MX Master 3 继续服役 - 少数派 新玩意 240|少数派的编辑们最近买了啥? - 少数派 一日一技|为什么你应该关闭 iOS 的键盘声音 - 少数派 我做了个插件和 Skills,一键提取任何网站的设计规范 Design.md - 少数派 住在三四线城市的你,该开始录播客了 - 少数派 甘南秘境,大白高国 - 少数派 AI的审美:谁让把我变成川内倫子 - 少数派 返工怎能不烦恼,打工人片单总有一部是你的「嘴替」 - 少数派 为了让「上厕所」更健康,我做了一个小工具 - 少数派 AI + Skill,能够让生成的文章去除 AI 味吗? - 少数派 新玩意|韶音OpenDots ONE 耳夹式耳机 - 少数派 《美满》| 在每一个春天的晚上相爱(362) - 少数派 新玩意|优篮子 PS01 MagSnap 磁吸支架 - 少数派 自我整合手记 | 我开始早睡了:用稳定规则,为自由托底 - 少数派 用龙虾(OpenClaw)两个多月,我最深的12个体会 - 少数派 听歌时间到,12 张你可能错过的 2025 华语乐坛好专辑 - 少数派 承诺能追吗 - 少数派 macOS 26启动台没了? 我做了个不一样的App启动器 - Keboard - 少数派 《四海为家的人》| INTJ对话INTJ(361) - 少数派 你发过的那些黑历史,是时候一次清干净了 - 少数派 新玩意:安安静静玩,越玩越专注:计客密码机 - 少数派 iPad 用户首次体验 Android 平板:vivo Pad6 Pro - 少数派 数据逻辑强 - 少数派 极北行+ | 一路向北,探访日本至北之地 | 001 - 少数派
我做了一款免费开源、让你「过目不忘」的小工具:捕风记录仪 ...
2023-11-01 · via 少数派

Matrix 首页推荐 

Matrix 是少数派的写作社区,我们主张分享真实的产品体验,有实用价值的经验与思考。我们会不定期挑选 Matrix 最优质的文章,展示来自用户的最真实的体验和观点。

文章代表作者个人观点,少数派仅对标题和排版略作修改。


去年见到一款 macOS 上的 app - Rewind 时,感到非常惊奇:它像黑镜 S1E3 中的人生记录仪一样、可以将屏幕上见到的一切全部记录下来,随时回溯检索。既感到这个想法与实现十分惊艳,也隐约感觉其实用不起来,直到到今年他们拥抱了 AI——一个能完全发挥其潜能的方向:将第二大脑交由 AI 托管运作,概念上很厉害。

黑镜 S1E3 - 你的全部人生经历

不过他们至今也还没推出 Windows 版。偶然似乎在 X 上见到有人试图做 Windows 上类似的替代品,但由于忘记打心收藏,再想寻找时果然怎么也找不到了——当这种时刻发生,就能强烈意识到这个软件的价值:让你过目不忘。

其实这个需求价值挺明显的:时间的流动中,我们试图抓住的事情就像鲇鱼们一样,不断从滑溜溜的大脑皮质层流过、然后忘却。当需要那些坚实的记忆碎片时,只能自求多福当时有顺手在手边石头多刻几笔:随手收藏、剪贴、甚至是为此坚持写日记

而这样的产品做法显然是从最底层的第一性原理出发,直接采集你看到的画面、用最「元(meta)」的方式来解决「我寻思我看过……哎怎么就找不到呢?」和「噢我还经历了这些破事儿」。——前者可以用搜索应对,后者是现在 Rewind AI 方向探索的管理 & 总结归纳,将记忆结晶为有序的价值来帮助未来。

(无可避免地,记录一切也意味着其中肯定也包含了海量的无用数据——当然直到你需要时,你无法知道哪些是无用的。好在记录与管理是无感的,在如今的存储容量与成本下也不值一提。)

日常中,它可以解决以下这些场景的问题

  • 正常些的,比如找回在不同地方见过的文章、电影的台词、一些对中文搜索支持不佳的聊天软件记录等等;
  • 转瞬即逝错过了就是错过的东西:过去见过而如今被审核移除的事物、被撤回的消息、因为手滑而点掉的信息、游戏中的聊天喷人、因为程序崩溃而没保存的内容…——你本地永远有一份不被篡改的个人记忆。比人类过目不忘禀赋强的一点是:它并非虚无的梦、不是只在记忆中的风,而是切实存在过的记录;
  • 下载了一些东西、找到一些文件,但它们的起名没有线索、想不起是哪里得到的
  • 用古早以前见过的、又符合当下语境的画面或黑历史作为一种 meme,来整蛊朋友:);
  • 记忆寻宝,回看时你总能发现边边角角你没注意到的东西——特别是在用关键词搜索时,搜出来了你没印象的画面,或是看看某个词句的记忆片段在你眼前晃悠过多少次;
    当记录了长达数年的记录后,你在需要时能找回那些重要的经历:做毕设的过程、与各种第一次的奇遇
  • 等等等等…… 容易想到的场景在 Rewind 官网上多少也被提及了,此外的日常下,这样的超能力总能给你意料外的惊喜;
用回忆为朋友制作梗图一例

我做了一个 Windows 上的 Rewind 平替小工具

(用浣熊作为吉祥物——浣熊超会翻垃圾的,就像翻寻我的记忆w)

我认为这种强涉及个人隐私的工具,它的录制、识别、搜索等一切功能都应当完全在本地运行,开源的透明度使它可以被彻底审查。这个小工具使用 python 与本地 API 来运作,解释型语言的特性可以让你了解每一步都是如何运作的——安全而不做多余的事,一切数据都在你的手上。无需为你的数据和回忆订阅付费,你应当拥有与知道你的一切🤓。

使用的能耗、储存空间等需求基本与 Rewind 一致(一年的数据存储约占用 150G 磁盘空间,如果选择了更高的超时压缩规格,可以再缩减 80% 以上)。

这类工具主要解决的三个问题

  • 怎么记录
  • 怎么找回记忆
  • 还能做什么

怎么记录

第一个问题挺好解决的,通过 ffmpeg 的录屏功能,就能以较低的帧率与关键帧比来实现低体积的视频存储。

缺点:目前每个片段的记录时长为 15 分钟,需要等记录完毕(或暂停记录)和索引后才能回溯。对于突发想回看过去几秒时,就没有 Rewind 那么便利——得等一下当前片段记录和索引完毕🧎🏻‍♀️。

怎么找回记忆

第二个问题上,目前跳过对录制的视频片段进行关键帧索引,只保留变化较大的画面、使用 Windows 系统级的 OCR API 进行文字识别,过程中忽略一些比较固定的 UI 区域,诸如开始菜单、标签页、花边广告侧栏等,这样可以避免记下一些无用的「烧屏」信息;也可以设定跳过词,来跳过敏感/不重要内容的记录。

索引完毕后,就可以通过最基础关键词、时间范围等筛选进行 SQL 检索啦。为了解决 OCR 中字形相似的不良识别问题,也加入了同时检索相似字形关键词的选项,召回率有不小提升。比如当搜索「你好世界」时,会一并搜索「猕好世界」「称好碟界」「弥好屉界」「尔好泄界」……等等组合。

目前检索维度上还是不够强,兴许未来还可以加上文本嵌入、图像内容识别等新潮方式。

它还能做什么

第三个问题的解法也许是最有价值、最有创意的,毕竟寻找回忆不是高频需求。

Rewind 的答案是用 AI 做结构化的记录,甚至可以用过去的记忆辅助未来的决策、形成生产力,比如用会议的总结等信息来起草邮件。

目前 Windrecorder 还在最小可用原型阶段,但还是加入了力所能及的词云统计、使用数据统计、可以鸟瞰缩略图的光箱等,都是聊胜于无的小功能。AI 生成方面,本地的 LLM 需要吃挺多资源,目前先边走边思考着🤔。

目前这个小工具也许适合这些用户

  • 主要使用 Windows PC 作为主要的终端设备🤔;
  • 经常阅读文本信息,时不时需要回忆一些小线索;
  • 用来寻找电影 / 视频中的字幕(目前还不能用语义的向量来模糊搜寻,对于一两句台词也许还是很难想起来,形态上也无法二维地摊平时间轴上所有字幕);
  • 仓鼠病 / FOMO 患者🤓☝🏻;
  • ……

由于不擅长前端技术,本职也不是 RD🧎🏻‍♀️,工具使用 streamlit 构建了前端。尽管使用了许多 hack 和巧思,体验上与能做的产品功能还是比较有限,一些实现也不够完善、运作还有许多可以优化之处,多少限制了一些它的「好用」。如果你擅长 coding 且也有类似的需求,欢迎一起 contribute ~

它虽然很原始,是一个堪堪可用的最小可用原型,但还是想发出来收集反馈同你的回响!

小感想

一个多月时间试下来,用来找回记忆碎片确实很管用!很方便能回去找到一些关键的线索、为当下建立起关联,也能偶尔翻翻回看过去做了什么。工作上写起周报、绩效等强回忆的材料也不那么痛苦了,哪天做了什么事情一回溯便了然。

长尾效应很明显,开始在想,如果好久好久以前也记录了下来就好了——不过从现在开始也许什么也不晚 🦝。

 📎项目 Github:https://github.com/Antonoko/Windrecorder

> 关注 少数派公众号,解锁全新阅读体验 📰

> 实用、好用的 正版软件,少数派为你呈现 🚀