惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

IT之家
IT之家
Recent Announcements
Recent Announcements
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
The GitHub Blog
The GitHub Blog
MyScale Blog
MyScale Blog
爱范儿
爱范儿
GbyAI
GbyAI
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
美团技术团队
Y
Y Combinator Blog
博客园 - 叶小钗
Apple Machine Learning Research
Apple Machine Learning Research
Martin Fowler
Martin Fowler
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
罗磊的独立博客
M
MIT News - Artificial intelligence
博客园 - Franky
V
Visual Studio Blog
I
InfoQ
V
V2EX
Hugging Face - Blog
Hugging Face - Blog
腾讯CDC
博客园 - 司徒正美
L
LangChain Blog

少数派

派早报:Google 发布 Fitbit Air 等 - 少数派 「新人报到」確認需求,再開始 - 少数派 从 SOLO 独立开发者社区,我看到了越来越多开发者开始做自己的产品 - 少数派 我怎么管理那些"不常做,但总会忘"的生活事项 - 少数派 人形机器人量产元年,数据才是具身智能的“生死线” - 少数派 BuhoLaunchpad 高度还原 Mac 启动台:开发历程与思考 - 少数派 五年陪伴依然不舍,DIY 换壳后让罗技 MX Master 3 继续服役 - 少数派 新玩意 240|少数派的编辑们最近买了啥? - 少数派 一日一技|为什么你应该关闭 iOS 的键盘声音 - 少数派 我做了个插件和 Skills,一键提取任何网站的设计规范 Design.md - 少数派 住在三四线城市的你,该开始录播客了 - 少数派 甘南秘境,大白高国 - 少数派 AI的审美:谁让把我变成川内倫子 - 少数派 返工怎能不烦恼,打工人片单总有一部是你的「嘴替」 - 少数派 为了让「上厕所」更健康,我做了一个小工具 - 少数派 AI + Skill,能够让生成的文章去除 AI 味吗? - 少数派 新玩意|韶音OpenDots ONE 耳夹式耳机 - 少数派 《美满》| 在每一个春天的晚上相爱(362) - 少数派 新玩意|优篮子 PS01 MagSnap 磁吸支架 - 少数派 自我整合手记 | 我开始早睡了:用稳定规则,为自由托底 - 少数派 用龙虾(OpenClaw)两个多月,我最深的12个体会 - 少数派 听歌时间到,12 张你可能错过的 2025 华语乐坛好专辑 - 少数派 承诺能追吗 - 少数派 macOS 26启动台没了? 我做了个不一样的App启动器 - Keboard - 少数派 《四海为家的人》| INTJ对话INTJ(361) - 少数派 你发过的那些黑历史,是时候一次清干净了 - 少数派 新玩意:安安静静玩,越玩越专注:计客密码机 - 少数派 iPad 用户首次体验 Android 平板:vivo Pad6 Pro - 少数派 数据逻辑强 - 少数派 极北行+ | 一路向北,探访日本至北之地 | 001 - 少数派
如何不花钱,让人工智能帮你视频抠图? - 少数派
2021-05-20 · via 少数派

Matrix 首页推荐

Matrix 是少数派的写作社区,我们主张分享真实的产品体验,有实用价值的经验与思考。我们会不定期挑选 Matrix 最优质的文章,展示来自用户的最真实的体验和观点。

文章代表作者个人观点,少数派仅对标题和排版略作修改。


自从去年以来,因为线上教学和当 UP 主,我录制视频的机会显著增多了。只不过,视频背景的处理一直是个痛点,这是我最近录的一段视频开头部分。

你如果一直在看我的视频节目,对这个背景兴许并不陌生。我真的喜欢后面墙上不规则的黑板白班、脱落的墙皮和不知道什么颜料的笔画上去的线条吗?

当然不是。但是我没有选择。家里地方小,东西堆得满。能利用的地方,只有这么大而已。之前在视频教程里面,我给你介绍过人工智能应用 runwayml 把任何的视频背景都变成绿幕。

这样你就可以把背景换成你想要的样子。书房、图书馆、咖啡馆……甚至是太空。

但是这个方法有些问题。一来需要你手工进行微调(主要对于边缘未能正确识别的区域),二来价格比较高。原先我试用的时候是 15 美金/月。刚刚打开网站又看了一眼——又涨价了。现在需要 28 美金/月,还是按年支付的优惠价格。

面对高价,我是不是得转回头,每次都把绿幕弄上呢?

不。明明有了新的技术,咱可不能这么容易服输。好在,我发现了另一款同样基于人工智能的应用。它可以变任意背景为绿幕效果,不需要你手动进行边缘色块调整,而且还免费

在官网主页上面,有一些实际效果的演示,例如这一个:

实话实说,我被震惊了。别说是人像边缘了,就连快速抖动散乱头发的抠图,都做得堪称完美。应用的作者是一群来自华盛顿大学的研究者。

你要是对这个应用背后的技术细节感兴趣,他们的论文 也可以全文阅读。

下面我们来说说这个抠图应用怎么用。尽管作者在官网主页上提供了源代码和脚本样例,但是我觉得最好的使用方式,还是使用 Google Colab Notebook 的方式。

打开之后,大概长这样。

这个样例 Colab Notebook 里包含的代码块,一共只有5个,很简洁。而且其中前两个还是可以忽略的。

因为第一行是安装 gdown 软件包依赖。而实际上,这个软件包是 Google Colab 自带默认载入的。因此没有必要重新安装。

至于第二代码块的两行,则是只有你使用应用自带样例的时候才需要。

!gdown https://drive.google.com/uc?id=1tCEk8FE3WGrr49cdL8qMCqHptMCAtHRU -O /content/src.mp4 -q
!gdown https://drive.google.com/uc?id=1wAR3JjnTO60B_DUr7ruIJj0Z2pcIGkyP -O /content/bgr.png -q

你只需要在页面左侧的文件管理器中,点击按钮,上传自己的视频文件为 src.mp4 ,背景图片为 bgr.png,就可以了。

这里,我必须要说明一下,需要自己上传背景照片这一点,现在还让人感觉麻烦。不过我实际操作了一下,录像之后随手拍了一张背景图,也就是这个样子。倒也不费什么事。

看了背景之后,你大概也明白我为啥非想要把它去除了吧?

越过前面2个代码块,咱们直接依次执行后面的3个。如果你对 Google Colab 的操作不是很熟悉,也可以参考一下我的这篇《如何用 Google Colab 练 Python?》。

执行过程你需要稍微等待一会儿,电脑在云端积极地帮你进行运算处理。当处理结束的时候,你会在 output 目录下面看到若干个文件。其中的 com.mp4 是我们需要的。打开以后,是这个样子的。

可以看到,前面人像在动,但是边缘处理非常妥帖。在 output 目录下面,你还能看到几个其他的视频文件。它们都是输出过程中产生的副产品。例如这个,是机器帮你扣出的前景动态轮廓。

我是用一个完整视频的前 10 秒,进行的测试。现在测试成功了,我于是换上完整版视频。视频长度为 10 分钟左右,体积大约 900MB。这次的处理,就比较缓慢了。我等了一个多小时,才算弄好。不过其实这里是可以优化提速的,下文有介绍。

Google Colab 运行在云端,不需要消耗本机计算资源。你不需要时刻把窗口开在前面,甚至可以中途盖上笔记本盖子休眠。只需要保证窗口离线时间不要太久就好。我的经验是半个小时左右开启看一次就好。如果已经离线,Colab 会自动尝试重新连接运行时(Runtime)。

我这里有几个小建议。首先,你当然也可以直接把 900MB 的视频上传到 Google Colab 的文件工作区。但是这个上传速度,会很慢。

我建议你先把视频文件存储到 Google Drive 里面,然后利用 gdown 命令,下载到 Colab。从 Google Drive 到 Colab ,比直接上传,能快上十倍不止。我这里仿照 Notebook 默认样例,写下来的语句是这样的。

!gdown https://drive.google.com/uc?id=1AKmOVf3h8o-BkATV6WZownknkDp6GZJH -O /content/bgr.png -q

第二个问题是背景图片。尽管我是在同一地点按下手机的拍照按钮,但是因为 iPhone 摄像的设定,录像的分辨率(1920x1080)和手机拍照的分辨率不一致,就会导致报错。问题解决起来并不复杂。我找到了这样一个网站,叫做 aconverter。它可以免费在线转换图片的格式和分辨率。

这里我设定转成 PNG 格式,并且把新的分辨率强制设定为 1920x1080,运行的时候就没有再次报错了。

第三,是我真正转换完毕,才发现的问题,那就是其实 Notebook 里面有提示。如果只需要转换结果,不需要那些副产品,则运行速度可以提升的。

你所需要做的,只是把最后一个代码块中的这一句

--output-type com fgr pha err ref

改成

--output-type com

就可以了。

成功转换视频背景为绿幕之后,我在 unsplash 网站上面找到了一个不要版权的背景图片。

看着挺眼熟吧?没错,不少在线会议网站,都用了这个背景图。

最终合成的效果,是这个样子的。

怎么样,这背景看着,还挺像回事吧?

小结一下,这款新的人工智能抠图应用使你无需购买或使用绿幕,便可以利用免费的 Google Colab Notebook ,获得几乎完美的抠图效果。

你有没有更好的视频抠图方式呢?欢迎在留言区分享给大伙儿。咱们共同学习交流。

如果你觉得本文有用,请点赞。如果本文可能对你的朋友有帮助,请转发给他们。欢迎关注我的专栏,以便及时收到后续的更新内容。

延伸阅读

题图:Photo by KAL VISUALS on Unsplash

> 下载 少数派 2.0 客户端、关注少数派公众号,解锁全新阅读体验📰

> 实用、好用的 正版软件,少数派为你呈现🚀