惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

博客园_首页
GbyAI
GbyAI
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
Apple Machine Learning Research
Apple Machine Learning Research
大猫的无限游戏
大猫的无限游戏
阮一峰的网络日志
阮一峰的网络日志
Last Week in AI
Last Week in AI
V
Visual Studio Blog
酷 壳 – CoolShell
酷 壳 – CoolShell
The Cloudflare Blog
博客园 - 【当耐特】
博客园 - 叶小钗
量子位
博客园 - 聂微东
S
SegmentFault 最新的问题
美团技术团队
Hugging Face - Blog
Hugging Face - Blog
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
月光博客
月光博客
宝玉的分享
宝玉的分享
小众软件
小众软件
罗磊的独立博客
有赞技术团队
有赞技术团队
Stack Overflow Blog
Stack Overflow Blog

少数派

派早报:Google 发布 Fitbit Air 等 - 少数派 「新人报到」確認需求,再開始 - 少数派 从 SOLO 独立开发者社区,我看到了越来越多开发者开始做自己的产品 - 少数派 我怎么管理那些"不常做,但总会忘"的生活事项 - 少数派 人形机器人量产元年,数据才是具身智能的“生死线” - 少数派 BuhoLaunchpad 高度还原 Mac 启动台:开发历程与思考 - 少数派 五年陪伴依然不舍,DIY 换壳后让罗技 MX Master 3 继续服役 - 少数派 新玩意 240|少数派的编辑们最近买了啥? - 少数派 一日一技|为什么你应该关闭 iOS 的键盘声音 - 少数派 我做了个插件和 Skills,一键提取任何网站的设计规范 Design.md - 少数派 住在三四线城市的你,该开始录播客了 - 少数派 甘南秘境,大白高国 - 少数派 AI的审美:谁让把我变成川内倫子 - 少数派 返工怎能不烦恼,打工人片单总有一部是你的「嘴替」 - 少数派 为了让「上厕所」更健康,我做了一个小工具 - 少数派 AI + Skill,能够让生成的文章去除 AI 味吗? - 少数派 新玩意|韶音OpenDots ONE 耳夹式耳机 - 少数派 《美满》| 在每一个春天的晚上相爱(362) - 少数派 新玩意|优篮子 PS01 MagSnap 磁吸支架 - 少数派 自我整合手记 | 我开始早睡了:用稳定规则,为自由托底 - 少数派 用龙虾(OpenClaw)两个多月,我最深的12个体会 - 少数派 听歌时间到,12 张你可能错过的 2025 华语乐坛好专辑 - 少数派 承诺能追吗 - 少数派 macOS 26启动台没了? 我做了个不一样的App启动器 - Keboard - 少数派 《四海为家的人》| INTJ对话INTJ(361) - 少数派 你发过的那些黑历史,是时候一次清干净了 - 少数派 新玩意:安安静静玩,越玩越专注:计客密码机 - 少数派 iPad 用户首次体验 Android 平板:vivo Pad6 Pro - 少数派 数据逻辑强 - 少数派 极北行+ | 一路向北,探访日本至北之地 | 001 - 少数派
用 AI 为图片「摘下面纱」,waifu2x 如何拯救你的 macOS 修图...
2022-07-25 · via 少数派

我们需要图片,清晰的图片。

从传统媒体到网络社群,无论创作的方式如何改变,图片总是其中最快速且最直观的信息载体。尽管如今的互联网上有无数种检索图片的方式,但在专门的图库类网站之外,想要获取到质量较高的图片并不是一件十分容易的事情。过去,我们使用「搜索引擎 + 关键词」进行广撒网式的捕捞式素材检索;当人工智能开始崭露头角,使用「以图搜图」对图片进行溯源成为了获取高清素材的主要方式。

如今,使用 AI 技术直接对图片进行「高清化」处理不仅成为了可能,更发展成一种简单高效的图像修复技术。特别在一些开源工具和模型的帮助下,普通用户也可以在手机和电脑上使用这一技术来修复图片和视频,waifu2x 就是其中口碑良好、维护稳定的选择。

我们早在四年前的《下载的图片太模糊?8 个方法把它变清晰》这篇文章中介绍了 waifu2x,而现在,终于有开发者将其引入到了 macOS 之上。

卷积神经网络(Convolutional Neural Networks, CNN)是一类常用于视觉图像分析的深度神经网络,简而言之,卷积神经网络可以提取、归纳和学习特定图像的特征并将其用于任务处理,由于其卷积层对机器学习的特征进行了拆分和过滤,因此即使输入对象发生一定程度的位移和形变亦不影响结果的输出。

waifu2x 是一种利用深度卷积神经网络对图片或视频进行高清化修复和缩放的图像处理算法。相对于传统的插值算法,waifu2x 的超分辨率成像(Super-resolution)+ 降噪机制可以最大限度地避免锯齿、模糊、色块等问题,提升画面的锐利度和纯净度,从而达到改善视觉观感的目的。

最初,waifu2x 主要被用于修复 ACG 内容。随着这一技术的广泛应用和机器学习技术的普及和深入,第三方开发者开发的各类 waifu2x GUI 逐渐成为主流,许多基于 waifu2x、应用于特定内容图像的模型也被训练出来。由此,waifu2x 在泛用性得到极大提升的同时也显著降低了操作门槛,在 Windows 平台上已经出现了不少简单好用的 waifu2x 软件,但出于软件适配和硬件兼容性上的各种原因,macOS 这一边的状况一直有些乏善可陈。

长期以来,macOS 可用的 waifu2x 软件都或多或少的存在功能、性能和稳定性上的缺陷,不过这些略有瑕疵的作品一般出自爱好者之手,出现问题也无可厚非。好在,GitHub 的独立开发者 @Vaida 为我们带来了更加完善的 waifu2xExtension

waifu2xExtension 简单易用且功能强大,跟随本文完成基本的配置后,我们就可以在 macOS 上优雅的使用 waifu2x 进行图像处理了。

*本文演示内容来自 5.0 Beta 8 版本,无法保证未来更新的软件版本在操作和功能上的一致性。

算法模型

waifu2xExtension 自带 waifu2x-caffe 的算法模型,直接安装即可正常工作。但如果需要处理更加复杂的图像并获得最佳效果,则必须安装特定的算法模型。waifu2xExtension 支持六种算法模型,分别为:

  • Real-CUGAN ncnn Vulkan - 为 ACG 内容定制的 AI 超分辨率算法
  • Real-ESRGAN - 倾向于 ACG 内容、具备通用性的 AI 超分辨率算法(速度快,对人脸及文字内容效果较差)
  • RealSR ncnn Vulkan - 倾向于真实内容的 AI 超分辨率算法
  • CAIN ncnn Vulkan - 只能用于 0.5 时刻点(两帧插一帧)的 AI 视频补帧算法
  • rife-ncnn-vulkan - 只能用于 0.5 时刻点(两帧插一帧)的 AI 视频补帧算法(速度较快,效果非常好)
  • DAIN ncnn Vulkan - 支持任意时刻点插帧的 AI 视频补帧算法(速度最慢,占用最高,效果非常好)

你可以按需下载算法模型,并将其放置于同一个固定的路径下,这里建议在「文稿」中直接创建一个专门用于存放模型的文件夹以备后续更新之用。waifu2xExtension 也能使用在此列表之外的算法模型,但可能会出现兼容性问题。

安装和使用

在 macOS 安装并打开 waifu2xExtension,在软件设置中即可进入 waifu2xExtension 的模型管理界面。无论是首次安装模型或更新模型,只需选择在对应的选项右侧选择「打开 Finder」,然后在弹出的访达窗口中选择对应模型的文件夹即可。

如图所示,已经安装完成的模型将会在名称左侧和下方分别显示安装状态和文件容量,但 waifu2xExtension 目前无法自动更新模型,你可以右击需要更新的模型,在菜单中选择「在 Github 上显示」以快速跳转至发布页面,并手动下载和安装更新。

除此之外,waifu2xExtension 支持 TTA(测试时增强,Test Time Augmentation),这一技术旨在处理时对输入图像进行包括不同区域裁剪和更改缩放程度等多种变换,创造出多个不同的版本,再将这些版本进行比对以调整输出结果,从而获得更好的画质。如果你的 mac 性能较差,在设置中勾选「Disable TTA」关闭这一功能则可以在一定程度上提升处理效率,提升软件稳定性和缩短等待时间。

由于增加了多种模型的支持,waifu2xExtension 对比一般的 waifu2x 软件的「导入 - 处理 - 导出」流程加入了选择模型这一流程,以及适配于每个模型的处理和导出设置(目前包括图像内容、缩放倍率以及降噪参数,未来或将加入更多选项)。

使用「添加」功能、或将需要处理的文件或文件夹直接拖入 waifu2xExtension 的主窗口并点击右上角的「完成」,软件会将可用模型及选项集成在导出界面以供选择和调整,此时再点击导出界面右下角的「完成」即可以当前设置处理并导出文件。

总结

waifu2xExtension 可能是 macOS 目前最好用的 waifu2x 前端,其优势主要包含以下几点:

  • 支持多种图片和视频格式,不仅可以进行图像高清化处理,还可以为视频补帧
  • 额外支持六种可选的算法模型,通过切换算法模型为不同风格的图像选择最优质量
  • 全部采用 SwiftUI 构建,在 macOS 上的运行效率和稳定性极佳
  • 支持调用 M1/M2 mac 的 ANE 实现硬件加速,同功耗下处理时间显著优于传统的 CPU / GPU 加速
  • 支持完全离线运行,隐私友好

最新的 waifu2xExtension 5.0 Beta 8 版本对软件进行了重写,旧版本的部分功能尚未在新版本上实装。如果你需要导出前预览和模型效果对比等高级功能,可以先使用 4.1.3 稳定版,待 5.0 版本全部开发完成后再升级。

彩蛋

我们使用 waifu2xExtension 将「煮机网」时期的粉丝投稿的插画修复至「比原图更清晰」的标准。

> 下载 少数派 2.0 客户端、关注 少数派公众号,解锁全新阅读体验 📰

> 实用、好用的 正版软件,少数派为你呈现 🚀