waifuExtension 是一款 Mac 上的 waifu2x 图形界面工具,它利用 CPU、GPU、ANE 进行机器学习放大视频和图像,支持对视频进行插帧。@Appinn

waifuExtension - Mac 上的 waifu2x,用机器学习放大视频和图像,拥有图形界面,支持 Real-ESRGAN 模型

来自发现频道,@blacklein 同学的推荐:

waifuExtension – macOS上针对照片、动画图片的分辨率放大工具

waifu2x 大家应该都不陌生了,二次元图像无损放大,现在已经有不少类似的开源项目,其中 Windows 平台的 Waifu2x-Extension-GUI 应属于其中的集大成者,几乎囊括了目前所有的图像无损放大模型开源项目,小众软件之前也推荐过:

  • https://www.appinn.com/waifu2x-extension-gui/

可惜我是 Macbook Pro,用虚拟机无法运行 Waifu2x-Extension-GUI 或此类需要调用 GPU 的软件,基本上能找到的开源项目都试过了,全部报错,只能用 Bootcamp 才能运行。

macOS 上能用的基于 waifu2x 模型的开源项目很久未更新了,例如下面两个:

  • GitHub – imxieyi/waifu2x-mac
  • GitHub – moeoverflow/waifu2x-ncnn-vulkan-macos

后来了解到一个新的模型 Real-ESRGAN,这个开源项目提供了一个 macOS 可以运行的二进制程序,小众软件在2021年10月介绍过:

  • Real-ESRGAN – 针对照片、动画图片的分辨率放大工具
waifuExtension - Mac 上的 waifu2x,用机器学习放大视频和图像,拥有图形界面,支持 Real-ESRGAN 模型 1

我试了下发现确实可以在 Intel 和 M1 芯片的 Macbook Pro 上运行,而且放大效果比 waifu2x 更强(但会损失一些模糊、景深之类细节,线条更加锐利,适合画面比较干净比较亮的二次元图像,但说实话我觉得损失的细节并没有影响到画面整体成像效果)

虽然 Real-ESRGAN 的二进制程序解决了 macOS 上的有无问题,但每次使用都要用终端,总归是有些不方便。不过我一直没找到使用 Real-ESRGAN 模型的 macOS app

然后机缘巧合吧,在 GitHub 上发现了一个最近新出的 The waifu2x on Mac 的开源项目,并且是用 swiftUI 写的,抱着试试的心态发了个 issue,建议作者加入 Real-ESRGAN 模型,没想到作者回复超快,第二天就更新了 release,其中包含了多个模型就有 Real-ESRGAN,挺开心的,就想分享给大家,前面废话多了些,多包涵啦。

waifuExtension 项目地址

  • GitHub:https://kutt.appinn.net/eimAoN
  • 发现:https://meta.appinn.net/t/topic/30878

注意,waifuExtension 项目文件有 754 MB,青小蛙并未下载测试,下图来自官网:

waifuExtension - Mac 上的 waifu2x,用机器学习放大视频和图像,拥有图形界面,支持 Real-ESRGAN 模型 2
waifuExtension - Mac 上的 waifu2x,用机器学习放大视频和图像,拥有图形界面,支持 Real-ESRGAN 模型 3
waifuExtension - Mac 上的 waifu2x,用机器学习放大视频和图像,拥有图形界面,支持 Real-ESRGAN 模型 4

ANE 是什么?

waifuExtension 支持 CPU、GPU、ANE,而这个 ANE,是 Apple 的神经引擎 Apple Neural Engine,大多数 iPhone 与 iPad 都支持(A11+ 开始支持,以及 M1 芯片),这是一个特殊的处理器,可以使机器学习模型的速度非常快,但关于这个处理器的实际工作原理,公开知道的不多。

苹果神经引擎(或称 ANE)是一种 NPU,即神经处理单元的意思。它就像一个 GPU,但 NPU 不是加速图形,而是加速神经网络操作,如卷积和矩阵乘法。

ANE 并不是唯一的 NPU,除了苹果之外,许多公司都在开发自己的 AI 加速器芯片。除了神经引擎,最著名的 NPU 是 Google’s TPU (Tensor Processing Unit)。

本文链接:https://www.appinn.com/waifuextension-for-macos/


另外,@blacklein 同学还在求 Vector Magic 的平替软件,一个把位图转换为矢量图的软件,但年久失修,有线索的同学欢迎前往b z https://meta.appinn.net/t/topic/30877