VideoTrans 是一个开源的自动视频翻译项目,可以将一种语言的视频翻译为指定语言的视频(自动生成新语言字幕与配音),让很多人心目中大胆的想法变为现实。@Appinn

VideoTrans - 开源视频翻译项目:自动识别并生成字幕后,翻译 + 配音

大胆的想法

所谓大胆的想法,就是你自己拍摄了一段自我介绍视频,通过 VideoTrans 将其翻译为你的英文自我介绍。

也可以是日文视频翻译为中文、英文视频翻译为中文等等,带配音的那种。

VideoTrans视频翻译和配音

来自发现频道,同学 @jameon512 自荐:https://meta.appinn.net/t/topic/48632

VideoTrans - 开源视频翻译项目:自动识别并生成字幕后,翻译 + 配音[Windows] 1

一个视频翻译配音工具,可将一种语言的视频翻译为指定语言的视频,自动生成和添加该语言的字幕和配音(免费、开源,没有任何限制)。

只需要 CPU 就能完成这项工作,没有 GPU(显卡)也没任何问题。只不过稍微有点慢。

技术路线是这样的

  • 语音识别基于 faster-whisper 离线模型。
  • 文字翻译支持 google|baidu|tencent|chatGPT|Azure|Gemini|DeepL|DeepLX|离线翻译OTT 。
  • 文字合成语音支持 Microsoft Edge tts Openai TTS-1 Elevenlabs TTS。
  • 允许保留背景伴奏音乐等(基于uvr5)

关于使用机器配音这个问题,青小蛙的感觉是目前还是人类的声音好听,机器声音虽然生成迅速,但缺少了灵魂。不过在 没有 之间,还是先选择比较好。之后再解决还是更好的问题。

还有段开发者提供的视频:

i

获取

由于安装包里包括了模型,所以巨大。开发者提供了百度盘和 GitHub 下载,青小蛙添加一个夸克吧。

  • 官网
  • GitHub
  • 夸克(稍等一会)

原文:https://xbcpy.com/