YouDub-优质视频中文化工具

简介

YouDub 是一个创新的开源工具，专注于将 YouTube 等平台的优质视频翻译和配音为中文版本。此工具融合了先进的 AI 技术，包括语音识别、大型语言模型翻译以及 AI 声音克隆技术，为中文用户提供具有原始 YouTuber 音色的中文配音视频。

项目地址：https://github.com/liuzhao1225/YouDub

主要特点

• AI 语音识别：有效转换视频中的语音为文字。

• 大型语言模型翻译：快速且精准地将文本翻译成中文。

• AI 声音克隆：生成与原视频配音相似的中文语音。

• 视频处理：集成的功能实现音视频的同步处理。

安装与使用指南

1. 克隆仓库

   ：

   git clone https://github.com/liuzhao1225/YouDub.git

2. 安装依赖

   ： 进入

   YouDub

   目录并安装所需依赖：

   cd YouDub
   pip install -r requirements.txt

3. 运行程序

   ： 使用以下命令启动主程序：

   python main.py

使用步骤

• 准备需要翻译的视频文件并放置于输入文件夹。

• 指定输出文件夹以接收处理后的视频。

• 系统将自动进行语音识别、翻译、声音克隆和视频处理。

技术细节

AI 语音识别

目前， AI 语音识别功能是基于 Whisper 实现的。Whisper 是 OpenAI 开发的一款强大的语音识别系统，能够精确地将语音转换为文本。考虑到未来的效率和性能提升，我们计划评估并可能迁移到 WhisperX，这是一个更高效的语音识别系统，旨在进一步提高处理速度和准确度。

大型语言模型翻译

翻译功能支持使用 OpenAI API 提供的各种模型，包括官方的 GPT 模型。此外，我们也在探索使用类似 api-for-open-llm 这样的项目，以便更灵活地整合和利用不同的大型语言模型进行翻译工作。

AI 声音克隆

声音克隆方面，我们目前使用的是 Paddle Speech。虽然 Paddle Speech 提供了高质量的语音合成能力，但目前尚无法在同一句话中同时生成中文和英文。在此之前，我们也考虑过使用 Coqui AI TTS，它能够进行高效的声音克隆，但同样面临一些限制。

视频处理

视频处理功能强调音视频的同步处理，例如确保音频与视频画面的完美对齐，以及生成准确的字幕，从而为用户提供一个无缝的观看体验。