600种语言、3秒录音,这个免费TTS能克隆你的声音

以下内容由3377体育整理:

一个免费开源的语音合成模型,能覆盖600种以上语言,还能只凭3到10秒的录音复刻说话人的音色。

它叫OmniVoice,项目挂在k2-fsa名下,官方给它贴的标签是「面向600种以上语言的高质量声音克隆TTS」。

它做的是文本转语音,核心能力是「零样本声音克隆」——不需要针对某个人的声音再做额外训练,输入一段参考音频,模型就能按这段声音的特征去读新句子。

官方演示页「Massive Multilingual Zero-shot TTS」把原始提示音频、待朗读文本和生成结果并排摆出来,供人直接对比。

演示页的语言菜单里列了 102种语言 的样本,日语也在其中。

切到日语,页面会同时给出日语的参考音频和另一段文本的合成结果,用来确认生成的声音是否延续了原声特征。

跨语言克隆也被单独拿出来展示。

用另一种语言录下的声音去驱动目标语言的朗读,这条路能走通,但官方提醒:参考音频的语言口音可能残留在生成结果里,更稳妥的做法是准备和目标语言一致的参考音频。

不想用现成声音,也可以凭空捏一个。

「Voice Design」允许直接指定性别、年龄、音高来生成音色。

更细的控制放在「Fine-Grained Control」里,比如在文本中插入「[laughter]」,让合成结果里带上笑声,把语言之外的声音也编进朗读里。

本地跑起来的流程并不复杂。

在装有NVIDIA GPU的Windows 11上,用Python和Git for Windows的Git Bash建好工作目录,依次执行建虚拟环境、安装torch与torchaudio、安装omnivoice三步,再用一条命令拉起本地Web界面,浏览器访问 127.

0.

0.

1:8001 就能看到演示工具。

界面里输入要合成的文本,在「Reference Audio」处点麦克风图标录一段 3到10秒 的音频,或者直接上传录音文件,语言选「Japanese」,点「Generate」,结果会出现在「Output Audio」里,点播放即可试听。

切到「Voice Design」则是另一条路:性别设为Female、年龄设为Young Adult、音高设为High Pitch,点生成,不用任何参考音频就能得到一个新声音。

此外还配了长文自动切分生成、语音设置的保存与复用,以及多GPU批量处理。

对一个免费模型来说,这些工程侧的配套,决定了它是能拿来演示,还是能拿来干活。

特别

about image

更多赛事消息,关注3377体育。

分享这篇文章

复制页面链接,稍后继续阅读或分享给朋友。