网站设计与开发怎么做,seo怎么收费的,网站备案密码重置,网页翻译哪个好用前两天 2noise 团队开源了ChatTTS项目#xff0c;并且释出了相关的音色模型权重#xff0c;效果确实非常惊艳#xff0c;让人一听难忘#xff0c;即使摆在微软的商业级项目Azure-tts面前#xff0c;也是毫不逊色的。
ChatTTS是专门为对话场景设计的文本转语音模型#x…
前两天 2noise 团队开源了ChatTTS项目并且释出了相关的音色模型权重效果确实非常惊艳让人一听难忘即使摆在微软的商业级项目Azure-tts面前也是毫不逊色的。
ChatTTS是专门为对话场景设计的文本转语音模型例如大语言助手对话任务。它支持英文和中文两种语言。最大的模型使用了10万小时以上的中英文数据进行训练。目前在huggingface中的开源版本为4万小时训练且未SFT的版本。
本次分享一下如何在本地部署ChatTTS项目。
配置ChatTTS环境
首先确保本地已经安装好Anaconda软件包运行命令创建虚拟环境:
conda create -n ChatTTS python3.11之所以选择Python3.11的版本是因为该版本的整体性能更好。
随后克隆官方的项目
git clone https://github.com/2noise/ChatTTS.git进入项目
cd ChatTTS激活虚拟环境
conda activate ChatTTS安装项目依赖
pip install -r requirements.txt最后安装gpu版本的torch:
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121注意这里默认的cuda版本是12.1如果你的本地cuda是11.8那么就安装对应11.8的torch:
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118至此环境就配置好了。
ChatTTS的基本使用
首先是最基本的文字转语音功能
import ChatTTS
from IPython.display import Audio chat ChatTTS.Chat()
chat.load_models() texts [你好啊,] wavs chat.infer(texts, use_decoderTrue)
Audio(wavs[0], rate24_000, autoplayTrue)这里 ChatTTS 是项目内的文件夹模块初始化后直接调用infer方法即可进行音频推理。
需要注意的是首次运行会默认在Huggingface上下载模型需要学术上网环境。
ChatTTS的进阶用法
###################################
# Sample a speaker from Gaussian.
import torch
std, mean torch.load(ChatTTS/asset/spk_stat.pt).chunk(2)
rand_spk torch.randn(768) * std mean params_infer_code { spk_emb: rand_spk, # add sampled speaker temperature: .3, # using custom temperature top_P: 0.7, # top P decode top_K: 20, # top K decode
} ###################################
# For sentence level manual control. # use oral_(0-9), laugh_(0-2), break_(0-7)
# to generate special token in text to synthesize.
params_refine_text { prompt: [oral_2][laugh_0][break_6]
} wav chat.infer(PUT YOUR TEXT HERE, params_refine_textparams_refine_text, params_infer_codeparams_infer_code) ###################################
# For word level manual control.
# use_decoderFalse to infer faster with a bit worse quality
text What is [uv_break]your favorite english food?[laugh][lbreak]
wav chat.infer(text, skip_refine_textTrue, params_infer_codeparams_infer_code, use_decoderFalse)这里通过 std, mean torch.load(‘ChatTTS/asset/spk_stat.pt’).chunk(2) 方法来固定音色。
随后通过 params_refine_text 来人为的增加笑声和断句。
ChatTTS的中文样例
最后是一个ChatTTS的中文推理例子
inputs_cn
chat T T S 是一款强大的对话式文本转语音模型。它有中英混读和多说话人的能力。
chat T T S 不仅能够生成自然流畅的语音还能控制[laugh]笑声啊[laugh]
停顿啊[uv_break]语气词啊等副语言现象[uv_break]。这个韵律超越了许多开源模型[uv_break]。
请注意chat T T S 的使用应遵守法律和伦理准则避免滥用的安全风险。[uv_break]
.replace(\n, ) params_refine_text { prompt: [oral_2][laugh_0][break_4]
}
audio_array_cn chat.infer(inputs_cn, params_refine_textparams_refine_text)
audio_array_en chat.infer(inputs_en, params_refine_textparams_refine_text)文本内容可以通过[laugh]和[uv_break]标识来进行笑声和语气停顿的定制化操作
结语
诚然没有完美的产品ChatTTS的模型稳定性似乎还有待提高, 偶尔会出现其他音色或音质很差的现象这是自回归模型通常都会出现的问题说话人的音色也有可能会在一定范围内变化, 可能会采样到音质非常差的结果, 这通常难以避免. 可以多采样几次来找到合适的结果俗称抽卡最后奉上一键整合包与众乡亲同飨
ChatTTS新版整合包https://pan.quark.cn/s/e07f47edf82a
