网站建设工具哪个好,电脑建设网站服务器,如何做一个网站设计,成都网站设计的公司huggingface上有一个demo可以打开就能玩
https://huggingface.co/spaces/mrfakename/E2-F5-TTS
上传了一段懂王的演讲片段#xff0c;然后在 generate text框内填了点古诗词#xff0c;生成后这语气这效果#xff0c;离真懂王就差一个手风琴了。
F5-TTS 项目地址#xf…huggingface上有一个demo可以打开就能玩
https://huggingface.co/spaces/mrfakename/E2-F5-TTS
上传了一段懂王的演讲片段然后在 generate text框内填了点古诗词生成后这语气这效果离真懂王就差一个手风琴了。
F5-TTS 项目地址【GitHub】 SWivid F5-TTS
Diffusion Transformer with ConvNeXt V2, faster trained and inference. 看了下简介这种系统的特别之处在于它采用了一种无自回归的方法结合了流匹配与扩散变换器(DiT)成功简化了传统 TTS 模型中的复杂步骤。 传统的 TTS 模型往往需要进行复杂的持续时间建模、音素对齐和专门的文本编码这些都增加了合成过程的复杂性。尤其是以往的模型如 E2TTS常常面临着收敛速度慢和文本与语音对齐不准确的问题这让它们在现实场景中很难高效应用。而 F5-TTS 的出现正是为了解决这些挑战。
F5-TTS 的工作原理很简单首先将输入的文本通过 ConvNeXt 架构进行处理使其更容易与语音进行对齐。然后经过填充的字符序列与输入语音的噪声版本一起被输入到模型中。
该系统的训练依赖于 Diffusion TransformerDiT通过流匹配有效地将简单的初始分布映射到数据分布上。此外F5-TTS 还创新性地引入了推理时的 Sway Sampling 策略这一策略可以在推理阶段优先处理早期的流步骤从而提高生成语音与输入文本的对齐效果。
根据研究成果F5-TTS 在合成质量和推理速度上都超越了许多当前的 TTS 系统。在 LibriSpeech-PC 数据集上该模型的字错误率WER达到了2.42并且在推理时的实时因子(RTF)为0.15显著优于之前的扩散模型 E2TTS后者在处理速度和鲁棒性上存在短板。 不过我们今天不打算深究模型原理直接上手部署
f5-tts-pc 是hostpath/opt/chenrui/hell/F5-TTS/, github上源码直接扔到该目录下
---apiVersion: v1
kind: PersistentVolumeClaim
metadata:name: f5-tts-pvcnamespace: krm # 确保 PVC 在同一命名空间中
spec:accessModes:- ReadWriteManyresources:requests:storage: 10Gi---apiVersion: apps/v1
kind: Deployment
metadata:name: f5-tts-deploymentnamespace: krm
spec:replicas: 1 # 设置副本数量selector:matchLabels:app: f5-tts # 标签选择器template:metadata:labels:app: f5-tts # 标签spec:containers:- name: container-0image: harbor.yourdomain.com:8443/agent/f5-ttsenv:- name: HF_ENDPOINTvalue: https://hf-mirror.comvolumeMounts:- mountPath: /app # 将 PVC 挂载到 /appname: f5-tts-volume # 与 volumes 中定义的名称匹配terminationMessagePath: /dev/termination-logterminationMessagePolicy: Filevolumes:- name: f5-tts-volumepersistentVolumeClaim:claimName: f5-tts-pvc # 引用 PVC---apiVersion: v1
kind: Service
metadata:name: f5-tts-servicenamespace: krm
spec:type: NodePort # 将 Service 设置为 NodePort 类型selector:app: f5-tts # 匹配 Deployment 中的标签ports:- port: 7860 # Service 的内部端口targetPort: 7860 # 容器内的端口nodePort: 31860 # 外部访问的端口
环境变量记得添加HF的镜像地址 HF_ENDPOINThttps://hf-mirror.com 正常启动后进入pod发现torch无法使用gpu 在容器内使用 torch.cuda.is_available() 返回 False这通常意味着容器未正确配置以访问宿主机的 GPU。翻看运维的手顺找下怎么解决 docker1:下载NVIDIA-DOCKER2安装包并安装2:修改/etc/docker/daemon.json文件内容加上{default-runtime: nvidia,runtimes: {nvidia: {path: /usr/bin/nvidia-container-runtime,runtimeArgs: []}},}k8s:1:下载k8s-device-plugin 镜像2:编写nvidia-device-plugin.yml创建驱动pod安装驱动和cuda
此处不赘述怎么搞docker2和部署nvidia-device-plugin-daemonset 下载下面工具 libnvidia-container1 libnvidia-container-tools nvidia-container-toolkit nvidia-container-runtime nvidia-docker2 docker官网下载链接 http://mirror.cs.uchicago.edu/nvidia-docker/libnvidia-container/stable/ubuntu16.04/amd64/ 部署nvidia-device-plugin-daemonset
apiVersion: apps/v1
kind: DaemonSet
metadata:name: nvidia-device-plugin-daemonsetnamespace: kube-system
spec:selector:matchLabels:name: nvidia-device-plugin-dsupdateStrategy:type: RollingUpdatetemplate:metadata:# This annotation is deprecated. Kept here for backward compatibility# See https://kubernetes.io/docs/tasks/administer-cluster/guaranteed-scheduling-critical-addon-pods/annotations:scheduler.alpha.kubernetes.io/critical-pod: labels:name: nvidia-device-plugin-dsspec:tolerations:# This toleration is deprecated. Kept here for backward compatibility# See https://kubernetes.io/docs/tasks/administer-cluster/guaranteed-scheduling-critical-addon-pods/- key: CriticalAddonsOnlyoperator: Exists- key: nvidia.com/gpuoperator: Existseffect: NoSchedule# Mark this pod as a critical add-on; when enabled, the critical add-on# scheduler reserves resources for critical add-on pods so that they can# be rescheduled after a failure.# See https://kubernetes.io/docs/tasks/administer-cluster/guaranteed-scheduling-critical-addon-pods/priorityClassName: system-node-criticalcontainers:- image: nvidia/k8s-device-plugin:1.0.0-beta4name: nvidia-device-plugin-ctrsecurityContext:allowPrivilegeEscalation: falsecapabilities:drop: [ALL]volumeMounts:- name: device-pluginmountPath: /var/lib/kubelet/device-pluginsvolumes:- name: device-pluginhostPath:path: /var/lib/kubelet/device-plugins继续TSS的启动进入pod 输入命令 rootf5-tts-deployment-6c6fdd5d65-m4mvw:/app/src# export PYTHONPATH$PYTHONPATH:$(pwd) rootf5-tts-deployment-6c6fdd5d65-m4mvw:/app/src# cd f5_tts/ rootf5-tts-deployment-6c6fdd5d65-m4mvw:/app/src/f5_tts# cd infer/ rootf5-tts-deployment-6c6fdd5d65-m4mvw:/app/src/f5_tts/infer# python infer_gradio.py 等待启动完成后打开页面
