网站如何做浮窗,网站申请页面,记事本做网站表格,网页制作网站字节前脚刚发布了文生图大模型 SDXL-Lightning#xff0c;后脚就又对文生视频领域下手了。
就在这几天又推出了文生视频模型#xff1a;AnimateDiff-Lightning#xff0c;它是一种快速的文本到视频生成模型。它生成视频的速度比原始 AnimateDiff 快十倍以上#xff0c;只需…字节前脚刚发布了文生图大模型 SDXL-Lightning后脚就又对文生视频领域下手了。
就在这几天又推出了文生视频模型AnimateDiff-Lightning它是一种快速的文本到视频生成模型。它生成视频的速度比原始 AnimateDiff 快十倍以上只需4-8的推理就可以生成质量非常高的视频。该模型是从AnimateDiff_SD1.5_v2中提炼出来的。
01.介绍
该模型采用了渐进式对抗扩散蒸馏技术恰似可以使用闪电般的快速视频生成。同时字节研发团队也提出了跨模式扩散蒸馏提高蒸馏模块泛化到不同的风格化基本模型的能力。
这一突破性进展也为 AI视频生成领域 带来了新的可能性。
尤其是与 Contorlnet 的配合下视频转绘 的工作流程有望迎来全新的升级。
此外字节团队还开源提供了对应的Comfyui工作流程为开发者提供了一套完整且高效的解决方案。
值得一提的是AnimateDiff-Lightning模型 是从 AnimateDiff SD1.5 v2 中精心提炼而来包含了1步、2步、4步和8步提炼模型。
其中2步、4步和8步模型的生成质量表现尤为突出为用户带来更加优质的体验。
除了模型本身的优秀表现字节还建议使用运动LoRA来进一步提升视频质量。运动LoRA能够产生更强的运动效果建议选择强度在0.7~0.8之间的运动LoRA以避免水印等干扰因素。
02.使用
主要特色功能 仅需 4-8 步推理就能生成高质量视频速度快效果好。 与 Contorlnet 配合提升视频转绘工作流程。 提供 Comfyui 工作流程方便开发者使用。 推荐使用运动 LoRA增强运动效果 应用场景
AnimateDiff-Lightning 模型 的应用场景可以很广泛不限于影视制作、广告宣传、教育培训等多个领域。
03.操作
好了介绍就到这里我们来 ComfyUI 中体验一下。
工作流使用到了两个插件ComfyUI-AnimateDiff-Evolved 和 ComfyUI-VideoHelperSuite
直接在 ComfyUI 管理器 中搜索安装即可或者直接导入工作流在 管理器 中安装缺失节点也是可以的。
这里安装好插件以后记得要把网盘中的文件模型放入指定目录下
\ComfyUI\custom_nodes\ComfyUI-AnimateDiff-Evolved\models好了直接上工作流。 正常文生图的节点听雨这里就不讲了我们讲下和 AnimateDiff 相关的几个节点
这个节点主要是用来选择 AnimateDiff 的模型这里就是选择 AnimateDiff-Lightning 1 步到 8 步模型的地方。
调度器这个主要是决定了在图像生成流程中如何操纵潜在空间来迭代和细化图像的算法这里我们选择 sqrt_linear (AnimateDiff) 就可以了。 这里的步数需要和上一个节点选择的模型一致选择的是 2 步模型这里的步数就选 2。
CFG 默认 1.0 即可采样器和调度器也选择默认的 euler 和 sgm_uniform。 以下的两个节点也是联合使用的批次大小代表总共生成多少张图片。
帧率代表每秒的视频包含多少张图片以下就代表 1 秒的视频里包含了 16 张图片包含的图片越多人物的动作幅度越大相对也就不太稳定。
批次大小 16帧率 16代表生成 1 秒的视频如果想要生成 2 秒的视频那就把批次大小改成 32以此类推。
循环次数就是同一段视频循环几次。
格式就是输出的视频格式了有很多格式可选包括 gif、mp4、webp等等。 也可以结合 AnimateDiff 的运动 Lora 模型只需要在节点 AnimateDif加载器Gen1 的参数 动态LoRA 链接一个 动态LoRA加载器 就可以了。 这里的 LoRA 模型分别代表了向左向右逆时针顺时针向下向上拉近拉运还可以通过强度来控制运动幅度。工作流以及 LoRA 模型也会放在文末的网盘里。
LoRA 模型也需要放在指定的目录下
\ComfyUI\custom_nodes\ComfyUI-AnimateDiff-Evolved\motion_lora在这里插入图片描述
顺便把测试的几个视频也发一下 感兴趣的小伙伴赠送全套AIGC学习资料包含AI绘画、AI人工智能等前沿科技教程和软件工具具体看这里。 AIGC技术的未来发展前景广阔随着人工智能技术的不断发展AIGC技术也将不断提高。未来AIGC技术将在游戏和计算领域得到更广泛的应用使游戏和计算系统具有更高效、更智能、更灵活的特性。同时AIGC技术也将与人工智能技术紧密结合在更多的领域得到广泛应用对程序员来说影响至关重要。未来AIGC技术将继续得到提高同时也将与人工智能技术紧密结合在更多的领域得到广泛应用。
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理形成各个领域的知识点汇总它的用处就在于你可以按照下面的知识点去找对应的学习资源保证自己学得较为全面。 二、AIGC必备工具
工具都帮大家整理好了安装就可直接上手
三、最新AIGC学习笔记
当我学到一定基础有自己的理解能力的时候会去阅读一些前辈整理的书籍或者手写的笔记资料这些笔记详细记载了他们对一些技术点的理解这些理解是比较独到可以学到不一样的思路。 四、AIGC视频教程合集
观看全面零基础学习视频看视频学习是最快捷也是最有效果的方式跟着视频中老师的思路从基础到深入还是很容易入门的。
五、实战案例
纸上得来终觉浅要学会跟着视频一起敲要动手实操才能将自己的所学运用到实际当中去这时候可以搞点实战案例来学习。 感兴趣的小伙伴赠送全套AIGC学习资料包含AI绘画、AI人工智能等前沿科技教程和软件工具具体看这里。 AIGC技术的未来发展前景广阔随着人工智能技术的不断发展AIGC技术也将不断提高。未来AIGC技术将在游戏和计算领域得到更广泛的应用使游戏和计算系统具有更高效、更智能、更灵活的特性。同时AIGC技术也将与人工智能技术紧密结合在更多的领域得到广泛应用对程序员来说影响至关重要。未来AIGC技术将继续得到提高同时也将与人工智能技术紧密结合在更多的领域得到广泛应用。
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理形成各个领域的知识点汇总它的用处就在于你可以按照下面的知识点去找对应的学习资源保证自己学得较为全面。 二、AIGC必备工具
工具都帮大家整理好了安装就可直接上手
三、最新AIGC学习笔记
当我学到一定基础有自己的理解能力的时候会去阅读一些前辈整理的书籍或者手写的笔记资料这些笔记详细记载了他们对一些技术点的理解这些理解是比较独到可以学到不一样的思路。 四、AIGC视频教程合集
观看全面零基础学习视频看视频学习是最快捷也是最有效果的方式跟着视频中老师的思路从基础到深入还是很容易入门的。
五、实战案例
纸上得来终觉浅要学会跟着视频一起敲要动手实操才能将自己的所学运用到实际当中去这时候可以搞点实战案例来学习。
