某公司网站源码,淮安市建设监理协会网站,网站模板视频教程,东莞住房和城乡建设网浙大提出的VidSketch是第一个能够仅通过任意数量的手绘草图和简单的文本提示来生成高质量视频动画的应用程序。该方法训练是在单个 RTX4090 GPU 上进行的#xff0c;针对每个动作类别使用一个小型、高质量的数据集。VidSketch方法使所有用户都能使用简洁的文本提示和直观的手绘…浙大提出的VidSketch是第一个能够仅通过任意数量的手绘草图和简单的文本提示来生成高质量视频动画的应用程序。该方法训练是在单个 RTX4090 GPU 上进行的针对每个动作类别使用一个小型、高质量的数据集。VidSketch方法使所有用户都能使用简洁的文本提示和直观的手绘草图轻松创建令人惊叹的高质量视频动画。 上图为VidSketch生成的视频动画。该方法使用手绘草图序列相应的草图放置在各个帧的左上角从上到下的示例由 1、2、4 和 6 个草图引导和简单的文本提示生成视频动画。这使得创建高质量、时空一致的视频动画成为可能打破了艺术行业的障碍。VidSketch方法使所有技能水平的用户都能使用简洁的文本提示和直观的手绘草图轻松创建令人惊叹的高质量视频动画。
相关链接 论文http://arxiv.org/abs/2502.01101v1 主页https://csfufu.github.io/vid_sketch 代码https://github.com/CSfufu/VidSketch
论文介绍
随着生成式人工智能的进步先前研究已经实现了从手绘草图生成唯美图像的任务满足了大众对于绘画的需求。但这些方法局限于静态图像缺乏对手绘草图生成视频动画的控制能力。
针对这一问题论文提出的VidSketch是第一个能够直接从任意数量的手绘草图和简单的文本提示生成高质量视频动画的方法弥合了普通用户和专业艺术家之间的鸿沟。 具体而言该方法引入了一种基于级别的草图控制策略在生成过程中自动调整草图的引导强度以适应具有不同绘画水平的用户。此外还设计了时间空间注意机制来增强生成的视频动画的时空一致性显著提高跨帧连贯性。
不同类别的手绘草图 不同风格的 VidSketch 它是如何工作的
手绘草图驱动的视频生成
VidSketch 的管道。在训练期间使用按类型分类的高质量小规模视频数据集来训练增强型 SparseCausal-Attention (SC-Attention) 和时间注意模块从而提高视频动画的时空一致性。在推理期间用户只需输入提示和草图序列即可生成量身定制的高质量动画。具体来说第一帧是使用 T2I-Adapter 生成的而整个草图序列由 Inflated T2I-Adapter 处理以提取信息该信息被注入 VDM 的上采样层以指导视频生成。 训练方法遵循传统的 VDM 框架。首先在互联网上进行了广泛的搜索为每个动作类别收集了 8-12 个高质量的训练视频。随后为每个动作类别分别训练了 SparseCausal-Attention 和 Temp-Attention 模块。这种策略有效地缓解了高质量视频数据有限的挑战增强了生成视频的时空一致性和质量。
抽象级草图控制策略
考虑到用户绘画水平的差异性我们对素描序列的连续性、连通性、纹理细节等进行了细致的量化分析综合评估素描序列的抽象度从而在视频生成过程中动态调整控制强度。抽象级素描控制策略的具体实现细节如下图所示。 我们对草图的连通性、连续性和纹理细节进行量化分析自动评估手绘草图序列的抽象程度。不同抽象程度的草图对应不同的生成控制强度确保VidSketch能够适应具有绘画技能的用户从而增强该方法的泛化能力。
增强的SparseCausal-Attention机制
视频动画生成和图像生成任务的主要区别在于需要在视频帧之间保持时空一致性。为了解决视频动画生成的固有挑战我们提出了一种增强型稀疏因果注意机制。在此机制中对于视频序列中的每个帧 i从初始帧和前一帧 (i-1) 中提取键/值 (K/V) 表示。然后使用当前帧 i 的查询 Q 表示来计算注意机制。 该机制在相同条件下有效地保持了帧间的一致性大大提高了生成的视频动画的质量更好地满足了高质量视频动画制作的需求。
更多结果
