做ui设计用什么网站,社区平安建设基层网站,html5网站开发环境的搭建,女装网站欣赏在个性化生成领域, 微调可能会引起过拟合导致模型无法生成与提示词一致的结果。针对这个问题#xff0c;北交字节联合提出ClassDiffusion#xff0c;来提升个性化生成的一致性。
通过两个重要观察及理论分析提出了新的观点:一致性的损失是个性化概念语义偏移导致的, 还…在个性化生成领域, 微调可能会引起过拟合导致模型无法生成与提示词一致的结果。针对这个问题北交字节联合提出ClassDiffusion来提升个性化生成的一致性。
通过两个重要观察及理论分析提出了新的观点:一致性的损失是个性化概念语义偏移导致的, 还引入了BLIP2-T 来为个性化生成领域提供更公平有效的指标。 一只狗和太阳镜的故事展示了一只狗是如何获得诺贝尔文学奖的以及一副太阳镜的命运。
相关链接
项目主页: https://classdiffusion.github.io/
论文地址: https://arxiv.org/abs/2405.17532v1
代码地址:https://github.com/Rbrq03/ClassDiffusion
论文阅读 ClassDiffusion:使用明确的类指导进行更一致的个性化调优
摘要
最近的文本到图像定制工作已被证明能够成功生成给定概念的图像方法是通过对一些示例微调扩散模型。然而这些方法往往会过度拟合概念导致在多种条件下无法创建概念例如在生成“戴耳机的狗”时缺少耳机。
有趣的是我们注意到微调之前的基础模型表现出将基础概念与其他元素组合的能力例如戴耳机的狗这意味着只有在个性化调整后组合能力才会消失。
受此观察的启发我们提出了 ClassDiffusion这是一种简单的技术它利用语义保存损失在学习新概念时明确调节概念空间。尽管它很简单但这有助于避免在对目标概念进行微调时出现语义漂移。
大量的定性和定量实验表明使用语义保存损失可以有效提高微调模型的组合能力。为了应对 CLIP-T 指标的无效评估我们引入了 BLIP2-T 指标这是针对该特定领域的更公平、更有效的评估指标。我们还提供了深入的实证研究和理论分析以更好地理解所提出的损失的作用。最后我们还将 ClassDiffusion 扩展到个性化视频生成展示了其灵活性。
方法概述 ClassDiffusion 概述。我们的语义保存损失 (SPL) 是通过测量从同一文本转换器使用 EOS 标记作为 CLIP 之后的文本特征中提取的具有个性化标记的短语和仅具有超类的短语之间的余弦距离来计算的。
实验
单一概念比较 ClassDiffusion方法与具有单一给定概念的基线进行定性比较。
多个概念比较 ClassDiffusion方法与具有多个给定概念的自定义扩散CD进行定性比较。
个性化视频 实验分析 a每个点代表由形容词和“狗”组合而成的短语的 CLIP 文本嵌入例如一只可爱的狗。经过微调后定制概念蓝点代表微调前的概念红点代表微调后的概念远离文本特征空间中“狗”分布的中心。
b使用提示“一张在游泳池里游泳的狗的照片”时与狗 token 对应的交叉注意图的可视化结果。
理论分析 在个性化调整过程中随着狗的分布缩小狗和耳机的条件分布也会缩小。这逐渐增加了在此分布中采样的难度导致组合生成能力减弱。我们的 ClassDiffusion 通过结合语义保留损失 (SPL) 来缓解这种情况以最大限度地减少个性化概念与其超类的语义漂移。
待做事项 ClassDiffusion的训练代码 ClassDiffusion的推理代码 BLIP2-T评分管道 用ClassDiffusion生成视频的推理代码
结论
在这项工作中我们强调了由于个性化而削弱了构图能力的问题并从实验观察微调和信息理论观点中分析了这一问题的原因。 然后我们引入一种称为ClassDiffusion的新方法通过还原原始语义空间减轻了合成能力的弱化。 最后,我们提出了全面的实验结果展示了ClassDiffusion和它为相互关联的领域提供了新的视角。
