易思网站系统,wordpress更换背景,通了网站建设,搜索引擎都有哪些大型语言模型#xff08;LLM#xff09;的出现统一了语言生成任务#xff0c;并彻底改变了人机交互。然而#xff0c;在图像生成领域#xff0c;能够在单一框架内处理各种任务的统一模型在很大程度上仍未得到探索。近日#xff0c;智源推出了新的扩散模型架构 OmniGenLLM的出现统一了语言生成任务并彻底改变了人机交互。然而在图像生成领域能够在单一框架内处理各种任务的统一模型在很大程度上仍未得到探索。近日智源推出了新的扩散模型架构 OmniGen一种新的用于统一图像生成的多模态模型。
OmniGen 具有以下特点 统一性OmniGen 天然地支持各种图像生成任务例如文生图、图像编辑、主题驱动生成和视觉条件生成等。此外OmniGen可以处理经典的计算机视觉任务将其转换为图像生成任务。 简单性OmniGen 的架构高度简化。此外与现有模型相比它更加用户友好可以通过指令完成复杂的任务而不需要冗长的处理步骤和额外的模块(如 ControlNet 或 IP-Adapter)从而大大简化了工作流程。 知识迁移受益于统一格式的学习OmniGen 有效地跨不同任务迁移知识应对未见过的任务和领域并展示新颖的功能。我们还探讨了模型的推理能力和思维链机制的在图像生成领域的潜在应用。
相关链接 Paper: https://arxiv.org/pdf/2409.11340 Code: https://github.com/VectorSpaceLab/OmniGen Demo: https://huggingface.co/spaces/Shitao/OmniGen 基于 OmniGen 的通用能力可实施更灵活的图像生成以上展示一个简单 Pipeline文本生成图像编辑生成图像的部分元素根据生成图像的人体姿态生成重绘图像从另一图像中提取所需对象与新图像融合。
介绍
近年来许多文生图模型在生成式 AI 的浪潮中脱颖而出。然而这些出色的专有模型仅能基于文本生成图像。当用户产生更灵活、复杂、精细等的图像生成需求时往往需要额外的插件和操作。
例如若想参考任一姿态生成图像常规方法是用姿态检测器从参考图像中估计姿态作为条件输入并加载对应的 Controlnet 插件最后提取条件输入的特征馈入扩散模型生成图像。
此外若想基于合照中的特定人物生成新图像流程更加繁琐需要裁剪图像以确保结果图像仅包含目标人物。
而诸如 InstandID 等方法还需使用额外的人脸检测器提取面部信息并用面部编码器提取特征以输入模型。
值得注意的是各种不同的生成任务甚至还需更多不同的插件和操作如此复杂、琐碎而冗长的工作流极大地增加了训练和应用的成本。然而即便如此繁琐有时也仍难以满足一般的图像生成的需求例如基于指定多张照片中的实体生成新图像。
相反在文本生成领域以 ChatGPT 为代表的模型可通过人类指令直接处理各种文本任务。那么在图像生成领域能否通过单个支持多种输入且耦合多项能力的模型基于用户指令完成各种生成任务而无需各种繁杂的流程吗
为解决这一挑战性问题智源发布了统一图像生成模型 OmniGen。OmniGen 模型具有良好的简洁性和易用性集成了多种基础图像生成任务包括但不限于文生图、图像编辑、角色一致性生成、基于视觉条件的生成等。OmniGen 支持基于任意多模态的文图指令完成任务而无需任何其他额外插件和操作。 能力
OmniGen 集多项能力于一体包括但不限于 文本到图像生成 (Text to Image Generation) 指代表达生成 (Referring Expression Generation) 通用图像条件生成 (General Image Conditional Generation) 图像编辑 (Image Edit) 经典计算机视觉任务图像去噪、边缘检测、姿态估计等 一定的上下文学习能力 (In-context Learning) 以下简要展示部分能力效果
文本到图像生成 指代表达生成
OmniGen 具备类似 InstandID、Pulid 等模型生成角色一致性图像等能力即输入具有单个对象的图像理解并遵循指令输出基于该对象的新图像。
同时OmniGen 具有更高阶的能力指代表达生成能力我们把这种能力定义为能够从包含多个对象的图像中识别指令所指代的对象并生成新的图像。
例如OmniGen 可根据指令直接从多人图像中定位目标对象并生成遵循指令的新图像而无需任何额外的模块和操作 更多样例 通用图像条件生成
OmniGen 不仅支持类似 ControlNet 根据特定显式条件生成图像的能力还同时具备处理经典计算机视觉任务的能力如人体姿态估计、深度估计等。
因此OmniGen 可凭借单个模型完成整个 ControlNet 流程直接使用 OmniGen 对原图提取视觉条件并基于所提取的条件生成图像无需额外处理器。
同时OmniGen 还能更进一步简化中间流程一步出图直接输入原图输入指令“Following the human pose(or depth mapping) of this image, generate a new image:...”就可根据输入图像的人体姿态或深度图关系生成新图像。 图像编辑
OmniGen 具备良好的图像编辑能力并且可以在一次运行中同时执行多条编辑指令例如 更多能力
OmniGen 具备潜在的推理能力可以处理对模型理解和推断能力具有一定要求的非显式查询指令。
例如要求模型删除图中能装水的物品则模型能够理解和推断出指令涉及的图中物体并删除 另一方面OmniGen 具有一定程度的上下文学习能力可根据参考样例对图像进行处理。
例如输入一个分割皇后象棋的输入-输出配对样例 (Example)模型能识别并分割新输入图像中对应的物体 思维链Chain-of-Thought, CoT方法将任务分解为多个步骤并按顺序求解每个步骤以获得准确的最终答案从而显著提高了llm的性能。我们考虑是否可以将类似的替代方案应用于图像生成。受人类绘画的基本方式的启发我们希望模仿一步一步的绘画过程从空白画布上迭代地生成图像。我们进行了初步的探索微调后模型能够模拟人类行为一步步的生成图片进一步的优化留给以后的研究。 OmniGen 的能力包括但不限于以上内容还包括基本的图像去噪、边缘提取等能力。模型权重和代码已开源用户可以自行探索更多OmniGen的能力。
模型
OmniGen 的核心设计原则是简洁和有效。因此我们最大程度舍弃了各种额外模块。OmniGen 的基本架构为一个 Transformer 模型和一个 VAE 模块共 3.8B 参数。其中Transformer 继承于 Phi3-mini 模型图像内部改用双向注意力 (Bidirectional Attention) 以契合图像数据特性。整体架构如下所示 为实现强大的通用和泛化能力研究人员需要基于大规模和多样化的数据集训练模型。然而在图像生成领域尚无一个可用的通用数据集。为此我们构建了首个大规模且多样化的统一图像生成数据集 X2I意为 “Anything to Image”。其中不同任务的数据格式被重新组织和统一以便于管理和使用。X2I 数据集包含约 1 亿图像未来经审查等流程后将开源旨在进一步推动通用图像生成领域的发展。下图简要展示了 X2I 数据集的一些示例 小结与展望
总之OmniGen 的统一图像生成范式不但有助于执行各种下游任务而且有利于组合各种能力满足更通用的需求。当前OmniGen 的报告、权重和代码等已开源欢迎社区共同参与对 OmniGen 潜在能力的发掘、基本性能的提升和广泛应用的探索。
OmniGen 模型是对统一图像生成的初步尝试还有很大的提升空间。未来智源将进一步改进模型基本能力拓展更多有趣的功能。同时微调代码已发布用户可简单对其进行微调由于OmniGen的输入形式非常多样用户可自行定义各式各样的微调任务赋予模型更多有意思的能力。
