上海市建设协会考试网站,知名的网络推广,企业logo设计理念,电子商务网站建设课程设计报告以下翻译自维基百科
Introduction
Sora 是由美国人工智能 (AI) 研究组织 OpenAI 开发的文本到视频模型。它可以根据描述性提示生成视频#xff0c;并及时向前或向后扩展现有视频。截至 2024 年 2 月#xff0c;它尚未发布#xff0c;尚未向公众开放。
History
在 Sora 之…
以下翻译自维基百科
Introduction
Sora 是由美国人工智能 (AI) 研究组织 OpenAI 开发的文本到视频模型。它可以根据描述性提示生成视频并及时向前或向后扩展现有视频。截至 2024 年 2 月它尚未发布尚未向公众开放。
History
在 Sora 之前已经创建了其他几个文本到视频生成模型包括 Meta 的 Make-A-Video、Runway 的 Gen-2 和 Google 的 Lumiere其中最后一个截至 2024 年 2 月也仍处于研究阶段. Sora 背后的公司 OpenAI 于 2023 年 9 月发布了 DALL·E 3这是其第三个 DALL-E 文本到图像模型。 开发 Sora 的团队以日语中的“天空”一词命名它表示其“无限的创造潜力”。[1] 2024 年 2 月 15 日OpenAI 首次预览了 Sora发布了多段其制作的高清视频片段包括一辆 SUV 行驶在山路上、蜡烛旁边的“短毛怪”动画、两个人走过雪中的东京以及加州淘金热的虚假历史镜头并表示能够生成长达一分钟的视频。该公司随后分享了一份技术报告其中重点介绍了用于训练模型的方法。OpenAI 首席执行官 Sam Altman 还发布了一系列推文用 Sora 生成的提示视频回应 Twitter 用户的提示。 OpenAI 表示它计划向公众开放 Sora但不会很快它没有指定何时。[5][3]该公司为一个小型“红队”提供了有限的访问权限其中包括错误信息和偏见方面的专家以对模型进行对抗性测试。 [6]该公司还与一小群创意专业人士包括视频制作者和艺术家分享了 Sora以寻求有关其在创意领域实用性的反馈。
Capabilities and limitations
Sora 背后的技术是 DALL-E 3 背后技术的改编。根据 OpenAI 的说法Sora 是一个扩散变压器[9]——一种去噪潜在扩散模型用一个 Transformer 作为降噪器。通过对 3D“补丁”进行去噪在潜在空间中生成视频然后通过视频解压缩器将其转换为标准空间。重新字幕用于通过使用视频到文本模型在视频上创建详细字幕来增强训练数据。 OpenAI 使用公开视频以及为此目的获得许可的受版权保护的视频来训练模型但没有透露视频的数量或确切来源。[1] OpenAI 在发布后承认了 Sora 的一些缺点包括难以模拟复杂的物理、理解因果关系以及区分左右。[10] OpenAI 还表示为了遵守公司现有的安全实践Sora 将限制有关性、暴力、仇恨或名人图像的文本提示以及具有现有知识产权的内容。 Sora 的研究员 Tim Brooks 表示该模型弄清楚了如何仅从其数据集创建 3D 图形而 Sora 研究员 Bill Peebles 表示该模型会在没有提示的情况下自动创建不同的视频角度。根据 OpenAI 的说法Sora 生成的视频带有 C2PA 元数据标记以表明它们是 AI 生成的。
Reception
麻省理工学院技术评论的 Will Douglas Heaven 称演示视频“令人印象深刻”但指出它们一定是经过精心挑选的可能无法代表 Sora 的典型输出。 [8]美国学者 Oren Etzioni 对该技术为政治运动制造在线虚假信息的能力表示担忧。[1]史蒂文·利维Steven Levy在《连线》杂志上同样写道它有可能成为“错误信息火车残骸”并认为其预览剪辑“令人印象深刻”但“并不完美”并且“显示出对电影语法的新兴掌握”由于其无意识的镜头变化。 Levy 补充道“如果有的话也需要很长一段时间文字转视频才会威胁到实际的电影制作。”[5] CNET 的丽莎·莱西 (Lisa Lacy) 称其示例视频“非常逼真除非是人脸”近距离或当海洋生物游泳时出现”。
