大型电子商务系统网站建设,百度运营推广,免费制作一个企业网站,网站提交入口前言
前方高能预警#xff0c;Sora来袭#xff01;
浅析Sora的技术亮点
语言模型中构建关键词联系
视频素材分解为时空碎片
扩散模型DiT
Not for play, But change world!
OpenAI的宏大目标
未来已来#xff0c;只是尚未流行
Sora的成本与OpenAI的7万亿美金豪赌
算…前言
前方高能预警Sora来袭
浅析Sora的技术亮点
语言模型中构建关键词联系
视频素材分解为时空碎片
扩散模型DiT
Not for play, But change world!
OpenAI的宏大目标
未来已来只是尚未流行
Sora的成本与OpenAI的7万亿美金豪赌
算力未来在何方
最后
参考文献 前言
在人工智能的历史长河中每一次技术的飞跃都伴随着社会生产力的巨大变革。自2015年以来深度学习技术的突破性进展尤其是在自然语言处理、图像识别和机器学习等领域的成功应用已经彻底改变了我们对机器智能的认识和期待。这些技术的进步不仅仅是理论上的突破更是实际应用的革命它们正在逐步渗透到我们生活的方方面面从自动驾驶到智能家居从数据分析到内容创作。在这样的背景下OPENAI最近发布的Sora模型无疑是又一次令人瞩目的里程碑。Sora模型基于扩散模型能够将简单的文本描述转换成为高质量的视频内容。这种能力不仅仅是技术上的创新更是对视频制作、媒体传播乃至整个娱乐产业的挑战和机遇。
前方高能预警Sora来袭
首先让我们先来感受一下Sora的魔力。 一位戴着尖顶帽身披绣有白色星星的蓝色长袍的巫师正在施法他的一只手射出闪电另一只手中拿着一本旧书。 在一间拥有电影级灯光设置的充满托斯卡纳乡村风情的厨房里一位擅长利用社交媒体的奶奶正在教你制作美味的自制诺奇面。 我们将带你进行一次未来城市的街头巡览在这里高科技与自然和谐共处展现出一种独特的赛博朋克风格。 这座城市洁净无瑕到处可见的是先进的未来式有轨电车、绚丽的喷泉、巨型的全息投影以及四处巡逻的机器人。 想象一下一个来自未来的人类导游正带领一群好奇的外星访客向他们展示人类极致创造力的结晶——这座无与伦比、充满魅力的未来城市。 此外Sora还能在同一视频中设计出多个镜头同时保持角色和视觉风格的一致性。
需要知道的是以前的AI视频都单镜头生成的。 Prompt: A movie trailer featuring the adventures of the 30 year old space man wearing a red wool knitted motorcycle helmet, blue sky, salt desert, cinematic style, shot on 35mm film, vivid colors. 这是一部电影预告片讲述了30岁的太空人戴着红色羊毛针织摩托车头盔的冒险经历蓝天盐沙漠电影风格用35毫米胶片拍摄色彩鲜艳。 Prompt: Beautiful, snowy Tokyo city is bustling. The camera moves through the bustling city street, following several people enjoying the beautiful snowy weather and shopping at nearby stalls. Gorgeous sakura petals are flying through the wind along with snowflakes. 「雪后的东京熙熙攘攘。镜头穿过繁忙的街道跟随着几位享受着美丽雪景和在附近摊位购物的人们。美丽的樱花瓣伴随着雪花在风中飘舞。」 Sora根据这个提示所呈现的便是东京在冬日里梦幻的一幕。
无人机的镜头跟随一对悠闲散步的情侣穿梭在街道上左侧是车辆在河岸路上行驶的声音右侧是顾客在一排小店之间穿梭的景象。 Prompt: Animated scene features a close-up of a short fluffy monster kneeling beside a melting red candle. The art style is 3D and realistic, with a focus on lighting and texture. The mood of the painting is one of wonder and curiosity, as the monster gazes at the flame with wide eyes and open mouth. Its pose and expression convey a sense of innocence and playfulness, as if it is exploring the world around it for the first time. The use of warm colors and dramatic lighting further enhances the cozy atmosphere of the image. 动画场景特写了一个毛茸茸的矮个子怪物跪在融化的红烛旁。美术风格是3D和现实的重点是照明和纹理。这幅画的气氛是一种惊奇和好奇因为怪物睁大眼睛张开嘴巴凝视着火焰。它的姿势和表情传达了一种天真和顽皮的感觉好像它是第一次探索周围的世界。暖色和戏剧性灯光的使用进一步增强了图像的舒适氛围。 Prompt: A gorgeously rendered papercraft world of a coral reef, rife with colorful fish and sea creatures. 一个华丽的珊瑚礁纸工艺品世界到处都是五颜六色的鱼和海洋生物。 Prompt: Reflections in the window of a train traveling through the Tokyo suburbs. 一列火车穿越东京郊区时窗户上反射出的迷人景象。 Prompt: Several giant wooly mammoths approach treading through a snowy meadow, their long wooly fur lightly blows in the wind as they walk, snow covered trees and dramatic snow capped mountains in the distance, mid afternoon light with wispy clouds and a sun high in the distance creates a warm glow, the low camera view is stunning capturing the large furry mammal with beautiful photography, depth of field. 在雪地草原上几只巨大的羊毛猛犸象缓缓前行它们长长的毛皮在微风中轻轻飘扬。远处是雪覆盖的树木和雄伟的雪山午后的阳光穿透薄云给这个场景增添了一抹温暖的光彩。低角度的拍摄令这些庞大的毛茸茸动物显得尤为壮观景深效果引人入胜。 Prompt: Drone view of waves crashing against the rugged cliffs along Big Sur’s garay point beach. The crashing blue waters create white-tipped waves, while the golden light of the setting sun illuminates the rocky shore. A small island with a lighthouse sits in the distance, and green shrubbery covers the cliff’s edge. The steep drop from the road down to the beach is a dramatic feat, with the cliff’s edges jutting out over the sea. This is a view that captures the raw beauty of the coast and the rugged landscape of the Pacific Coast Highway. 无人机从空中俯瞰大苏尔加雷角海滩附近的崎岖悬崖海浪冲击着岩石形成白色的浪尖落日的金色光辉照亮了岩石海岸。远处有一个小岛上立着灯塔悬崖边缘覆盖着绿色植被。从道路到海滩的陡峭下降和悬崖边缘凸出的景象展现了海岸的原始美丽和太平洋海岸公路的崎岖风景。 Prompt: Aerial view of Santorini during the blue hour, showcasing the stunning architecture of white Cycladic buildings with blue domes. The caldera views are breathtaking, and the lighting creates a beautiful, serene atmosphere. 蓝色时刻下的圣托里尼岛航拍视图展现了白色基克拉迪建筑和蓝色圆顶的绝美建筑。火山口的景色令人叹为观止灯光营造出一种美丽而宁静的氛围。 Prompt: A young man at his 20s is sitting on a piece of cloud in the sky, reading a book. 一位20多岁的年轻人坐在天空中的一朵云上沉浸在书本中。 Prompt: A litter of golden retriever puppies playing in the snow. Their heads pop out of the snow, covered in. 一群活泼的金毛寻回犬小狗在银白色的雪地上嬉戏它们好奇的小脑袋时而从雪地中探出被雪花点缀萌态十足。 Prompt: The camera directly faces colorful buildings in burano italy. An adorable dalmation looks through a window on a building on the ground floor. Many people are walking and cycling along the canal streets in front of the buildings. 在意大利布拉诺一排排鲜艳的彩色建筑中一只可爱的斑点狗正通过窗户好奇地望向外面。与此同时街道上人来人往有的步行有的骑行。 Prompt: Tiltshift of a construction site filled with workers, equipment, and heavy machinery. 一幅充满工人、设备和重型机械的建筑工地的移轴摄影。 Prompt: A petri dish with a bamboo forest growing within it that has tiny red pandas running around 在一个培养皿中生长着一片竹林其中小熊猫们在欢快地奔跑。 Prompt: A cartoon kangaroo disco dances. 一只卡通袋鼠正在迪斯科舞池中跳舞。 Prompt: Photorealistic closeup video of two pirate ships battling each other as they sail inside a cup of coffee. 在一杯咖啡中两艘海盗船展开了激烈的战斗超写实的近景视频。 当然也有一些诡异的输出。 好在它还并不完美。
否则虚拟和现实的界限还能区分得清吗 浅析Sora的技术亮点
在Open AI给出的技术报告【1】中笔者挖出了两点Sora的技术要点分享如下 1-视觉数据基建----时空碎片Spacetime Patches 以chatGPT为例大语言模型首先通过Embedding将人类语言“编码”然后通过注意力机制Attention提取各种丰富的知识和结构以加权的形式学习并建立“关键词”之间的联系最后再“反编码”以人类的语言输出返回结果。 语言模型中构建关键词联系
与LLM-NLP思路一致Sora的第一步是针对视觉数据的建模首先将视频压缩到一个低维的潜在空间然后将其分解为时空碎片这些“碎片”的集合作为Sora吃进的“语料”。这里的“碎片”-Patches等同于语言模型中的Tokens它帮助Sora获得了自然语言处理特性。 视频素材分解为时空碎片
进一步Sora团队构建了“智能字幕“模型DALL.E3其建立起了Patches到Tokens之间的联系实现了文本与视频的互译。使得GPT丰富的文本数据被有效的应用于Sora的训练这极大地促进了Sora的诞生。 其次由于Patches高度可扩展的表示特性使得Sora能够应用于广泛的图像和视频编辑任务图像就是厚度为1的视频分辨率、形状等属性变换都可以体现为Patches的排列组合。 2-反向学习----扩散模型Diffusion Transformers--DiT【2】 扩散模型是一种深度生成模型其基本思想就是通过一个可逆的过程将结构化数据如图片逐步转化为无结构的噪声数据然后再逆向这个过程从噪声中恢复出原始数据或生成新的数据实例。简而言之就是让模型从图像的模糊还原中学习图像生成。 而DiT相对于传统的扩散模型做出了如下改进 使用Transformer替换U-Net使得模型能够更好的处理长距离依赖性 验证了Transformer架构在扩散模型上的可扩展性随着模型计算复杂度的上升生成质量稳步提升。 使用Latent diffusion取代pixel diffusion降低了模型计算量。 扩散模型DiT
在Sora的技术报告中OpenAI 称Sora摒弃了“其他文生视频模型调整视频大小、裁剪或修剪到标准大小的通常做法”以可变时长、分辨率与长宽比来训练视频生成从而获得了重要优势。 从报告中展示的成果来看Sora在视频生成上展现出了强大的涌现能力人和景物在三维空间移动的一致性长程时间相关性与对象持久性如事物被遮挡后重现事物与周边世界的互动性等等。
Not for play, But change world!
OpenAI在Sora的技术报告中毫不吝惜夸赞的言词并对Sora的潜力充满期待。他们认为持续扩大视频模型的规模将可以用来模拟整个物理和数字世界。这一愿景深深地震撼了笔者本人 OpenAI的宏大目标
伴随着笔者对知乎、csdn、facebook的疯狂查阅有另一种声音愈发强烈。原本笔者只是惊讶于Sora视频的丝滑清晰与文本生成的简易。而更多的大佬纷纷指出Sora视频毫无违和感没错就是毫无违和感它所展现的光影效果与碰撞遮挡太真实了Sora对于图像与视频的处理仅仅是其能力的表象真相是Sora是真的在理解地球物理世界的规律而且取得了巨大的进展。 未来已来只是尚未流行
“Sora 是一个数据驱动的物理引擎“NVIDIA研究科学家Jim Fan在Twitter上发文。 “Sora不讲武德一句话就有连续的视频毁灭吧计算机图形学毁灭吧游戏引擎“计算机图形学学者谭剑如是说。 “去他喵的物理公式宇宙的终极是概率“ …… 红衣教主周鸿祎曾表示一旦人工智能接上摄像头对世界的理解将远远超过文字学习一幅图胜过千言万语而视频传递的信息量又远远超过一幅图这就离AGI通用人工智能真的不远了不是10年、20年的问题可能一两年很快就可以实现。 而当下Sora突破了它实现了机器对这个世界的感知、观察和交互的能力也就是说真正的给人工智能补上了眼睛。不难想象在AI如此尽力的发展下元宇宙般的梦幻世界仿佛近在咫尺。 AI在疯狂汲取人类文明与客观世界的知识
Sora的成本与OpenAI的7万亿美金豪赌
“很少有人提到 Sora 视频生成的成本。用 Sora 生成 1 分钟的视频估计需要几十美金比RunwayML的Gen2大约一分钟10美金还贵而很多人会选择性的忽略成本。比如 GPT-4 支持128K上下文的时候很少有人提到用一次128K上下文需要1.28美金。今天 Gemini 1.5说支持10M上下文了却并没有人知道这10M上下文的成本是多少。视频生成如果成本高达一分钟几十美金那就只能受限于专业的影片和游戏制作人没法用来生成抖音短视频。这就是为什么OpenAI要搞7万亿美金来造芯片。很多人觉得Sam Altman疯了但我觉得他看到了AI真正的瓶颈——算力。“ ----知乎作者-李博杰 这样的判断很快迎来了资本市场的认证。继2月15日Sora爆炸问世后一周全世界的投资人都把目光投向了全球芯片巨头——英伟达。截至当地时间2月22日收盘英伟达报785.38美元涨16.4%创历史新高市值逼近2万亿美元成为微软、苹果之后第三高。其市值一夜增长2733亿美元约合人民币2万亿元。相当于增加了一整个Netflix或一整个Adobe约等于一个茅台三个宁德时代皮衣刀客黄仁勋身家超越中国首富、农夫山泉创始人钟睒睒升至全球富豪榜第 21 位。 不得不说“淘金的还没起飞但卖铲子的倒是真的起飞了哈哈哈哈” 黄仁勋眺望未来
算力未来在何方
正所谓哪里有需求哪里就有市场Sora的火爆与NVIDIA的成功又再一次印证了人工智能的影响力及其发展的紧迫性这促使着“国产算力替代”又再一次回到了发展舞台的中心。过去的时间里在中美博弈芯片法案的压力下催生出了一系列AI芯片独角兽大家也都在各自的技术路线上奋起直追。这包括全志科技多目异构视觉芯片“V853”云天励飞多芯粒集成CV加速单元“DeepEdge10”清华大学的智能驾驶计算芯片“惊蛰R1”时识科技“感算一体”动态视觉SoC“Speck”以及知存科技的“存算一体”AI视觉芯片“WTM8系列”。与此同时芯片架构设计、芯片验证以及编译工具链开发等AI芯片岗也引发了新一轮的人才需求热潮。 值得一提的是在新一轮算力攻坚赛中突破传统冯·诺依曼架构的范式探索成为主要方向之一。而“存算一体”架构打破了存算分离的壁垒减少了数据的搬运它就如同“在家办公”的新型工作模式消除了数据“往返通勤“的能量消耗、时间延迟并且节约了“办公场所”的运营成本因而具备高能效比。加上“存算一体”架构对于工艺制程的“弱依赖”性14nm展现4nm数字电路表现性能使其成为了AI算力的重要发展方向。 Intel Lab 的大规模存算核拓扑规则【3】
从存算一体技术发展来看 规模正在几何扩增。上图是2024年英特尔实验室新鲜出炉的存算一体架构大规模扩展拓扑图可以清晰的看到64核拓扑笔者印象2023年底的时候4核才刚进入使用。 精度正在更进一步。从4比特到8比特到10比特。最新消息AI芯片公司TetraMem及其合作伙伴继2023年3月突破11比特后于今年2月23日又在《科学》上发表重大突破以忆阻器为核心的全新架构突破实现任意高精度模拟计算【4】。 按照存算架构相对于传统数字电路10倍的能效表现只能说其作为超大模型的支持潜力在逐渐被挖掘属于它的时代即将到来。
最后
可以预见的是AI的成长会以不可思议的速度多向发展AI的成长基石数据、算力、能源将会成为社会发展的重要引擎。笔者在此热烈邀请大家共同关注共同学习共同迎接美好的明天 参考文献
【1】Technical report of Sora: Video generation models as world simulators (openai.com) 【2】Scalable Diffusion Models with Transformershttps://doi.org/10.48550/arXiv.2212.09748 【3】Towards Joint Modeling of Dialogue Response and Speech Synthesis based on Large Language Modelhttps://doi.org/10.48550/arXiv.2309.11000 【4】Programming memristor arrays with arbitrarily high precision for analog computinghttps://www.science.org/doi/10.1126/science.adi9405
【5】另外找到了一篇Sora的技术详解有兴趣的朋友请见最强文生视频模型 SORA 技术路线解读 (yuque.com)
https://bbs.csdn.net/topics/618126472
【6】存内计算社区·文生视频Sora模型发布是否引爆AI芯片热潮 https://bbs.csdn.net/topics/618126472
