窝俱网正在升级中,更多功能与服务,敬请期待!

龙年王炸来了,一步一步逐个颠覆!OpenAI视频生成模型Sora悄然来袭!!



Daily Hot News

       先祝大家开工大吉!想不到中国龙年开年之期,美国OpenAI的信息再次刷爆网络,原因是由于继ChatGPT之后,OpenAI又推出一款震惊科技圈的产品。这让我不得不提笔想写一写!

      2月16日凌晨,OpenAI宣布推出文生视频大模型——Sora。据介绍,Sora可以创建长达60秒的视频,具有非常详细的场景,复杂的摄像机运动,和充满活力的情感的多个角色。

      目前官网上已经更新了48个视频demo,在这些demo中,Sora不仅能准确呈现细节,还能理解物体在物理世界中的存在,并生成具有丰富情感的角色。该模型甚至还可以根据提示、静止图像填补现有视频中的缺失帧来生成视频。



Sora的深入理解

自媒体领域迎来重大利好

      根据OpenAI官方文章介绍以及分享的演示视频来看,Sora称得上是“王炸级”的AI工具,很多公司如Pika、Runway、invideo、veed、moonvally,等等,今后可能都会受到影响。就像OpenAI将图像生成模型DALL-E集成到ChatGPT产品中那样,如果OpenAI将视频生成模型Sora也集成到ChatGPT供所有用户使用,那么应该能够对视频相关的行业逐渐带来改变,比如影视制作、短视频创作、在线教育、广告传媒、游戏开发、直播,等等。

      做自媒体短视频将不是难题,只要你会描述,AI根据描述生成精彩的视频不再是困难之事!

通用人工智能AGI即将诞生

      OpenAI并不将Sora单纯当做一个AI视频生成模型工具来对待,是将视频生成模型Sora作为世界模拟器。对此,X平台上一位网友似乎有所感悟,他评论道:人类的时代正在结束——AI理解和模拟三维世界,总结物理定律,于是AI科学家的诞生只会是时间问题,AI被当作一个物种都说小了,想象人类发现的物理定律还只是冰山一角……一切将是时间问题,AI将找到造物主物理定律的源头。正如OpenAI一再宣称的那样,该公司的目标是做出通用人工智能AGI。

     也许以后“人人将用AI、人人将融入AI”不再是梦!


延展新技术


科技行业高速发展,产能急剧扩增,美国在强大的技术支撑下,OpenAI技术独全球。


01

视频生成:构建虚拟世界的模拟器

      采用了一种Transformer架构,这种架构能够处理视频和图像潜在编码的时空片段。我们的最大型号模型Sora,能生成高质量的一分钟视频。我们的研究显示,扩展视频生成模型的规模是向着创建能够模拟物理世界的通用工具迈出有前途的一步。


02

视觉数据的创新转化:补片技术

     引入了视觉领域的对应物:视觉补片(patches)。研究表明,补片是一种高效的视觉数据表现形式,它们能极大地提升生成模型处理多样化视频和图像数据的能力。通过先将视频数据压缩到低维度潜在空间,再将其分解成时空补片,从而实现视频到补片的转化。


03

视频压缩网络

      Sora在这种压缩的潜在空间中接受训练,并能够生成新的视频内容。此外,Sora还开发了一个解码器,能够将这些潜在表征还原为像素级的视频图像。


04

时空补片技术

      Sora能够适应不同分辨率、持续时间及宽高比的视频和图像。在生成新视频内容时,我们可以通过将这些随机初始化的补片按照需要的大小排列成网格,来控制最终视频的大小和形式。


05

Transformer扩展技术

      Sora属于扩散型Transformer。Transformer技术在多个领域,包括语言建模、计算机视觉以及图像生成中都展现出了卓越的扩展能力。


06

语言理解

     使用GPT把用户的简短提示转化成详尽的说明,再将这些说明送给视频生成模型。这一过程使得Sora能够根据用户的指令,制作出高品质的视频。


     “从技术来看,之前Runway、Pika、Google和Meta都推出过文生视频工具,Sora的优势主要是三方面,首先是可以生成长达60秒钟的超长视频,包括多个角色、特定类型动作和主题背景;第二,可以在单个生成的视频中创建多个镜头,模拟复杂的摄像机运镜,同时准确地保持角色和视觉风格。第三,能够理解物体在现实世界中的物理规律和存在方式,不会做出画面精美但到处穿帮的内容。




END

     21世纪,国与国之间的竞争,不只是国力、GDP的竞争,其实是“AI、芯片、算力”的竞争,这种无形的竞争谁也不能倒下去,只能坚持!

    美国的底层逻辑、科学的研究创新能力,的确强大,我辈也要勇往之前!

    新技术发展一定有新机遇,这将又是一场财富的重新分配!

    所有的事情都可以用AI来重新做一次!

    不要观望,干就完了!!


文 | ChatGPT P

本篇文章来源于微信公众号: 时尚行业CIO

SFCIO瑞祝您甲辰龙年平安喜乐、安康顺利!
« 上一篇 2024-02-17 10:32
史上最“简单”的618首次负增长,2024年各大电商平台表现解析
下一篇 » 2024-02-17 10:32