Google的Lumiere:AI视频技术逼近真实
时间:2024-01-29 15:00:20 小新新
Google最新发布的视频生成AI模型Lumiere采用了全新的扩散模型Space-Time-U-Net(STUNet),让人工智能视频制作更接近真实。该模型通
Google最新发布的视频生成AI模型Lumiere采用了全新的扩散模型Space-Time-U-Net(STUNet),让人工智能视频制作更接近真实。该模型通过空间和时间的双重考量,实现视频中物体的位置和运动的精准把控,相较于传统方法,Lumiere能够在一个过程中创建视频,而不是将静态帧逐一拼接。
技术突破
Lumiere从提示创建基础帧,然后使用STUNet框架逐步确定物体移动的位置,生成连贯流畅的帧,使得视频呈现出更加逼真的动态效果。与此同时,Lumiere每秒生成80帧视频,相较于其他技术(如Stable Video Diffusion)具备更高的帧数和更为自然的运动表现。
市场比较
Lumiere的发布标志着AI视频生成技术迈向一个新的高度,与竞争对手如Runway、Stable Video Diffusion和Meta的Emu相比,Google在视频生成领域拥有更为先进和出色的技术。过去,AI视频生成常常被质疑缺乏真实感,但Lumiere的出现将这一局面改变。
未来展望
除了文本到视频生成,Lumiere还将允许图像到视频生成、样式化生成、电影画面和修补等多种应用,为用户提供更加丰富多样的视频制作工具。然而,Lumiere的应用也面临着技术风险和滥用的挑战,需要谨慎应对。