新物网

当前位置:首页 > 互联网

互联网

腾讯发布视频生成模型AnimateZero 效果秒杀Animatediff更好地兼容SD生态

时间:2023-12-12 18:40:57 小新
12月12日 消息:腾讯近期发布了一款名为AnimateZero的视频生成模型,据称,该模型的效果比Animatediff要好得多,并且能够更好地兼容现有的SD

12月12日 消息:腾讯近期发布了一款名为AnimateZero的视频生成模型,据称,该模型的效果比Animatediff要好得多,并且能够更好地兼容现有的SD生态,并采用了社区SD模型进行演示。

项目地址:https://vvictoryuki.github.io/animatezero.github.io/

AnimateZero是一种基于视频扩散模型的零样本图像动画生成器。传统模型存在生成过程不透明、难以控制、训练数据域限制等问题。为解决这些问题,研究人员提出了一种分步生成视频的方法,将外观和运动过程解耦,提高生成效率和可控性。通过零样本修改,还能将T2V模型转换为I2V模型,使其成为零样本图像动画生成器。

在应用方面,AnimateZero展示了在多个T2I模型上生成的个性化视频,并介绍了通过文本控制动作、视频编辑、帧插值、循环视频生成和真实图像动画等多种应用场景。特别是在视频编辑中,与传统方法相比,AnimateZero具有更高的主观质量和文本提示匹配度,为视频编辑提供了更好的辅助工具。

扩展技术还可用于帧插值,实现首尾帧的逐渐过渡,以及循环视频生成,当插入的第一帧和最后一帧相同时。此外,AnimateZero还展示了对真实图像的动画生成潜力,尽管仍受到T2I模型域的限制。