阿里推创新视频生成技术Animate Anyone 一张图片即可生成平滑稳定视频

12月1日 消息:近日，阿里推出了一项名为Animate Anyone的研究，该研究通过引入扩散模型，克服当前图像到视频合成中的一些挑战，特别是在角色动画领域。

论文提出了一种全新的框架，通过巧妙设计的ReferenceNet、姿势引导器和时间建模方法，解决了维持细节一致性和运动连贯性的问题。

论文地址：https://humanaigc.github.io/animate-anyone/

在技术方面，论文详细介绍了其创新框架的关键组成部分。通过姿势引导器对角色运动进行引导，结合去噪UNet对姿势序列进行编码，引入了空间注意力、交叉注意力和时间注意力等计算块。通过ReferenceNet和CLIP图像编码器，实现了对参考图像的细节和语义特征的提取。这些技术组合确保了对复杂特征的准确捕捉和生成。

通过扩展训练数据，他们的方法不仅可以为人物角色进行动画生成，而且在时尚视频合成和人类舞蹈生成等多个领域都表现出色。通过在时尚视频数据集和TikTok数据集上的实验证明，该方法在图像到视频合成领域达到了最先进的水平。

进一步比较实验结果表明，在时尚视频合成和人类舞蹈生成方面，该方法相较于其他图像到视频方法，取得了更为出色的效果。这突显了该方法在保持一致性和控制性方面的优越性。

总之，"Animate Anyone"提供了一种在图像到视频合成中解决角色动画挑战的创新方法。其综合性能和广泛适用性为未来的研究和应用开辟了新的可能性。带来的技术突破和实证结果表明，这一方法在角色动画领域具有巨大的潜力，为数字媒体和创意产业注入了新的活力。