新物网

当前位置:首页 > 互联网

互联网

Lightricks发布LongAnimatediff 解决单次生成视频长度问题

时间:2023-12-25 10:41:05 小新
12月25日 消息:Lightricks公司最近发布了LongAnimatediff项目,这一次主要解决的问题是Animatediff一次只能生成16帧视频的限

12月25日 消息:Lightricks公司最近发布了LongAnimatediff项目,这一次主要解决的问题是Animatediff一次只能生成16帧视频的限制。而LongAnimatediff则包括两个模型,一个可以最多一次生成64帧的视频,另一个可以生成32帧的视频,而且32帧那个效果更好。

目前,Animatediff一次只能生成16帧的视频,更多的帧数是通过上下文叠加的方式实现的。然而,这种方法存在着生成时间过长后,视频一致性迅速下降,画面崩坏的问题。

项目地址:https://github.com/Lightricks/LongAnimateDiff/

LongAnimatediff项目提供了两个模型,其中一个可以最多一次生成64帧的视频,另一个可以生成32帧的视频。32帧那个效果更好一些。

使用LongAnimatediff的方法很简单,只需直接去Huggingface下载模型,然后用ComfyUI加载就可以了。需要注意的是,64帧模型的Motion_scale要调整到1.28,而32帧的Motion_scale要调整到1.15。

在进行了对比测试之后,发现32帧的模型在生成非正方形内容的画面时会出现拉伸的情况。而64帧模型在生成64帧的画面时会出现崩坏,但生成32帧的画面时则没有问题,且效果也很好。因此,目前推荐使用64帧的模型。