今天我们了解字节跳动最新推出的AnimateDiff-Lightning模型,一款能够在短时间内生成短视频的AI工具。这个模型的性能比之前的AnimateDiff模型提升了6-8倍,极大地加快了视频内容的生成速度。
项目主页:https://huggingface.co/ByteDance/AnimateDiff-Lightning
在线体验:https://huggingface.co/spaces/ByteDance/AnimateDiff-Lightning
AnimateDiff-Lightning模型基于AnimateDiff SD1.5 v2模型优化而来,在性能测试中,AnimateDiff-Lightning模型展现了出色的视频生成能力。以生成2秒(16帧)的512*512px视频为例,4步模型耗时8秒,8步模型耗时16秒,而传统的mm_sd_v15_v2模型则需要80秒。这表明AnimateDiff-Lightning模型在速度上具有显著优势,同时在视频质量上也保持了高水准。
此外,AnimateDiff-Lightning模型在视频转绘方面同样表现出色。将一段6秒的真人视频转换为动漫风格,4步模型仅需3分钟,而mm_sd_v15_v2模型则需15分钟,速度提升达5倍。AnimateDiff-Lightning模型及其配套工作流已经开源,方便用户在ComfyUI中轻松部署和使用。在使用过程中,请注意选择合适的模型和设置,以确保最佳的视频生成效果。
AnimateDiff-Lightning模型的引入,无疑为AI视频内容创作领域带来了新的活力和可能性。