前言
目前市面上文生视频的产品有很多比如runway
、pika
、Genmo
等等 详情参见之前文章《根据文字生成视频》
另外前面也给大家介绍过如何使用animatediff
插件生成视频, 详情参见《ComfyUI实现根据文字生成跳舞视频》
在ComfyUI
中 除了使用animatediff
插件之外, 还有很多其他的插件也能生成视频, 比如deforum
等等
那么本文呢 将给大家介绍如何使用SVD
大模型来生成视频
什么是SVD
Stable Video Diffusion
简称SVD
, 可以理解为Stable Diffusion
模型的视频版本
目前该模型分为两个架构:
就当下来说, 除了Sora
之外,SVD
算得上是众多文生视频工具中效果最好的一个
开始上手
下载
SVD
模型或者
下载完后将模型存放在
ComfyUI\models\checkpoints
目录下-
这个插件主要用来将生成的图片转成
mp4
格式的视频文件这里推荐大家使用
Manager
进行下载: 创建节点
每个插件其实就是一个
Python
库, 每个节点相当于是某个库中的方法函数, 节点只是代码的图形化, 如果你是程序员, 那么这一点应该能明白这里我们需要创建七个节点:
Load Image
节点 : 用于加载图片 以该图片为基础生成视频Image Only Checkpoint Loader
节点 : 用于加载并读取SVD
模型VideoLinearCFGGuidance
节点 : 用于跨帧缩放CFG
来改进视频采样,距离初始图像帧较远的帧会接收较高的CFG
,高CFG
意味着高对比度和高色彩, 通过控制CFG
的跨度来控制所生成的视频色彩丰富程度SVD_img2vid_Conditioning
节点 : 用于设置视频参数 比如视频帧率、尺寸等等KSampler
节点 : 对潜空间图像进行去噪处理VAE Decode
节点 : 作用是利用VAE
模型将KSampler
采样器处理后的潜空间图像进行解码成像素图像Video Combine
节点 : 将生成的内容转成视频格式
节点连接如下:
效果测试
原始图片 视频
使用SVD实现文生图
ComfyUI
环境下使用SD
模型可以根据文字生成图片, 而SVD
模型又能根据图片生成视频, 那么两个模型结合起来使用, 就可以实现文生视频的功能
完整的文生视频工作流搭建如下:
文生图这一步我使用的是sd_xl_base_1.0.safetensors模型
生成效果如下:
工作流下载
两种下载方式, 任君选择:
点击网盘下载 (访问密码: 312306)
在线体验
如果你不想本地部署ComfyUI
, 仅仅想体验一下SVD
模型的效果, 可以使用SVD
在线版本, 目前在线网站也有不少:
本文为作者原创 转载时请注明出处 谢谢