前言
目前市面上文生视频的产品有很多比如runway、pika、Genmo等等 详情参见之前文章《根据文字生成视频》
另外前面也给大家介绍过如何使用animatediff插件生成视频, 详情参见《ComfyUI实现根据文字生成跳舞视频》
在ComfyUI中 除了使用animatediff插件之外, 还有很多其他的插件也能生成视频, 比如deforum等等
那么本文呢 将给大家介绍如何使用SVD大模型来生成视频
什么是SVD
Stable Video Diffusion简称SVD, 可以理解为Stable Diffusion模型的视频版本
目前该模型分为两个架构:
就当下来说, 除了Sora之外,SVD算得上是众多文生视频工具中效果最好的一个
开始上手
下载
SVD模型
或者
下载完后将模型存放在
ComfyUI\models\checkpoints目录下-
这个插件主要用来将生成的图片转成
mp4格式的视频文件这里推荐大家使用
Manager进行下载:
创建节点
每个插件其实就是一个
Python库, 每个节点相当于是某个库中的方法函数, 节点只是代码的图形化, 如果你是程序员, 那么这一点应该能明白这里我们需要创建七个节点:
Load Image节点 : 用于加载图片 以该图片为基础生成视频Image Only Checkpoint Loader节点 : 用于加载并读取SVD模型VideoLinearCFGGuidance节点 : 用于跨帧缩放CFG来改进视频采样,距离初始图像帧较远的帧会接收较高的CFG,高CFG意味着高对比度和高色彩, 通过控制CFG的跨度来控制所生成的视频色彩丰富程度SVD_img2vid_Conditioning节点 : 用于设置视频参数 比如视频帧率、尺寸等等KSampler节点 : 对潜空间图像进行去噪处理VAE Decode节点 : 作用是利用VAE模型将KSampler采样器处理后的潜空间图像进行解码成像素图像Video Combine节点 : 将生成的内容转成视频格式
节点连接如下:
效果测试
原始图片 视频 
使用SVD实现文生图
ComfyUI环境下使用SD模型可以根据文字生成图片, 而SVD模型又能根据图片生成视频, 那么两个模型结合起来使用, 就可以实现文生视频的功能
完整的文生视频工作流搭建如下:
文生图这一步我使用的是sd_xl_base_1.0.safetensors模型
生成效果如下:
工作流下载
两种下载方式, 任君选择:
点击网盘下载 (访问密码: 312306)
在线体验
如果你不想本地部署ComfyUI, 仅仅想体验一下SVD模型的效果, 可以使用SVD在线版本, 目前在线网站也有不少:
本文为作者原创 转载时请注明出处 谢谢