ComfyUI实现根据文字生成跳舞视频

前言

目前使用AI生成视频的方式有很多中, 详情可参见之前文章《根据文字生成视频

今天给大家介绍如何使用ComfyUI生成视频, 关于ComfyUI工具的安装和使用可参见《基于StableDiffusion的AI绘图应用ComfyUI》和《Mac平台部署AI绘图应用ComfyUI》 这里就不赘述了

需要下载的插件和模型

插件:

模型:

  • mm_sd_v15_v2 : 该模型下载后放置到ComfyUI/models/animatediff_models目录下, 如果animatediff_models目录不存在则手动创建

  • v1-5-pruned-emaonly : 该模型放置到ComfyUI/models/checkpoint目录下

  • vae-ft-mse-840000-ema-pruned : 该模型放置到ComfyUI/models/vae目录下

  • lcm-lora-sdv1-5 :这个模型下载后需要将文件名改为lcm-lora-sdv1-5.safetensors 然后放置到ComfyUI/models/loras目录下

工作流和素材下载

image-20240520211557942

image-20240520211636318

点击下载

开始生成视频

  1. 启动ComfyUI, 浏览器输入http://127.0.0.1:8188/

  2. 将工作流json文件拖拽至浏览器面板打开

  3. 修改模型路径

    当我们使用别人的工作流文件时, 模型加载路径不会动态修正为我们的模型路径, 这里需要我们手动修改:

    image-20240520215805578

    image-20240520215859977

  4. 加载动画参考素材

    image-20240520211503227

  5. 开始生成

    点击Queue Prompt生成视频

    image-20240520211437288

  6. 效果如下

    iShot_2024-05-25_11.07.41

注意事项

本地生成视频对电脑配置要求比较高 吃内存厉害 如果配置不够 建议使用在线ComfyUI

点击进入在线ComfyUI

点击进入在线ComfyUI2

点击进入在线ComfyUI3

本文为作者原创 转载时请注明出处 谢谢

ACG作坊– 分享动漫制作的博客站

0%