基于StableDiffusion的AI绘图应用ComfyUI

发表于

前言

和WebUI类似 ComfyUI也是基于StableDiffusion搭建的一款图形化的AI绘图工具

ComfyUI基于节点式的操作 使得它比WebUI更加灵活和自由

image-20240513104835833

它可以干嘛?

  • 文生图
  • 图生图
  • 去除背景 替换背景 抠图
  • 老照片修复
  • 人物换脸
  • 局部重绘
  • 扩图
  • 动漫和真人互转
  • ……

只有我们想不到 没有StableDiffusion画不了的图

ComfyUI优势

  • 节点式操作 更高的创作自由度
  • 可与WebUI共享环境和模型
  • 可导出工作流json文件与他人分享 或者导入别人的工作流快速出图
  • 绘图迅速 对显存要求低

快速上手

  1. 安装ComfyUI

    该工具支持Windows、Linux、Mac平台 软件作者为Windows平台提供了一键启动包 其他平台 需要自行编译部署

    这里以Windows平台为例 只需进入Release页面进行下载

    image-20240513105214851

    GitHub : 点击进入

  2. 配置模型

    AI处理都是基于模型的 我们需要将模型下载并放到应用指定目录下

    首先需要下载三个模型 一个基础大模型checkpoint以及两个扩展模型vae和loras 模型文件的后缀为.safetensors或者.ckpt

    image-20240513123111258

    Stable Diffusion官方checkpoint大模型名称为v1-5-pruned-emaonly.ckpt 还有一些其他延伸出来的大模型 名称可能会不一样 这里需要注意

    模型下载:

  3. 运行ComfyUI

    双击run_nvdia_gpu或者run_cpu启动应用 前者表示使用GPU运算 后者表示用CPU运算 这里根据我们自己电脑配置进行选择即可

    显卡强的话 优先使用GPU运算 绘图更快

    image-20240513120121148

  1. 浏览器输入http://127.0.0.1:8188/进入到工作面板

    点击Load Default加载官方示例工作流

    image-20240521160023246

  2. 检查工作流中的模型配置

    大模型选择我们上面下载的v1-5-pruned-emaonly, 这个官方示例 只需要用基础大模型:

    image-20240521160148583

  3. 点击Queue Prompt生成

    image-20240520211437288

  4. 效果图如下

    image-20240521160815882

    生成的图片默认保存在ComfyUI/output目录下

关于正面和负面条件

  • 正面条件通常代表用户希望图像中包含的特定元素或属性

    例如 如果用户想要生成一个红色的苹果，那么红色和苹果就可以被视为正面条件

    这些条件告诉ComfyUI的生成模型应该尝试在生成的图像中包含这些特定的特征或元素

  • 负面条件则相反，它们代表用户不希望图像中包含的元素或属性

    使用负面条件可以帮助用户排除不希望出现在生成图像中的某些内容

    例如 如果用户不希望生成的苹果图像中包含任何瑕疵或破损的部分，那么这些就可以被设置为负面条件

工作流文件

官方给我们提供了一些常用的工作流示例文件 我们可以直接下载

官网 : 点击进入

image-20240513103203714

或者全部打包下载 只需将仓库代码clone或将zip包下载到本地:

Github : 点击进入

image-20240513103228465

image-20240513110339199

ComfyUI插件

为了给ComfyUI提供无限可能 作者还提供了插件通道 方便用户对ComfyUI功能进行增强扩展

插件使用流程

  1. 插件下载

    目前插件有很多 这里列举几个作为示例 只需将插件的地址粘贴到浏览器 然后clone仓库或者下载zip文件

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    //插件管理器
    https://github.com/ltdrdata/ComfyUI-Manager

    //辣椒酱的界面汉化：
    https://github.com/AIGODLIKE/AIGODLIKE-COMFYUI-TRANSLATION

    //提示词风格样式：
    https://github.com/twri/sdxl_prompt_styler

    //提示词中文输入：
    https://github.com/AlekPet/ComfyUI_Custom_Nodes_AlekPet

    //小瑞士军刀美化辅助：
    https://github.com/pythongosssss/ComfyUI-Custom-Scripts

    image-20240513110854053

  2. 插件安装

    将下载的zip包解压后放入ComfyUI插件目录下

    插件目录如下:

    1
    ComfyUI\custom_nodes

  3. 重启ComfyUI即可启用插件

注: 这里强烈推荐大家先安装ComfyUI-Manager插件管理器 有了它之后 我们直接通过这个插件去搜索安装其他的插件和模型 这样会更加的方便

menu

ComfyUI和WebUI共享模型

由于两个应用都是基于StableDiffusion搭建的 所以模型自然也可以共用

如果你之间已经安装了WebUI并且下载了模型 那么使用ComfyUI时 无需重新下载 只需将之前的模型拷贝过去

或者使用目录引用的方式 这样更加节省存储空间

具体引用方法如下:

  1. extra_model_paths.yaml.example配置文件中 将base_path的值设置为WebUI根目录全路径
  2. 将文件名末尾的.example后缀去掉
  3. 找到ComfyUI_windows_portable\update目录下的update_comfyui 双击运行更新即可

在线ComfyUI

如果你不想安装本地ComfyUI 还可以直接使用在线的版本 这种通常是收费的 即便免费也是按额度计算

这里推荐一个国产的在线ComfyUI平台 名为esheep:

image-20240513112737971

image-20240513112817313

image-20240513112829930

点击进入官网

这个网站除了可以帮助我们在线使用ComfyUI之外 还可以为我们列出工作流所需的插件和模型, 当我们在本地搭建ComfyUI并使用别人的工作流时, 可能会出现爆红的情况:

image-20240520194902104

这主要是确实插件导致的, 此时我们可以将工作流导入到esheep中后保存, 即可查看所需的插件和模型名称, 我们根据名称再去Github上搜索下载对应的插件这样能更加的精准 :

image-20240520195055315

ComfyUI使用快捷键

键绑定 解释
Ctrl + 回车 将当前图形排队以供生成
Ctrl + Shift + Enter 将当前图形排成第一个队列以供生成
Ctrl + Z/Ctrl + Y 撤消/重做
Ctrl + S 保存工作流
Ctrl + O 加载工作流
Ctrl + A 选择所有节点
Alt + C 折叠/取消折叠所选节点
Ctrl + M 静音/取消静音所选节点
Ctrl + B 绕过选定的节点（就像从图形中删除节点并重新连接电线一样）
删除/退格 删除所选节点
Ctrl + 删除/退格键 删除当前图形
空间 按住画布并移动光标时四处移动画布
Ctrl/Shift + 单击 将单击的节点添加到所选内容
Ctrl + C/Ctrl + V 复制和粘贴选定的节点（不维护与未选定节点输出的连接）
Ctrl + C/Ctrl + Shift + V 复制和粘贴选定的节点（维护从未选定节点的输出到粘贴节点的输入的连接）
Shift + 拖动 同时移动多个选定节点
Ctrl + D 加载默认图形
Q 切换队列的可见性
H 切换历史记录的可见性
R 刷新图表
双击鼠标左键 打开节点快速搜索面板

对于macOS用户，Ctrl可以替换为Cmd

附加

本文为作者原创 转载时请注明出处 谢谢

ACG作坊– 分享动漫制作的博客站

0%