Krita+ComfyUI结合实现一键作图和实时绘画

前言

Krita是一款开源跨平台的绘画软件

Krita通过插件与ComfyUI进行结合后使得Krita的功能如虎添翼

关于ComfyUI的介绍以及安装使用可参见之前文章《基于StableDiffusion的AI绘图应用ComfyUI》和《Mac平台部署AI绘图应用ComfyUI》这里就不做重复介绍了

至于Krita的下载安装可进入它的官网或者Github 获取最新的版本

Krita官网 : 点击进入

GitHub : 点击进入

本文主要聊一聊如何实现两者的结合

实现步骤

下载krita-ai-diffusion插件

点击进入GitHub下载
安装krita-ai-diffusion插件

打开Krita应用点击菜单栏中 工具-->脚本-->从文件导入python插件

选择上一步下载好的插件压缩包然后会弹出一个确认框我们点击yes选项:
开启插件面板

插件安装完成后需要重启Krita才能生效

然后我们点击菜单栏中设置-->面板列表-->AI image generation开启显示插件面板

此时我们在软件右下方可以看到插件面板:
安装krita-ai-diffusion所需的ComfyUI插件

保持ComfyUI后台启动状态然后点击configure打开插件设置面板在Connection选项中勾选Custom Server也就是使用ComfyUI服务:

这里报错提示我们需要安装额外的五个依赖插件并且暖心地给我们提供了插件的下载地址😬
- ControlNet Preprocessors https://github.com/Fannovel16/comfyui_controlnet_aux
- IP-Adapter https://github.com/cubiq/ComfyUI_IPAdapter_plus
- Ultimate SD Upscale https://github.com/Acly/krita-ai-diffusion/releases/download/v0.1.0/ComfyUI_UltimateSDUpscale-6ea48202a76ccf5904ddfa85f826efa80dd50520-repack.zip
- External Tooling Nodes https://github.com/Acly/comfyui-tooling-nodes
- Inpaint Nodes https://github.com/Acly/comfyui-inpaint-nodes
插件下载好后将插件zip包解压后放入ComfyUI名为custom_nodes的插件目录下
安装ComfyUI插件的依赖

ComfyUI插件都是用python编程的库这些个插件内部有自己的python库依赖我们需要进行安装
1
2
3
pip3 install opencv-python
pip3 install matplotlib
pip3 install skimage

安装所需模型

当我们插件安装完毕重启ComfyUI和Krita 此时又有新的提示:

缺少相应的模型我们需要进行下载官方提供的链接是Huggingface下载点国内访问速度非常慢

这里推荐大家使用Huggingface 镜像站需要下载的模型有以下几个体积总共5个多GB:

这里我已经把下载链接替换成了镜像站的连接直接点击即可下载:
- Clip-Vision to models/clip_vision/SD1.5
- NMKD Superscale SP_178000_G to models/upscale_models
- OmniSR_X2_DIV2K to models/upscale_models
- OmniSR_X3_DIV2K to models/upscale_models
- OmniSR_X4_DIV2K to models/upscale_models
- MAT_Places512_G_fp16 to models/inpaint
- ControlNet inpaint to models/controlnet
- ControlNet tile to models/controlnet
- IP-Adapter (SD1.5) to models/ipadapter
- LCM-LoRA (SD1.5) to models/loras/lcm-lora-sdv1-5.safetensors 这个模型下载后需要将文件名改为lcm-lora-sdv1-5.safetensors
- DreamShaper to models/checkpoint

重启ComfyUI和Krita

将插件和模型下载完毕然后移动到对应的目录之后重启应用记住启动ComfyUI后再启动Krita

然后我们会在Krita右侧插件面板上看到连接成功字样:
指定checkpoint模型

我们在Configure Image Diffusion配置窗口的Styles选项栏中使用默认的New Style风格预设并选择刚刚我们下载的DreamShaper模型:
开始生成

在插件面板中输入相应的关键字然后点击generate开始生成

生成的图片如下:

咳咳生成的效果很好很满意😏

我们可以将生成的图片保存到本地图片默认存放在当前工程同级目录下