ComfyUI生成与某张参考图类似的图片

前言

有时候我们可能要模仿某种风格的图片, ComfyUI可直接使用图生图功能, 但是吧, 出来的效果差强人意, 如下:

原图 处理后的图片
表情原型 e769d0364f5797ee2a929869014bcdee6e064b774850f432ba177662f532cad2

如果我们想生成的图片更接近原图, 可以降低Ksampler节点中denoise的值, denoise表示去噪的强度, 也就是对原图擦除的程度, 擦除值越低, 和原图越相似, 比如我将denoise设置为0.3, 效果如下:

image-20240527082819017

和原图一样? 这肯定不是我想要的效果, 我只希望得到一个与原图风格特征类似的图片

为了实现这一目的, 我又尝试了使用AI提取原图特征, 然后将特征关键字翻译成英文, 并作为正向提示词填入到ComfyUI

这里我使用了讯飞星火的AI识图功能:

image-20240527083830693

如果不满意, 可以多生成几次, 或者更换提问的方式

翻译的话我用的是百度翻译:

image-20240527084158981

然后生成的图片, 也是不能用:

image-20240527085115706

弯路我已经替大家走完了, 不过也有可能是我的操作不对,比如提示词没到位, 模型用错了之类的, 大家要是看出什么问题了, 欢迎指点😬

那么难道就没有其他办法了吗?

en… 是的, 暂时还没想到, 后面有了我会及时补充上来

不过 我们在ComfyUI也可以使用工作流的形式来从图片中逆推提示词, 也许在日后能起到一定的作用

根据图片逆推提示词

  1. 安装所需插件

  1. 安装所需模型

    我们可以使用插件自动下载的方式, 只需进入到ComfyUI-WD14-Tagger插件目录下找到pysssss.jsonwd14tagger.py文件, 将里面的https://huggingface.co改成https://hf-mirror.com:

    image-20240527101954751

    image-20240527102144792

    image-20240527103850801

    这样 当我们使用该插件节点的时候 会以国内加速的形式自动下载缺失的模型:

    image-20240527104713075

    当然我们也可以手动下载模型:

    点击进入模型下载页

    image-20240527102352411

    选择需要的模型然后下载model.onnxselected_tags.csv

    image-20240527102526034

    下载完成后将文件进行更名, 比如改为wd-swinv2-tagger-v3.onnxwd-swinv2-tagger-v3.csv, 让后将它们放置到ComfyUI-WD14-Tagger/models目录下

    image-20240527103810554

  1. 创建节点

    只需要三个节点

    • Load Image节点 : 用于加载并读取需要进行解析的图片
    • WD14 Tagger节点 : 用于解析图片
    • String Function节点 : 用于查看逆推后完整的提示词内容

    完整的工作流如下:

    image-20240527104646975

  2. 生成提示词

    工作流执行完毕后, 我们可以在节点中查看并拷贝生成的提示词

    image-20240527104519644

批量生成图片

目前AI绘图还是需要靠抽卡才能得到自己满意的图片, 这种情况下, 我们可以一次性生成多张图片, 然后从中挑选一张自己满意的, 我们只需在Empty Latent Image节点中设置batch_size字段的值即可:

image-20240527090737746

除此之外我们还可以使用Batch Prompt Schedule节点来一次性生成不同提示词的图片:

image-20240527094501594

这样的话, 针对那些付费的在线comfyui平台, 我们可以利用这种方法, 最大幅度的实现运算额度的价值😜

本文为作者原创 转载时请注明出处 谢谢

ACG作坊– 分享动漫制作的博客站

0%