1.3.36

ComfyUI基础工作流调整/搭建 | 二次采样&细节重绘

Recommand
上海/插画师/1年前/2724浏览
ComfyUI基础工作流调整/搭建 | 二次采样&细节重绘Recommand
枯卜
ComfyUI基础工作流调整/搭建 | 二次采样&细节重绘
前言
紧接上一篇说完我们的多模型节点串联后,就是我们的放大组件,了解完空间以后大家也知道了放大有两种放大:空间内(潜在空间)放大和空间外(像素空间)放大,这一篇就是带大家了解comfyUI的两个基础工作流搭建
一、多重采样重绘放大
1.1 Latent缩放
Latent缩放
Latent缩放
第一种空间内放大:相当于重绘是有细节的(是在采样它描绘的过程中放大)这就是在webui中放大算法的第一重重绘放大;既然是在空间中放大肯定要找到Latent的输入或者输出,这里肯定不是输入,拿我们就在输出Latent上拖出二级菜单;到这一步通常我们会想的就是给它一个VAE编码再给一个预览图象;
1.2 理线器
理线器
理线器
但因为主模型编码太远,所以我们一般会选择直接给一个VAE加载器;小技巧,当节点太远,我们拖拽节点的时候可以直接点鼠标中间,这样就会出现一个中转节点,我们也称之为理线器(理线器右键设置垂直接口就可改为纵向);当我们按照流程操作后会发现直接解码时不可行的,放大的图片模糊不清楚;因为此时所有的节点都是直接粗暴的对图像进行一个放大,无论在空间里还是外;此时就相于在ps拉大图片尺寸,不会有任何细节修复,只是单纯拉大图片;
1.3 二次采样
ComfyUI基础工作流调整/搭建 | 二次采样&细节重绘
所以在刚刚的基础上,我们还是需要二次的采样和细节重绘的,所以我们需要再复制一个K采样器来进行一个放大后的二次采样;这里我们就能明显的看到有了一个分辨率的提升;但此时依然有个问题就是放大后它的样子会变形,这是因为我们复制的K采样器上重绘幅度过高了;这里我们可以给到0.5左右,这里我们重绘幅度也不能给到太低在0.5-0.6之间;第二个呢就是我们的第一个K采样器应该设置一个优质的采样器,给它一个比较好的曲线,来进行第一次的浅空间生成;
第二次的K采样器我们为了图形稳定也应该采取相同的采样器,调度器为了速度可以选择normal;
1.4 潜在空间内放大补充说明
潜在空间内放大补充说明
潜在空间内放大补充说明
我们把放大系数改成2,这样呢我们的放大系数就会更明显,再对比下两张图可以看到重绘了以后细节更好;潜在空间之前的一个图片放大流程说到这里就结束了;下面讲解的时潜在空间以后的真实空间(像素空间)的一个放大流程;真实空间的放大也很好办,这一步我们就不是浅空间所出来的了,而是在最终图像上进行一个二次放大;
1.5 图像通过模型放大
ComfyUI基础工作流调整/搭建 | 二次采样&细节重绘
其实可以看到这里我们需要额外加载一个模型,到这一步就相当于我们webui中的后期放大了;到这里我们一个基础的浅空间二次放大工作流就配置完毕了;
1.6 二重放大
ComfyUI基础工作流调整/搭建 | 二次采样&细节重绘
上面就是我么已经通过放大模型在浅空间之后的Pixel space像素图像上进行的一个二次放大;
观察三个图像对比可以看到图像对比确实是比之前强不少,锐度也足够,接下来讲的就是三重放大;
1.7 三重放大
三重放大
三重放大
三重放大呢,我们就需要用到一个SD的插件在管理器中下载即可,搜索scale往下拉,找到SD放大,记住作者ssitu,千万别下错;下载完插件重启后,在新建节点中我们就能看到SD放大和SD放大(不放大);我么这里直接把连个节点都展示出来,可以看到两个节点都特别复杂,这是因为两个SD的放大节点都是混合了采样器;本身两个节点就是重采样的节点,只是它的采样方法不一样(通过区块式的渲染和SD中相同);可以看到原始的SD放大是多了一个放大模型输入的;
1.8 节点连接
ComfyUI基础工作流调整/搭建 | 二次采样&细节重绘
我们再回到SD放大节点可以看到并不复杂,都是之前接触过的节点;和K采样器一样要把所有的线链接起来;这样的话大家也可以看到整个的一个放大过程是融合了之前所有的节点,唯一区别就是输入时用的是图像输入,也就是解码后的图像给到SD放大,在SD放大中又重新将图像传回潜在空间进行一个二次渲染,再利用之前的参数(正/负提示词等)进行一个放大重绘;
1.9.1 三重放大补充(一)
ComfyUI基础工作流调整/搭建 | 二次采样&细节重绘
紧接上篇,SD放大在重绘过程中也是结合放大模型进行重绘;所以是把之前所有的流程全部整合到一个放大器之中,唯一区别就是SD放大采用的是区块式重绘,而不像之前是整张图片进行重绘;之前我们已经放大到了4K,现在需要的并不是在之前的基础上进行放大;再跟大家梳理下我们的三重放大;
1.9.2 三重放大补充(二)
三重放大补充(二)
三重放大补充(二)
通过后两张图片可以看出SD放大的图像明显比模型放大更好一些(多了纹路与细节,因为SD放大本身算法的补充)但是到现在我们的三重放大依然没有结束,只放大到二重,我们还需要再复制一份后期放大流程,让SD放大后的图像再进行一个后期放大,这才是我们最终的三重放大流程;
1.9.3 三重放大补充(三)
三重放大补充(三)
三重放大补充(三)
这就是有关SD中的放大工作流在comfyui中如何实现拼接组装不同的节点来搭建;
二、图像处理反推
1.1 裁剪模块
裁剪模块
裁剪模块
在SD中完整的一个图生图工作流在ComfyUI中搭建我们在之前入门笔记中就有过了解,当中其实涉及了很多模块,那么我们这一期就来一一实现其功能;第一步我们依旧是加载一个默认工作流,把Latent换成加载图像,同时添加一个VAE编码再把潜在空间传给K采样器我们一个基础的图生图工作流就完成了;但对于图片来说,我们还是需要一个前期处理的;也很简单,这里我们每个模块来单独的和大家了解讲解一下;
1.2 IPAdapter插件
IPAdapter插件
IPAdapter插件
点开图像裁剪后可以看到右上角有一个IPAdapter插件提示;IPA其实是有两版的,另一版本是IPAdapter plus,当中有很多拓展功能,ComfyUI会并到默认安装包中,所以大家通过作者安装包安装后一般就会自带这么一个图像裁剪;我们就可以通过这个宽高比设置,以及y轴和x轴的偏移来调整我们最终想要的输出的一个图像的具体参数;当我们运行后会发现图像只显示部分,这时候我们就可以让y轴进行一个偏移;但是因为每次调整我们都需要重新生成图片,所以我们这里可以把Atuo Queue打开,这样就能实时查看调整效果;
1.3 图像按系数缩放
图像按系数缩放
图像按系数缩放
但此时我们会发现在调整宽度以及高度时,我们是无法做到一个图像缩小的效果的,这时候我们就需要一个配合另外一个缩放节点;到这里我们的一个图像的处理就完成了,下面说的是我们图像的反推;
1.4 WD14插件
WD14插件
WD14插件
大家在训练模型时候都会用到一个插件,它会加载自动打标的模型,在comfyui中也是有这么一个插件的,在管理器搜索wd14;
Tips:有同学安装插件以后进了comfyui没看到插件,那大概率是插件位置安装错误
1.5 安装目录补充
安装目录补充
安装目录补充
一般我们插件下载下来后直接解压,也是会在custom_nodes文件夹中,但是插件外面是会再套了一层文件夹的,是不可识别的,只有插件点开来就是一级目录才可识别插件;
置信度:对整体图像的预值,阈值越低给出的题词就越多越零碎越详细;阈值越高,图像就会只挑选最主要的进行描述(背景等细节就不再描述)角色的阈值也同理;
1.6 拓展模块
拓展模块
拓展模块
接下来我们就可以加入到我们的原始工作流中去,在这之前我们还可以加一些拓展模块;比如字符串可以连接到字符串操作,再把A提升为变量,b也可以提升为变量(方便改变一些词汇)这里输词又可以运用到之前的翻译节点(选择高级的翻译文本Argos翻译)直接把文本传到b,最终我们选择append拼接的方式传给下方编码;编码我们也提升为字符串,再连接两个节点,这样我们就进行了一个提示词反推,同时把反推的提示词输入给clip;
Tips:记住我们还需要一个VAE编码(绿色框选部分)要将VAE传给编码再进浅空间
1.7 完整工作流
完整工作流
完整工作流
这样我们就通过一个简单的图生图同时提词反推将图像转换为一个偏动漫的角色;如果我们想要替换模块就还需要一个Inpengting模块,这里就放到我们下一篇笔记来讲解;
三、后记
这就是有关SD中的放大工作流和图生图在comfyui中如何实现拼接组装不同的节点来搭建;依旧要告诉大家的是ComfyUI的工作流并不唯一,没有一个答案是固定死的,没有完全觉得的答案也没有完全绝对的工作流,一切都靠我们思路的发散,接下来也会持续为大家更新ComfyUI的更多教程!
6
Report
|
19
Share
评论
in to comment
Add emoji
喜欢TA的作品吗?喜欢就快来夸夸TA吧!
Be the first to comment
Log in