ComfyUI节点技巧进阶/多模型串联 | 细分拆解

Recommand
上海/插画师/1年前/3421浏览
ComfyUI节点技巧进阶/多模型串联 | 细分拆解Recommand
枯卜
前言
在之前安装完汉化插件后,在新建节点中就会出现Alek节点组,一般我们用第一个简化版就够用,当我们深入学习后或者有了更好的翻译引擎比如deep的api接口,则可以选用高级版去探索
ComfyUI节点技巧进阶/多模型串联 | 细分拆解
本篇涵盖内容:
文本编辑拓展说明
CLIP设置停止层应用
AlekPet辅助功能介绍
ComfyUI Alek节点组详解
Primitive元节点匹配与调用
字符串操作(function)详解
KSampler(采样器)输入类型
单个/多个Lora模型连接/串联方式
如何单独运用翻译文本text节点输出
一、节点进阶详解
1.1 ALEK节点组
重点还是以上三类文本翻译
重点还是以上三类文本翻译
在安装完汉化插件后,在新建节点中就会出现Alek节点组,这就是插件提供给我们的插件包,我们所有下载的插件但凡是节点都会是一些列的节点,有的拓展包比较大,有的比较小;
像Alek拓展包就是比较轻量化的节点,我们把条件和文本的节点一一罗列出来,至于拓展是附带的一些小功能类似预览文本,图像则是像绘图等可以再之后放入我们的Ctrl net或图像处理的流程中,这里就不过多赘述了;
1.2 文本编码器
文本编码器
文本编码器
与工作流中CLIP文本编码器相同,负责接收我们输入文本,和把文本编码成Token;一般我们用第一个简化版就够用,当我们深入学习后或者有了更好的翻译引擎比如deep的api接口,则可以选用高级版去探索;
1.3 翻译节点
翻译节点
翻译节点
可以看到区别,文本的是不带编码的,左边节点的输出是直接clip输出,clip能直接链接输出到模型;右边没有我们该怎么处理呢?这里就要说到一个节点的基础知识点:参数提升为变量,我们可以把任何一个节点里的参数提升为一个单独的变量,然后单独的输入;如果想单独运用翻译文本上text节点输出(更准确是string这个类型)可以直接右键CLIP文本编码器节点,选择转换 文本 为输入
1.4 提升变量
提升变量
提升变量
同样的方法我们也可以在正向提示词进行一个转换,这种提升变量的方式呢我们在节点里是经常用到的;比如说我们有两个K采样器,两组生成内容不一样(两种不同的提示词)但我们希望两组的随机种子是一样的固定某一个值,此时我们就可以用到提升变量把这个值提出来;
1.5 元节点
元节点
元节点
比如说我们直接把随机种子拖拽到元节点上,此刻元节点所代表的值就是随机种子;同理我们把另一个K采样器的随机种也提升为变量链接源节点,两个K采样器即可使用同一随机种变量;通常情况下当我们想共享数据参数的时候,都会使用提升参数为变量;同理既然我们可以提升参数为变量就可以还原参数,右键转换随机种为组件即可;
1.6 文本输入
文本输入
文本输入
有时候在我们输入提示词的时候描述并不准确,我们并不能直观的看到翻译后的内容,我们就可以使用带编码的CLIP文本编码器;带编码的CLIP文本编码器优点时简单,缺点就是不能多次批量的来组合文本;
1.7 流程总结
流程总结
流程总结
这样我们在文本框种输入的同时就编码翻译进去了,如果想查看原英文只需要再加一个展示文本即可;展示文本和预览文本功能相同;这就是我们一个翻译文本的基本运用;
Tips:当我们不需要某个节点的时候就可以ctrl+m停止该节点运行
二、提词技巧精通
1.1 字符串操作(function)
字符串操作(function)
字符串操作(function)
在我们的瑞士军刀插件中还有一个字符串操作(function);可以看到图片最后当我们选择替换replace时,如果三个字符串中我们同样分别输入111/222/333,最后输出的结果就会都被第一个字符转替换,结果框中只显示:111;
1.2 提词组结
提词组结
提词组结
紧接上条,当我们有了这样一个字符串操作(function)后,我们就可以进行一个题词的一个组结;
此刻我们的字符串就可以直接给到文本,这样就形成了我们的一个文本的编辑工作流;
1.3 补充说明
补充说明
补充说明
当然现阶段图片可能有些不美观,因为我们此时的模型还是需要加一些质量描述词/修饰词等,直出图片还是不如SDXL模型人性化
1.4 自定义语句
自定义语句
自定义语句
文字补全功能需要点击自定义语句,让它读取下本身的TXT文件,插件就会加载网上读取的默认文字补全;
1.5 信息查看插件
查看模型信息
查看模型信息
包括主模型,右键我们也可以看到查看信息,点击查看信息就会读取civitiai的模型数据内容,也可直接点进civitai看模型详细信息;同样是菜单栏中:我们可以自由选择图像面板位置,按照下面图片依次点击,菜单左边就会出现历史记录;
Tips:当我们需要图像重绘时,也可以直接从历史区域拖拽;也可以在comfyui空白界面通过拖拽图像直接出现该图像的生成工作流
1.6 自动排列
自动排列
自动排列
当安装了插件后我们在右键子菜单中可以看到Checkpoint加载器(pysss)选项
1.7 吸附网络
吸附网络
吸附网络
还要介绍的一个功能就是吸附网格,在移动时可以吸附任意点,相当于自动对齐;其余小操作大家也可以自行探索,这里就不过多赘述了,后面在用到时会顺带跟大家展示一下;
三、多模型节点串联
1.1 Lora加载器
Lora加载器
Lora加载器
SD中我们常用的一个功能高清修复,其本质就是图片的放大重绘重采样,和我们图生图中是一致的,这一篇讲解的就是如何在comfyUI中的多重放大工作流和Lora模型的节点串联;首先我们依然是加载一个默认工作流,这里我们再来说一个小功能,comfyUI的功能是特别细碎的,有些东西没办法组织成体系,所以我们会在工作流之中参插教给大家;我们在放大工作流上额外实现的一个功能就是Lora模型的一个加载(因为生成图像所以未来效果更好,我们这里添加一个Lora);通过之前节点输出输入的学习我们现在应给也基本可以判断出Lora(加载器)在当前模型输入中的哪一条线路;
1.2 管道输入概念
输入管道
输入管道
这里要提到的一个概念就是输入的管道,因为未来我们用到所有外挂的一些东西都是需要挂载到最初的【K采样器】的输入里去的;但目前我们看到K采样器输入的类型就只有三个:模型数据、clip编码数据和Latent数据,这意味这将来所有挂载的数据都要输入到这三个管道中去;这里通过加载lora可以看出它用的管道是模型管道和CLIP管道;但此时clip不是条件,无法链接K采样器,意味着此处肯定是链接CLIP编码器的也就是文本编码之前;
1.3 CLIP设置停止层
CLIP设置停止层
CLIP设置停止层
通过管道信息分析,我们就一目了然,这个Lora模型该怎么链接加载了;主模型信息先经过Lora处理,主模型CLIP也要经过Lora处理,处理完以后再把Lora的CLIP给到文本,文本调整以后再传输给K采样器,Lora处理完以后的模型就可以直接给到采样器,这是我们的一个基本连法了;
在comfyui中实现也很简单,只要把Lora的clip点在空白处拖出来就会得到CLIP设置停止层的节点(CLIP Set Last Layer)此时默认是-1,如果我们要出动漫效果就填-2,跳过两层,再把CLIP重新连给文本;
1.4 多模型串联
多模型串联
多模型串联
如果我们还想添加Lora模型,比如一张图需要3-5个Lora模型,我们只需要复制Lora用串接的形式链接;此时我们的CLIP从模型过了四遍最后输出给文本,最后一个模型再输出给到我们的K采样器(不一定是K采样器,但总之任何采样器都是需要模型输入的);
1.5 补充说明
补充说明
补充说明
在Lora加载器中,我们可以看到模型强度和CLIP强度两个参数输出的强度选项;通常我们在webui中两个强度时相关的(一样数值),这样就可以共用一个参数,不需要设置两遍;
这里如果我们想让参数一致就需要用到之前的知识点参数提升变量,再新建元节点,用元节点读取它们的信息,这样一个参数就可以同时控制模型和CLIP两个参数;
四、后记
下面一篇会给大家更新放大组件,ComfyUI的工作流并不唯一,没有一个答案是固定死的,没有完全觉得的答案也没有完全绝对的工作流,一切都靠我们思路的发散。
10
Report
|
15
Share
评论
in to comment
Add emoji
喜欢TA的作品吗?喜欢就快来夸夸TA吧!
Log in