ComfyUI节点技巧进阶/多模型串联 | 细分拆解
上海/插画师/1年前/3421浏览
版权
ComfyUI节点技巧进阶/多模型串联 | 细分拆解
前言
在之前安装完汉化插件后,在新建节点中就会出现Alek节点组,一般我们用第一个简化版就够用,当我们深入学习后或者有了更好的翻译引擎比如deep的api接口,则可以选用高级版去探索

本篇涵盖内容:
文本编辑拓展说明
CLIP设置停止层应用
AlekPet辅助功能介绍
ComfyUI Alek节点组详解
Primitive元节点匹配与调用
字符串操作(function)详解
KSampler(采样器)输入类型
单个/多个Lora模型连接/串联方式
如何单独运用翻译文本text节点输出
一、节点进阶详解
1.1 ALEK节点组

重点还是以上三类文本翻译
在安装完汉化插件后,在新建节点中就会出现Alek节点组,这就是插件提供给我们的插件包,我们所有下载的插件但凡是节点都会是一些列的节点,有的拓展包比较大,有的比较小;
像Alek拓展包就是比较轻量化的节点,我们把条件和文本的节点一一罗列出来,至于拓展是附带的一些小功能类似预览文本,图像则是像绘图等可以再之后放入我们的Ctrl net或图像处理的流程中,这里就不过多赘述了;
1.2 文本编码器

文本编码器
与工作流中CLIP文本编码器相同,负责接收我们输入文本,和把文本编码成Token;一般我们用第一个简化版就够用,当我们深入学习后或者有了更好的翻译引擎比如deep的api接口,则可以选用高级版去探索;
1.3 翻译节点

翻译节点
可以看到区别,文本的是不带编码的,左边节点的输出是直接clip输出,clip能直接链接输出到模型;右边没有我们该怎么处理呢?这里就要说到一个节点的基础知识点:参数提升为变量,我们可以把任何一个节点里的参数提升为一个单独的变量,然后单独的输入;如果想单独运用翻译文本上text节点输出(更准确是string这个类型)可以直接右键CLIP文本编码器节点,选择转换 文本 为输入
1.4 提升变量

提升变量
同样的方法我们也可以在正向提示词进行一个转换,这种提升变量的方式呢我们在节点里是经常用到的;比如说我们有两个K采样器,两组生成内容不一样(两种不同的提示词)但我们希望两组的随机种子是一样的固定某一个值,此时我们就可以用到提升变量把这个值提出来;
1.5 元节点

元节点
比如说我们直接把随机种子拖拽到元节点上,此刻元节点所代表的值就是随机种子;同理我们把另一个K采样器的随机种也提升为变量链接源节点,两个K采样器即可使用同一随机种变量;通常情况下当我们想共享数据参数的时候,都会使用提升参数为变量;同理既然我们可以提升参数为变量就可以还原参数,右键转换随机种为组件即可;
1.6 文本输入

文本输入
有时候在我们输入提示词的时候描述并不准确,我们并不能直观的看到翻译后的内容,我们就可以使用带编码的CLIP文本编码器;带编码的CLIP文本编码器优点时简单,缺点就是不能多次批量的来组合文本;
1.7 流程总结

流程总结
这样我们在文本框种输入的同时就编码翻译进去了,如果想查看原英文只需要再加一个展示文本即可;展示文本和预览文本功能相同;这就是我们一个翻译文本的基本运用;
Tips:当我们不需要某个节点的时候就可以ctrl+m停止该节点运行
二、提词技巧精通
1.1 字符串操作(function)

字符串操作(function)
在我们的瑞士军刀插件中还有一个字符串操作(function);可以看到图片最后当我们选择替换replace时,如果三个字符串中我们同样分别输入111/222/333,最后输出的结果就会都被第一个字符转替换,结果框中只显示:111;
1.2 提词组结

提词组结
紧接上条,当我们有了这样一个字符串操作(function)后,我们就可以进行一个题词的一个组结;
此刻我们的字符串就可以直接给到文本,这样就形成了我们的一个文本的编辑工作流;
1.3 补充说明

补充说明
当然现阶段图片可能有些不美观,因为我们此时的模型还是需要加一些质量描述词/修饰词等,直出图片还是不如SDXL模型人性化
1.4 自定义语句

自定义语句
文字补全功能需要点击自定义语句,让它读取下本身的TXT文件,插件就会加载网上读取的默认文字补全;
1.5 信息查看插件

查看模型信息
包括主模型,右键我们也可以看到查看信息,点击查看信息就会读取civitiai的模型数据内容,也可直接点进civitai看模型详细信息;同样是菜单栏中:我们可以自由选择图像面板位置,按照下面图片依次点击,菜单左边就会出现历史记录;
Tips:当我们需要图像重绘时,也可以直接从历史区域拖拽;也可以在comfyui空白界面通过拖拽图像直接出现该图像的生成工作流
1.6 自动排列

自动排列
当安装了插件后我们在右键子菜单中可以看到Checkpoint加载器(pysss)选项
1.7 吸附网络

吸附网络
还要介绍的一个功能就是吸附网格,在移动时可以吸附任意点,相当于自动对齐;其余小操作大家也可以自行探索,这里就不过多赘述了,后面在用到时会顺带跟大家展示一下;
三、多模型节点串联
1.1 Lora加载器

Lora加载器
SD中我们常用的一个功能高清修复,其本质就是图片的放大重绘重采样,和我们图生图中是一致的,这一篇讲解的就是如何在comfyUI中的多重放大工作流和Lora模型的节点串联;首先我们依然是加载一个默认工作流,这里我们再来说一个小功能,comfyUI的功能是特别细碎的,有些东西没办法组织成体系,所以我们会在工作流之中参插教给大家;我们在放大工作流上额外实现的一个功能就是Lora模型的一个加载(因为生成图像所以未来效果更好,我们这里添加一个Lora);通过之前节点输出输入的学习我们现在应给也基本可以判断出Lora(加载器)在当前模型输入中的哪一条线路;
1.2 管道输入概念

输入管道
这里要提到的一个概念就是输入的管道,因为未来我们用到所有外挂的一些东西都是需要挂载到最初的【K采样器】的输入里去的;但目前我们看到K采样器输入的类型就只有三个:模型数据、clip编码数据和Latent数据,这意味这将来所有挂载的数据都要输入到这三个管道中去;这里通过加载lora可以看出它用的管道是模型管道和CLIP管道;但此时clip不是条件,无法链接K采样器,意味着此处肯定是链接CLIP编码器的也就是文本编码之前;
1.3 CLIP设置停止层

CLIP设置停止层
通过管道信息分析,我们就一目了然,这个Lora模型该怎么链接加载了;主模型信息先经过Lora处理,主模型CLIP也要经过Lora处理,处理完以后再把Lora的CLIP给到文本,文本调整以后再传输给K采样器,Lora处理完以后的模型就可以直接给到采样器,这是我们的一个基本连法了;
在comfyui中实现也很简单,只要把Lora的clip点在空白处拖出来就会得到CLIP设置停止层的节点(CLIP Set Last Layer)此时默认是-1,如果我们要出动漫效果就填-2,跳过两层,再把CLIP重新连给文本;
1.4 多模型串联

多模型串联
如果我们还想添加Lora模型,比如一张图需要3-5个Lora模型,我们只需要复制Lora用串接的形式链接;此时我们的CLIP从模型过了四遍最后输出给文本,最后一个模型再输出给到我们的K采样器(不一定是K采样器,但总之任何采样器都是需要模型输入的);
1.5 补充说明

补充说明
在Lora加载器中,我们可以看到模型强度和CLIP强度两个参数输出的强度选项;通常我们在webui中两个强度时相关的(一样数值),这样就可以共用一个参数,不需要设置两遍;
这里如果我们想让参数一致就需要用到之前的知识点参数提升变量,再新建元节点,用元节点读取它们的信息,这样一个参数就可以同时控制模型和CLIP两个参数;
四、后记
下面一篇会给大家更新放大组件,ComfyUI的工作流并不唯一,没有一个答案是固定死的,没有完全觉得的答案也没有完全绝对的工作流,一切都靠我们思路的发散。
10
Report
声明
15
Share
in to comment
Add emoji
喜欢TA的作品吗?喜欢就快来夸夸TA吧!

Log in
10Log in and synchronize recommended records
15Log in and add to My Favorites
评论Log in and comment your thoughts
分享Share