AIGC—Stable Diffusion WebUI 进阶教程
上海/动画师/152天前/76浏览
版权
AIGC—Stable Diffusion WebUI 进阶教程
梳理完了SD的一些基础知识后,开始一些进阶知识的梳理,SD其实变得很好用,还是得依靠大神们做的很多插件,使用插件让SD帮助你在各个行业中发挥更大的价值。
#1 SD插件的配置方法
首先先来看下SD插件的配置方法,主要分为三种:在线直接加载配置,导入Github网址,下载文件拖入本地文件夹。
在线直接加载配置:
在扩展/加载自/加载自己需要的插件,ctrl +f (可以标注你想要查找的东西),直接下载即可:

导入Github网址:
有直接安装路径的插件就把路径复制到扩展的,扩展仓库网址里点击安装即可:

下载文件拖入本地文件夹:
下载好的插件解压,解压好直接放进插件目录里,在扩展里找到应用更改重启前端,在回到主界面插件就出现了。我使用的镜像,它的插件是装在 stable-diffusion-webui/extensions 下:

#2 效果图的批量对照
提示词矩阵:
在提示词中,使用|分离多个提示词,并打开提示词矩阵的脚本,SD会开启对比提示词的差异。提示词写法为:
|提示词|提示词|

在脚本中选中“提示词矩阵”

提示词为 1girl,|forest|city| 的生成图
X/Y/Z图表:
可以定义迭代步数,采样方式等,Z代表生成批次。


不同采样方式和迭代步数的生成效果不用,方便对照
#3 tagger提示词打标器
给tagger一个图片,它可以反推图片的提示词,常用的反推模型是WD14 moat tagger v2:

tagger的使用界面
权重阈值越小,给出的关键词越多,权重阈值越大,给出的关键词越精炼。
#4 ADetailer 修复脸部插件
可以修复人物的面部缺陷。可以加入正向提示词和反向提示词来控制最后的出图结果:


使用了Adetailer后生成的人物图
#5 超高分辨率:
AI高分辨率智能修复可以使用 Tiled Diffusion+Tiled VAE+ControlNet Tile模型。让画面变得更高清,更有细节。
Tiled diffusion
将画面分区块放大,潜空间分块就是把原图分成不同的区块,分别绘制然后再拼合成大图。放大算法记得要勾选,否则无效。放大倍数是原图分辨率的放大多少倍。

Tiled VAE
根据电脑性能去进行画面解码,

ControlNet Tile
分块增加细节, 可以让原图画面不被改变的情况下,增加最后生成图的细节。其中Down Sampling Rate 数值越高,出图的细节就会越多。


网上下载的原图

增加了细节的图
#6 定姿势:Controlnet 插件讲解:
controlnet插件预处理器:
openpose可以只用骨骼图控制图像中人物的姿势;

openpose
depth识别图片的远近关系,让生成图片有前后关系和体积感;

depth

1girl,full body提示词生成图
seg色块控制了每个区域是什么东西,可以使用ps进行调整;

normal各个像素有高度值,含细节表面信息;

scriblle色块控制了每个区域是什么东西;

lineart可以更好的识别图片的细节,支持在更大的空间做扩展;

canny可以更好的识别图片
内部的细节
,图片要是白底黑线,可以按预处理器设置为反转。

Controlnet插件使用案例:
1. IP制作:
1.1 将线稿图放入Contronlnet中,使用canny预处理器,对线稿边缘进行提取:

1.2 选择一个合适的大模型ReVAnimated,再加入一个盲盒lora,给到提示词,生成图片,这样线稿图就可以生成可爱的盲盒IP样式了:

2.人台图到模特图转换
2.1 将下载好的人台图导入3D openpose插件中,插件将自动检测人物姿势,可以使用移动工具调整人物姿势,然后点击生成,再下载生成好的open pose图:


2.2 需要用到两个controlnet:canny(需要用白色背景的裙子图)用于固定画面结构,openpose用于固定人物姿势(不用选择预处理器):


2.3 再使用重绘蒙版,白色区域是需要重绘的区域:

2.4 选择一个大模型和关键词生成生成图图:

我加入了Adetailer修复了面部缺陷
2.5 将生成图发送到图生图进行放大重绘,AI高分辨率智能修复可以使用 Tiled Diffusion+Tiled VAE+ControlNet Tile模型。让画面变得更高清,更有细节。
3.给照片换脸
3.1 将要替换脸的照片放入图生图的局部重绘中,用画笔将面部和头发选择涂抹出来:

3.2 给到蒙版边缘模糊度到8,让生成图的边缘更自然一些

3.3 选择一个conrolnet,预处理器选择openpose 固定人物动作和脸部

3.4 选择一个合适的大模型和关键词生成图:

我们就成功的把之前的模特的脸替换掉了
4.给照片换服饰
4.1 同样是刚才的模特图,这次选择
重绘非蒙版内容
,我们把模特的脸保留,给她替换一个不同的衣服和场景试一下:

4.2 给到一些场景关键词,使用两个controlnet ,一个是openpose固定姿势,一个是局部重绘:



给小姐姐换了个衣服和场景
5.电商产品图
使用一个大模型ReVAnimated,在lora中加入电商光与影,


使用的lora
Controlnet使用Canny固定产品外形:

最终生成图:

6.建筑效果图还原
大模型使用老王建筑,lora使用现代建筑 | ModernArchi,


使用的lora
用Controlnet里面的canny描绘建筑线稿:

最终生成图:

7.室内装修效果图还原
使用ReVAnimated的大模型,lora加入法式奶油风室内设计|French Cream Style

Controlnet里面,使用depth控制画面前后关系

选一个还不错的发送到图生图再进行加工:

8.漫画线稿上色
用SD生成一张漫画线稿图,将这个线稿图放在文生图中:

选择大模型,Controlnet选择Lineart线稿,加入不同的lora尝试风格:


使用tiled diffusion和tiled VAE放大画面细节:

不同风格尝试

不同风格尝试
9.汽车线稿生成产品概念图
大模型使用ReVAnimated,使用了一个未来概念车造型设计的lora,把汽车线稿放入controlnet里面,预处理器选择lineart


最终生成图:

1
Report
声明
收藏
Share
in to comment
Add emoji
喜欢TA的作品吗?喜欢就快来夸夸TA吧!

Log in
1Log in and synchronize recommended records
收藏Log in and add to My Favorites
评论Log in and comment your thoughts
分享Share