Stable Diffusion赋能设计出图,你学会了吗?
介绍主流ai工具Stable Diffusion的超级复杂的安装与使用方法,直观介绍功能作用,后续再给大家成系列介绍midjourney的ai出图方法
大家都吐槽stable diffusion本地部署很难,但我已经很轻松学会了,方便能产出本人人像照,动漫照等,海马体和天真蓝照相馆要失业了!现在把部署和反复调试后参数,和积累的经验,文字超详版整理介绍给大家!学不会的在评论区找我,必耐心教导,安装实属不易,请多多支持文章和收藏。
AI绘画诞生初期,设计师讨论最多是“我们该怎么做才能不被人工智能所替代”,“人工智能到底会让多少设计师失业”等话题,而其实我们应该换一个角度思考,把AI绘画当成一个提升我们画画出图的工具,考虑如何利用它来帮我们做事,既能让我们摆脱焦虑,也能提升工作效率,那该如何利用它,下面以Stable Diffusion开源创造工具为例深入剖析。
Stable Diffusion工具特点
Disco Diffusion 是发布于 Google Colab 平台的一款利用人工智能深度学习进行数字艺术创作的工具,它是基于 MIT 许可协议的开源工具,可以在 Google Drive 直接运行,也可以部署到本地运行。Stable-Diffusion 免费、生成速度又快,每一次生成的效果图就像是开盲盒一样,需要不断尝试打磨,一下就勾起设计师的创造欲,都跃跃欲试,使它瞬间走红。
快
Stable Diffusion是最新的扩散模型。在生成图像方面,它在所生成图像的质量、速度和成本上都取得了巨大突破。Stable Diffusion能够在消费级显卡上实现DALL-E 2级别的图像生成,生成效率却提高了30倍。
开源
Stable Diffusion让用户使用消费级的显卡便能够迅速实现文生图。Stable Diffusion 完全免费开源,所有代码均在 GitHub 上公开,任何人都可以拷贝使用。在用户层面,它无疑是十分成功的。目前,Stable Diffusion已经有超过20万开发者下载和获得授权,各渠道累计日活用户超过1000万。而面向消费者的DreamStudio则已获得了超过150万用户,已生成超过1.7亿图片。
风格
ai出图风格多样,哪怕是你不敢尝试的画风,它都能帮你生成出来,可以用一句话形容,没有它做不到,只有你想不到,下面来看看我用工具合成的几组图片。
美国漫画风

赛博朋克风

魔幻风

游戏角色

文末有介绍上图渲染生成参数标记,大家可以复制粘贴生成。还有很多有趣又好玩的图片可以生成,先介绍下如何安装线上版本的Stable Diffusion。
安装与运行
先在Hugging Face上注册账号,注册成功后,在设置setting里找到token,账号名NAME随便填写,即可生成一个token。


把生成后的token复制到工具里,对应user_token位置粘贴,再运行全部代码即可,等待软件链接出现,即可点击跳转。


若能看到以下这个界面,恭喜你,可以开始使用啦!在第一行输入框里写上关键词,单个词也可以,只是结果简单点,可以用做普通的壁纸,这里面所有东西都要用英文去写,如果你不懂,其实翻译一下就行。用翻译软件,我们现在 AI 时代翻译也很好用,什么都能用,语言都不是问题。
在第一行输入框里写上关键词,单个词也可以,只是结果简单点,可以用做普通的壁纸。

第一行填写描述生成场景语句,第二行填写不希望在页面出现的词语。

描述语句可以总结为:主体、行动词、背景、风格、艺术家、其他,比如:
主体:a cat
行动词:sitting on a desk
背景:in the bedroom
风格可参照:https://promptomania.com
集成各种风格的词汇,打开链接,选择Stable Diffusion 产品,在这里可以选择各种视图角度,各种风格,直接复制对应关键词,即可在工具描述词栏目粘贴,生成对应风格。


艺术家可参照:https://aesthetics.fandom.com/wiki/List_of_Aesthetics
上面有艺术家列表,能搜对应的代表作画风,喜欢哪个作家,就把名字复制到工具描述词那粘贴,就能生成对应的画风。

也可参照:https://phenaki.video
上面有各种艺术家的风格,可以将作品打包下载

https://openart.ai/challenges
上面平台就有很多训练模型可供参考

按照上述提到描述顺序来填写实操一下:
a cat sitting on a desk,wearing sunglasses in the bedroom, Pencil Art

a cat sitting on a desk,wearing sunglasses in the bedroom, Pencil Art,Fujifilm Superia,Side-View;

胶片、铅笔风格、侧视图风格的图片生成,而加入艺术家生成图片,一般要在名字前面加by
a cat sitting on a desk,wearing sunglasses in the bedroom, Pencil Art, by Vincent Willem van Gogh

建议描述词不要超过75个,词组太多,ai生成就无法判断哪个是重点,如果想要某个词着重出现,以下介绍几个方法:
1、艺术家风格等,想强调的话,词组就往前放
2、对着重提示词加小括号以及冒号,并标记权重
先看看没有加权重的效果
a photo of eggs and bacon on a frying pan

加权重后的效果,默认是1,但自己可以调节,权重越高,在画面中越突出,一般用在食物上;反之,想降低权重,则在关键词后打小数如0.1-0.9,如下:
a photo of eggs and (bacon:1.5) on a frying pan

如果前期不懂如何生成,可参照https://lexica.art这个平台上图片,放看大图后,点击左下角【Copy prompt】按钮,将描述语句复制。


复制上述平台图片关键描述语句后,点击生成,就能生成类似画风。
渲染设置

一般为20-30步,步骤越多,生成越清晰,渲染时候除了设置上面的总步骤外,还需要到设置中调节多少步骤生成一张图,下图进行解释:

此时打开设置,调节ueser interface中的 show progressbar里生成步骤,比如调成5步,则渲染时候是每5步出现一个画面,比如上述设置渲染调了总步数是20步,5步一渲染,则我们看到4个画面,从模糊到清晰的过程。
采样方式
采样方式一般采用这三种,特别是线上版本,运行速度快,效果好,如下图框选:

渲染的长宽尺寸,调节后需要重新点渲染生成图,正方形图片,一般512x512即可,值得注意的是,对于人物图像的渲染不宜尺寸拉太长太宽,比如用上述关键词,把尺寸调成1152后,就变成多个人像叠加,画面错乱,比如下面这张图:

生成个数可以自定义,一次可生成多张,任意选择其一保存,或全部保存。

CFG Scale设置越高,生成结果,就和输入框中描述词越接近,一般设置7-15即可。值得注意的是:不是越高越好,不然可能会生成到一些奇怪的画面。

种子设置
若在生成出图片后,觉得某张图好看,想保存下来后续做小调整,点击Seed旁边的回收♻️按钮。

点击后就会生成种子数,3859231809就是这张图对应的种子代码,代表这串数字和图片关键词对应的路径。

后续把种子号重新粘贴,在关键词和参数都不变的情况下,也会生成原来的图片,但若调整参数,比如CFG Scale设置,总体不会改变,只会微调。

若某些主体关键词不能很好生成出对应画面,则可更换主体词。

只要种子保持不变,修改上面描述词参数,只是对画面进行微调,如下图只把主体词改成泰迪熊。

种子数值保持一致,描述词也不变,只改动渲染器项,和CFG Scale参数,画面会有较大的改动,看想要生成什么效果决定用什么参数配置。

如果不想按照原来风格,则点击骰子🎲,把种子数清空即可,就能生成一张和之前风格不同的图片。
修复工具
若想生成大分辨率的图,但由于训练模型是512x512尺寸的,所以生成后的图片大多数情况会错乱,出现叠加重影的情况。
比如生成一张512x1472的长形图:

此时可勾选【高分辨率修复】选项,能解决大部分图生成错乱重叠的问题,但也会出现生成的图片不符合现实的情况,尽量选择实际本身是长图的情景去生成高分辨率长图。

图生图功能
根据原图模型,以及描述的词语,把图片变成描述的样子。重绘幅度一般为0.5-0.75,越高改动的越大,但不建议太高。

可以上传草图,再根据描述词生成想要的风格。

可以调节参数去观察生成结果,选择一个合适的。

想局部改变,就用黑色画笔涂抹要修改的部位。在输入框写上描述词,就能改为所需画面,可以调大采样迭代步数加大匹配度。

开头提到的美国漫画风格、日漫风格、赛博朋克风格设置参数如下,大家可以去尝试,生成喜欢的图片:
描述词:
fallout 7 6 retro futurist illustration art by butcher billy, sticker, colorful, illustration, highly detailed, simple, smooth and clean vector curves, no jagged lines, vector art, smooth andy warhol style

描述词:
Inside a dimly lit futuristic toystore. highly detailed, digital painting, artstation, concept art, matte, sharp focus, illustration, art by artgerm and greg rutkowski and alphonse mucha

描述词:
a humanoid artichoke monster with large orb eyes, highly detailed, digital art, sharp focus, trending on art station, plant, anime art style

描述词:
Makise Kurisu from steins;gate wearing a jacket, painting in style of krenz cushart ilya kuvshinov KyoAni, Makoto Shinkai,Hideaki Anno,Mochiduki Key ,Studio Ghibli, Madhouse, WHITE FOX, Studio Trigger,GAINAX ,K-ON,yuruyuri, cygames,Production I.G ,wit studio,P.A.WORKS,ufotable,mappa,TOEI Animation,trending on artstation pixiv makoto shinkai smiling super detailed eyes symmetrical face visual novel

学习到这里,想必大家都对Stable Diffusion模型渲染生成器有一定了解,在Hugging Face上也有很多训练好的模型供我们下载,大家可以动手去尝试,可以在评论区分享互动,希望大家当能更好利用ai绘图工具,帮我们提升工作效率,为我们所用。
最后强烈推荐可参考:
强烈推荐阅读 Stable Diffusion Prompt Book | OpenArt
sd-webui官方百科 Home · AUTOMATIC1111/stablve-diffusion-webui Wiki
