群人类画师，试图下班自己
以下是一个很好的参考教程。在翻我的帖子之前可以先过去看一眼。
前言
尝试使用StableDiffusion进行AI绘制。由于笔者是业余画师，因此此贴会尝试使用现有AI工具实现绘制过程加速，最终目的包括尝试线稿自动上色、ControlNet 3D模型转2D等操作，而非仅使用Text to Image进行炼丹。
当然炼丹出涩图其实也蛮香的x
部署
机器配置
笔者使用操作系统为Debian11，显卡为Nvidia3080
从上述Github仓库下载即可。下载教程自行查阅README。
运行 webui.sh --listen 即可监听局域网所有IP地址。项目自带模型，装好就能跑。
导入自定义模型
模型可以在civitai下载。下载完成后将模型移动到项目文件夹下 model文件夹即可使用（目前笔者仅测试了StableDiffusion模型，如不工作请自行排查错误）。
咒语咏唱可参考魔法书C站常用高质量提示词
使用LoRA绘制自定义人物
*笔者深度学习经验较少 如有概念性错误请指出
Background
LoRA指Low-Rank Adaptation(区别于协会常用的LORA Long Range 长距离通信）。使用Lora好处在于可以对任何模型加以微调，如使用模型绘制特定人物/风格/姿势
在Automatic1111前端界面安装LORA
内置LORA 不用装（
把下载的lora模型扔到stable-diffusion-webui/models/Lora/下就可以了。
点一下Generate按钮下面的Show/Hide extra networks就可以看到装好的Lora模型。
随便找一段咒语画个波奇酱…
那么问题来了 ai能不能画波奇酱抱波奇塔
同时叠加两个及以上的Lora模型暂时没有测试。有需求了再说。
测试了一下Lora可以叠加。叠加了迷迭香和波奇的LORA让AI自由发挥出现了戴发饰的猫耳（？神奇生物
ControlNet安装及基本使用
按照项目README安装即可。
下载模型参考GitHub - Mikubill/sd-webui-controlnet: WebUI extension for ControlNet
ControlNet有多个模型，不同的模型适用于不同的应用场景。使用LineArtAnime，随便画一张线稿上传上去：
随便复制一坨咒语改一下，直接生成
顺带一提下面这张是我当时自己上色的，评价是画个de
后续会尝试从草稿阶段的整套AI加速的工作流。TBD
Tag
从零开始自己写tag通常工作量较大。比较方便的功能是直接找一张你想出的效果参考图，直接根据参考图自动生成tag。
p站随便找一张图：
掏出了自己之前画的狗
在img to img界面可以直接分析。
点击interrogate DeepBooru即可。可见tag基本符合图片要求。根据自己需求进行微调。
本次生成仅依赖tag描述。可见基本符合原图描述内容。
以下为部分NSFWtag, 供炼丹快速查找…
Negative prompt:
lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, artifacts, signature, watermark, username, blurry, missing arms, long neck, humpbacked, bad feet,
(worst quality, low quality:1.4)
Positive prompt:
masterpiece, best quality, solo, 1 girl,
(extremely detailed CG unity 8k wallpaper),(masterpiece), (best quality), (ultra-detailed), (best illustration),(best shadow), (solo), (1 girl),
NSFW:
face:
crying, saliva, tears, trembling, heavy_breathing,blush, looking_at_viewer,blush
open_mouth,tongue_out,
closed eyes,
posture:
crotch_rub, masturbation, pussy_juice, fingering, spread legs,
doggystyle, (sex from behind)
kneeling
<lora:PSCowgirl:0.9>, 1boy, penis, squatting cowgirl position, vaginal, pov
other:
after_sex, after_vaginal, cum, medium_breasts,
Perspective:
(from above:1.3), (fisheye:1.2), perspective, looking ahead,
test:
wet, wet_clothes
(masterpiece, best quality;1.3), ultra detailed, 1girl, solo, pov, looking at viewer, from above, kneeling, indoors, (on bed), open clothes, crying, saliva, tears, trembling, heavy_breathing,blush, looking_at_viewer,open_mouth,tongue_out,crotch_rub, masturbation, pussy_juice, fingering , <lora:erebus黑暗界[erebus, animal hood]可选[striped thighhighs, belt boots, white gloves,holding trident]:1>, erebus, animal hood, striped thighhighs, medium_breasts, crying, masturbation, medium_breasts, open_mouth, pussy_juice, saliva, shirt,solo,
ControlNet_Openpose
说实话没有我想象的好用，可能因为背面的训练数据比较少。也可以依靠posex自己拉动作: 图一乐。当生产力老老实实blender吧。
更新。以下为Tile模型处理结果
识别效果比openpose优秀的多。
超分辨率结果…
StableDiffusion 工作流
草稿转线稿
视草稿完成度有两种方法可选。
草稿完成度较低情况下，可使用img2img进行草稿修复。将Denoising strength调整至**50-60%**即可保有原先图片的特征，但ai仍然会按照他的想法重新绘制线稿。
2023.6更新。 可使用ControlNet Scribble模型重新绘制草稿。将图片上传至img 2 img, 使用线稿Lora，ControlNet配置如下图所示。
如果草稿实在较草，可降低ControlNet权重并增大Denosing（重绘幅度）让AI进一步自由发挥。生成结果如下：
可见能够在基本不改变原有构图情况下对草稿进行修复。
草稿完成度较高情况下，可使用ControlNet Anime_Lineart直接尝试上色。
下图为使用的草稿：
controlNet直接上色结果：
可见吉他及左半侧手臂识别出现问题。常见部分（脸，腿部）等的上色结果还说得过去。尝试使用图生图修复线稿效果也不佳。
ControlNet tile工作流
更新。新版本ControlNet已经能够较好的修复草稿，并实现分层等高级功能。以下总结ControlNet绘制流程：
- 如上文所述，使用Scrimble模型对草稿进行修复。
- 使用LineartAnime(或其它线稿上色模型）进行上色。上色结果：
- 如果需要添加背景，现阶段仍建议单独生成好背景图后使用PS把人物添加进去。AI仅负责人物和背景融合部分。
- 使用ControlNet Tile对整张图进行重绘以融合人物与背景。ControlNet可以较好的识别原图像内容，能够在保证原图大致内容不变的情况下进行风格上的修正。使用 Balanced 可以让controlNet对图片内容进行微调，使用promt more important可以在保持相似构图的情况下修改图片内容，如更换模型以变更画风或使用lora更换画面人物。
融合过后图片如下图所示
对图片整体效果满意后即可使用tile进行超分辨率。
超分辨率后结果：
总结
目前来看有清晰的线稿扔ControlNet辅助上色是可行的，只有草稿试图用AI对草稿进行修复勾线目前不太现实。
Tile牛逼。Scribble牛逼。
TODO:
能否叠加多个ControlNet（如同时使用Openpose与lineart进行线稿与骨架控制）以解决识别问题？
好看！但是清真呢
打不过就加入（
好玩，怎么样才能玩玩阿鲁搭的（
跑在我们实验室内网（
这玩意挂着就吃显存，协会有空余没人用GPU的话可以整一个
阿鲁偷偷用cf tunnel穿透出来（
不太行 我们那边要训练模型 不能一直开着，显存不够用