Stable Diffusion3.0-ComfyUI: 建筑AI表现专题课
「 前 言 」
众所周知,在过去的两年里,人工智能在各行各业都得到迅猛的发展,以ChatGPT为代表的AI工具的出现极大地改变了人们对于人工智能的认知,而诸如Midjounrney, SD等工具的不断完善更让AI绘画从实验性质的尝试,变成了真正具有生产力的工具。 考虑到人工智能在建筑设计领域巨大的潜力,在2022年和2023年我也陆续开设了一些stable diffusion的课程,给大家讲解了sd的基本操作流程和相关使用技巧。
然而不同于常规软件,stable diffusion开源的特性导致其迭代和更新的速度还是大大超出了人们的预期,短短一年多的时间里,新的UI平台,新的模型,新的插件,新的功能层出不穷。而其中最大的变化就是以comfyUI为代表的节点式绘图方式的出现,极大的改变了建筑师AI创作的流程。
▲ 传统webui界面
▲ comfyUI节点式绘图界面
相较于WebUI,ComfyUI在性能,扩展性,新功能支持,工作效率,分工合作等诸多方面都有极大优势。并且其节点式的使用逻辑还有利于学生进一步理解sd绘图的本质。
很多在WebUI中比较繁琐,或者说对于硬件要求较高的操作,在ComfyUI中就变的无比轻松。
比如现在无需任何第三方模型(checkpoint or lora),仅仅只需要一张参考图,我们就可以完美的实现画风的迁移。
▲ 插画风格迁移
▲ 条件融合:未来风格与动漫风格融合
而借助分区条件控制,我们可以在comfyUI中精准的进行构图的控制。
▲分区条件精准控制近景中景远景比例
显卡不好的同学,使用comfyUI也可以轻松实现单批次多图同时绘制,4K高清放大这样一些对显存要求较高的操作。
▲ 3060显卡-单批次9图渲染
因此,考虑到AI绘图在过去一年时间里的改变,以及comfyUI相较于webui在诸多方面的功能优势。我们特别推出[ ComfyUI建筑表现专题课 ],针对想进一步提升AI绘图能力的同学,通过学习ComfyUI的使用方法与操作技巧,让大家可以更加科学,从容的完成地设计任务,轻松玩转AI绘图。
「 课程详情 」
Part1:ComfyUI核心理论讲解
在课程的第一部分,我们将先进行ComfyUI中核心理论的学习, 了解那些对于comfyUI最为重要的重点概念,为后续的软件操作打下一个比较好的基础。
| 涉及要点 |
▲ sd绘图流程
▲ 词元向量
▲ 基底模型对比
▲微调模型对比
Part2:ComfyUI软件基本操作详解
了解了核心的理论知识后,在课程的第二部分我们就要开始对于comfyUI具体软件操作的学习了-了解软件本体的下载安装使用以及相关模型的操作技巧。
| 涉及要点 |
▲ comfyUI官方版本下载使用
▲ comfyUI秋叶整合包下载使用
▲ 模型下载&模型屏蔽&过滤器使用
▲ comfyUI基本界面布局
Part3-ComfyUI基础工作流讲解
在课程的第三部分,我们将详细学习comfyUI中8个最为基础的工作流程,了解comfyUI中节点之间的连接逻辑以及建筑常用绘图功能的实现方法。
| 涉及要点 |
(注:后续四部分所有展示图纸均为作者使用comfyUI生成,购买课程会提供全部图纸ComfyUI源文件)
▲ 文生图案例图片
▲ 图生图案例图片
▲ 局部重绘案例图片
▲embedding负面控制对比
▲ lora风格化表现案例图片
Part4:插件使用&comfyUI进阶工作流
虽然使用comfyUI本体已经可以满足我们不少的AI绘图的需求了,但是为了最大化的发挥comfyUI的功能,插件的使用是必不可少的,因此在课程的第四部分,我们将对comfyUI重点插件进行详细讲解,进一步提升同学们对于comfyUI的掌握。
| 涉及要点 |
▲ comfyUI插件下载与安装
▲ 工作流简化-两节点实现文生图操作
▲ 建筑风格话表现(漫画风格)
▲ 建筑风格话表现(木质模型风格)
▲ 建筑风格话表现(奇幻风格)
▲ 建筑风格话表现(轴侧插画风格)
▲ 建筑风格话表现(水彩风格)
▲ 建筑风格话表现(赛博朋克风格)
▲ 建筑风格话表现(儿童画风格)
▲ 建筑风格话表现(摄影风格)
▲ 建筑风格话表现(插画风格)
▲ 建筑风格话表现(未来风格)
▲ 脚本运用(xyz图表)
▲分区条件精准控制近景中景远景比例
▲条件融合:中式风格与现代风格融合
Part5:图纸迁移与精准控图
在课程的第五部分,我将着重介绍两个我个人认为comfyUI中对于建筑表现最重要的功能,图纸迁移与精准控图。带领同学们掌握它们的实现方法
| 涉及要点 |
▲ 图纸迁移基本操作
▲ 图纸迁移实战练习(无需任何微调模型)
▲ 分区风格参照
▲cn线稿精准控图
▲cn参数影响
▲cn分类详解
▲语义分割
Part6:扩展部分
虽然对于建筑师而言,AI最重要的功能无疑是绘制图像,但是AIGC领域的一些其他的前沿功能对于我们日常的学习与工作也是有很大帮助作用的。因此在课程的第六部分,我对于一些非建筑绘图方向,但有趣的AI新功能,比如说AI建模,AI音乐,AI视频等进行相关的介绍。并在在这个章节我还会向大家推荐一些比较优秀的云端AI平台,方便同学们对于sd的使用。
| 涉及要点 |
▲ 图片生成三维模型
▲ 文字生成三维模型与后期rhino深化调整
▲ AI视频创作
▲ AI动态图片制作
▲ suno-AI歌曲创作 ▲ sd云端平台分享
Part7:后续更新
考虑到stable diffusion的发展实在太快,在课程录制的过程中。sd又推出了诸如stable diffusion3等重磅内容。因此最后这个章节中,我会对于comfyUI后续一些重要的内容更新进行持续介绍。
▲ sd3模型▲ layerdiffuse移除前景
▲ layerdiffuse生成透明素材
▲ AI精准文字控制与图像融合
▲ AI工作流网站分享