Matrix 首页推荐
Matrix 是少数派的写作社区，我们主张分享真实的产品体验，有实用价值的经验与思考。我们会不定期挑选 Matrix 最优质的文章，展示来自用户的最真实的体验和观点。
文章代表作者个人观点，少数派仅对标题和排版略作修改。
最近一年多的时间里 AI 技术凭借大模型和新的算法在诸多领域产生了可见的突破性进展，对于普通人而言基于 AI 的图像处理和文本处理技术已经逐步改变了我们的生活。AI 绘画技术悄然兴起然后受到广泛的关注，这是一个如此典型的范例一方面让我们感受到了 AI 的强大，另一方面又不得不重新思考我们与 AI 的关系：我们是不是马上会被技术替代了？
首先来看看这一波 AI 绘画技术发展的历程：
自从几个重要的开源模型发布以来，基于次开发的一些门槛较低的 AI 绘画生成平台多次在社交网络上爆红，早几个月的 Midjourney 以及近期国内发布的意间 AI 等产品吸引了众多没有技术背景的素人参与 AI 创作和讨论，并开启了诸多商业渠道的流量密码。
推荐阅读
除了猎奇和投机，也已经有很多相关行业的从业人员从各个方面讨论了 AIGC（Artificial Intelligence Generated Content）对于各个行业的影响，最多的包括艺术创作行业与设计行业。由于早期的 AI 模型相对于现实的场景更擅长生成富有想象力和艺术感的作品，有很多讨论集中在「AI 创作是否能称之为艺术？」「AI 绘画如何辅助创意生成？」
当时 AI 生成的真实感作品质量还相当捉襟见肘，所以并没有什么讨论围绕在环境设计（建筑、规划、景观、城市设计等）相关的领域。然而随着模型的快速迭代，仅仅经过不到一年的时间现在最新的模型已经在真实风格作品上有可圈可点的表现，之前被诟病的诸如人物失真等问题也一一得到解决。
最早想要写这么一篇文章是在 9 月左右，尽管由于各种原因拖拖沓沓了两个月，但是所幸这两个月还尚未发生重大的变革让这篇文章成为一纸旧闻。在这里我主要想探讨在这个时间节点的 AI 数字绘画技术对于环境设计行业意味着什么？有哪些现在已经可以被实现的新的工作流程/方式？并且基于现在各方面的技术成熟度聊聊 AIGC 在何时可以迈入 AIAD（Artificial Intelligence Aided Design，人工智能辅助设计）？
我并不想在文中过多地涉及技术细节，因为我希望探讨的是更一般的情况而不是某个具体的模型与参数的性能。所以把自己在尝试过程中的技术相关的内容写在这里。
首先我大多数情况下使用的模型都是部署在 colab 上的 stable-diffusion 模型，早期的时候使用的是没有 GUI 版本的，最近使用的都是带 GUI 的版本，相对来说更为易用。如果有尝试的意向可以参考以下的内容：
接下来简单地说一下为什么采用 stable-diffusion。
使用 AI 绘画的第一步当然是 text2img，顾名思义就是通过文本生成图像，一般需要输入一定长度的文本描述（prompt），AI 首先通过语义的模型理解文本的含义，然后再基于此生成图像。
这样生成的特点是能最大化表现 AI 模型的创意，往往输入者在一开始对要画什么并没有特别具体的想象，而是希望 AI 生成一些出人意料的结果。很多模型都有官方的 prompt 编写指南，但基本上需要包括三方面内容：主体内容、要素/特征、风格。也由于使用文本表达，很多太过具体的描述如空间方位等很难被 AI 精确地理解，当然还有一个原因在于为了保证生成图片的合理性和质量，生成的时候往往会对文本的内容进行重新采样，也就是说写的所有内容不一定都会对 AI 的创作产生影响。所以很多 prompt 的写法并不在于事无巨细地描述，而是通过有明显导向的词语让 AI 知道你想要什么，比如网上与建筑相关的 prompt 中最为神奇的词汇莫过于「Zaha」，仅仅四个字母就可以让你生成突破想象的奇幻建筑……
由于这样的特征，文本生成最适合用来寻找灵感，输入一些较为模糊的意向和要素进行大批量的生成，然后在其中挑选一些尚可的结果作为设计或表现的参考。其实这样的方式在其他的设计领域如婚礼设计、服装设计等已经有所应用，只是相对来说环境设计对真实性的要求更高。
那么 AI 现在能生成什么样的图片呢？其实如果去 Lexica 这样的网站上就可以看到已经有相当多跟城市相关的优质作品，只不过由于大多数和 CG 艺术相关并不是非常写实：
其中有的图像质感已经相当不错，比如参照 Lexica 上的案例生成的未来城市的一组图片：
prompt: Futuristic glasgow with buildings and skyscraper, green square, multi-layerd trees, Air platform and bridges sunny day, volumetric light, reflections, hyperdetailed, artstation, cgsociety, 8k
其实在我刚开始尝试 AI 绘图的时候网络上已经有建筑或景观设计师尝试生成了更加真实的图像：
从上面生成的结果已经可以看出在真实感上现阶段的 AI 已经表现得相当不错，整体图像粗略来看不太容易看出违和之处，尽管如果放大细看还是能找出不少瑕疵。但是这种「基本不违和」的能力对于生成看起来真实的图像十分重要，这代表了需要有基本正确的空间关系、光照和阴影等，尽管这些细节仔细看来仍然是「不正确的」，但是毕竟大多数人也不会用画法几何的眼光来审视所有的图像。也就是这种「基本不违和」的能力让AI绘画有了更多的可能性。
为了试验 AI 在更复杂场景生成的可能性和创意能力，我继续尝试了以滨水城市为主题的批量生成：
prompt: a beautiful rendering of city near by river, low-rise buildings with roof garden and multi-story platforms, high-rise skyscrapers crowded in center, built by wood and metal and other modern materials, designed by SOM and MVRDV , amazing parks in front of fiver, clear sky with sunlight, 8k, octane render, architecture photography, hyper detailed, epic lighting
可以看到由文字批量生成的图片构图的多样性十分丰富，尽管整体风格还是相似，但是却能生成各种类型的场景，说明文字的详细描述对于图像的约束力有限，同时生成的这种随机性能为方案早期的创意阶段带来一些新的可能。反过来说，由于生成的图像太不一致，没法将这些图看作是一套方案，也就是说每张图都有其随机性，之间是没有关联的，由于这样的特性让 AI 生成无法满足方案及之后过程的工作需要，毕竟要是每张图都是不同的样子，那本身就是对设计的消解。
要是让设计师想象一种理想的与 AI 交互的方式，那么多半会是自己画一张设计草图然后让 AI 生成完整的方案，可见相对于文字而言传统的设计流程其实更加依赖图像信息。现有模型中 img2img 功能就可以在这个方面进行一定的探索，相对于 text2img 来说，它需要另外输入一张原始图片供 AI 学习然后生成结果，这个过程中文字 prompt 和输入的原始图片共同影响最终的结果。
当了解这个功能的基本运行过程后，作为设计师的一个想要尝试的就是：是否可以输入一张手绘的方案草图或者建模软件中的体块模型让 AI 帮助我们深化方案？
我尝试了将比较简单的体块模型和分析图作为输入来生成，虽然确实能得到一些意料之外的结果，但是这些结果似乎比较难和生产环境中的具体需求结合起来。可以发现 AI 并没有生成逼真的效果图，而是生成了类似分析渲染图的样式，这似乎是由于 AI 对于输入图片的学习是均等的。
我们都能理解一张图片由色彩要素（颜色、材质、阴影、光照）和形态要素（形态结构、空间关系）组成，我们其实原本希望 AI 着重学习草图中的大体形态关系，而对具体的材质、景别、微观样式等进行深化。然而不如我们所愿，扩散算法对图像的学习似乎是不区分颜色和结构的， 所以当我们想要它学习形态结构（也就是方案）的时候它往往会对颜色过度学习而对形态学习不足，结果就好像它在帮我们出方案而不是做效果图。
考虑到输入图像的特点，这似乎告诉我们对输入的图像有更高的要求：如上面所说，最好能在颜色和结构两个方面都对 AI 做出指引。一开始想到的是手绘草图的形式确定色彩和结构，但现于个人绘画水平没有进行更多的尝试，另一个问题是涂色的草图容易被 AI 学习出更接近卡通或者绘画的风格。所以后来我想到的是在一个白模底稿的基础上迁移另一个图片的颜色来达到合成的效果，然后以迭代的形式多次训练图像以控制生成的方向：
prompt: a beautiful 3D rendering of waterside port city, low-rise buildings with roof garden and multi-story platforms, built by wood and metal and other modern materials, designed by SOM and MVRDV , amazing parks in front of fiver, Villa residential area, clear sky with sunlight, 8k, octane render, architecture photography, hyper detailed, epic lighting
最终确实生成了看似效果图的图像，但是其另外一个缺陷缺依然明显，那就是输入图像的影响控制是全局的，但是往往我们希望它深化的只是其中一部分。比如上图中我希望它对于码头重点建筑可以有多样的变化，但周边的环境最好尽量不要在形态和布局上有太大的变化。这就要求模型能允许我们对图像的各个区域分别设置学习的强度。
所幸现在的模型中已经提供了一个相近的功能，允许对输入的图像进行蒙版绘制，然后单独控制蒙版部分的强度。Midjourney 已经支持了绘制的时候直接通过不同透明度的方式来控制学习的强度，但由于这个控制可能需要反复试验我暂时没有进行更深入的使用。不过使用这个功能也能实现一些设计过程中一些常用的需求，比如说建筑方案比选：
在这个例子中蒙版内生成的内容能较好地符合周边环境特征，当然如玻璃反射等的效果还是相当不足，不过也说明了上面提到的流程的可能性。早在 stable-diffusion 刚刚开源的时候网上就出现了对应的 PS 插件，能根据 PS 中的蒙版、基础图像和文字描述来生成局部的结果，然后将多个局部拼合在一起成为完整的作品。我认为要是希望 AI 能在正式的生产环境中起到作用这样的流程是值得推广的。
那么就现在而言，有没有什么相对更加成熟和可用的流程呢？
就我近期的使用体验而言，现在用 AI 来根据参考图生成意向图是一个相对可用的应用场景。由于前面提到的一些缺陷：随机性太高、对细微结构的学习不足、对输入图片在颜色和结构都有要求，我们可以直接将一张小场景（非鸟瞰）的效果图或者实景图作为参考图输入让 AI 来帮我们生成构图和配色相近的意象图。
这里以一个步行街道的效果图作为例子：
prompt: Bustling and fashionable commercial street with transportation of the future, green plants, parks with people activate, clear sky and sunlight, volumetric light, reflections, hyperdetailed, artstation,8 k, octane render
可以看到当输入的图像本身的质量较高时输出的图像也相当不错，并且在整体构图和景别和原图接近的基础上衍生出了足够的变化。这种方式能解决两个问题：其一是没找到十分贴切的意象图，则可以用一张构图相近的效果图来尝试生成需要的意象图；其二是如果找到想用的意象图存在版权等问题，为了避免陷入侵权的麻烦可以用 AI 生成一张接近原图的意象图。
更进一步地，可以把前面加工原图的思路用上，如果不是特别满意原图的景别，可以在原图的基础上进行适当的颜色调整再作为输入。AI 的「基本不违和」能力能帮助你把调色调得十分离谱的图像变成一眼看不出毛病的真实效果。这里我用一张水边的商业街作为例子，在对原图进行调色、涂抹增加要素、通过反相改为夜景的调整之后分别输入生成不同景别的意象图：
prompt: Bustling and fashionable commercial street near by river, low rise buildings in front of water, wood and other warm modern materials, high-rise buildings with glass rearwards， green plants, parks with people activate, shops, clear sky and sunlight, volumetric light, reflections, hyperdetailed, artstation,8 k, octane render, 3d rendering
前面讲了很多都是我自己的一些尝试，另外一些没有实现的则是合理的推测。总结一下现在 AI 绘画技术的特征以及我们能如何利用这些特征：
由于我对大部分技术并没有深入的研究，这里说的仅仅是基于我对这些技术的直观理解的一些想法。
虽然前面的结论是现在这些图像生成的模型并不能为环境设计相关行业带来变革性的改变，但实际上技术的发展并不仅仅在这一端，在不太被人知晓的方面已经有相当多的技术在逐步发展和成熟，我们离 AIAD 的变革或许并没有那么遥远。
> 少数派请你做地图：城市声音收藏夹火热征集中，期待你创作的城市之声 🎧
> 下载少数派 2.0 客户端 、关注少数派公众号，解锁全新阅读体验 📰
> 实用、好用的正版软件，少数派为你呈现 🚀
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。