在当今数字化的浪潮中，AI和数字孪生这两项前沿技术的结合正以前所未有的方式重塑着各个领域。目前国内的数字孪生应用大多都是三维建模渲染叠加业务数据，主要注重数据以及场景渲染效果，再结合业务需求传递业务价值。除此之外，目前AI与数字孪生的结合到底有哪些实际可以落地的呢？

一、行业趋势

1. 自动化建模

1）文生模型（TEXT TO 3D）

Luma AI是一家提供3D捕捉和建模技术的公司，旨在帮助用户轻松创建高质量的3D内容。Luma AI于2024年1月发布的Genie 1.0，只需输入一句文字提示，就能在10秒内生成四个高保真的3D模型，用户可选择并在三维网格界面内编辑模型纹理。这些模型可在屏幕上预览，也能导出到Blender、Unity等工具中进一步使用。

除Luma AI外，市面上还有非常多的文生模型产品，大家可以自行去体验一下。

2）图片/视频建模

目前，由文生模型直接生成的模型在实际项目中还不具备很强的应用价值。那么，另一种图片/视频建模更具有实际的应用价值，其原理基本就是根据图片或者视频计算空间坐标，生成点云数据，根据点云模型和照片进行简单的粗建模和点云匹配照片映射，生成一个可看的模型。

目前图片以及视频建模，有好多产品都可以做到，这里看一下通过SA完成的图片建模效果。

由相机拍摄的甜甜圈图片（需要n多张图片）

自动建模产生的甜甜圈模型

这里可以看到，由SA完成建模的图片，质量其实算不错的，如果是做一些小物件的资产沉淀，大家可以尝试使用这类方法。

这里推荐下虚幻的Bridge模型库，号称价值千亿的扫描模型库。

总的来说，目前自动化建模基本都存在以下问题：

1. 细节缺失与精度问题：生成的 3D 模型在复杂的细节和高精度要求方面可能表现不佳。例如，对于具有精细纹理和微小结构的物体，生成的模型可能会显得粗糙或模糊。
2. 材质和光照模拟问题：生成的模型在材质表现和光照效果的模拟上可能与真实情况存在偏差，影响视觉效果和真实性。比如生成的金属材质可能没有真实金属的反射和光泽特性。
3. AI理解能力有限（文生模型）：在高质量3D数据获取上，本身就是一个非常大的挑战，训练数据又直接影响生成的模型本身。AI 可能无法完全理解模型在特定场景或整体设计中的上下文和语义关系，导致生成的模型在实际应用中不够贴合需求。例如为特定游戏场景生成的道具模型，可能与游戏的整体风格和逻辑不匹配。
4. 后期编辑和修改困难：与传统手工建模相比，对自动建模生成的3D 模型进行后期的大幅度编辑和修改可能较为困难，需要特定的技术和工具。有时候修改成本甚至会远远超出手工建模成本。

以上问题均会导致生成的模型无法直接应用于实际项目。

因此，目前阶段，自动化建模还无法被大批量使用来提高生产效率。

2. AI算法训练

最近自动驾驶与机器人概念十分火爆，那么在这两个行业中，数字孪生又能发挥什么作用呢？

1）自动驾驶

自动驾驶是经典的四维空间计算难题，其重点在于实现四维空间中的感知、建图、定位与决策规划的实现。

目前市面上大多自动驾驶技术前期都会基于仿真三维场景进行大量数据的训练，通过构建虚拟的交通场景，对训练好的模型进行测试和验证。比如，在孪生仿真平台中设置各种复杂的交通状况，包括突发的事故、恶劣的天气等，以检验模型的应对能力。

2）机器人训练

在今年的WAIC世界人工智能大会上，出现了服务型机器人展示，如机器人拿着咖啡杯在咖啡厅移动进行客户服务，以此来展示其在用餐环境下的服务能力。又或者在景区导览上，已经有部分导览机器人在对游客进行服务了。

那么这一类需要在不同环境下具备感知环境、与人交互、执行任务能力的机器人，大多数的实现思路都需要先将周边环境进行三维建模，再结合特定的服务场景，对机器人进行训练。那么，在对服务要求较高的情况下，每一个店铺甚至是每一个场景，都需要进行专门的场景建模以及针对性训练。

在众多的仿真场景中，如工业生产、气象防灾、低空经济等领域，皆需要三维仿真场景来支撑数据训练，因此，如何快速构建精准的三维场景就显得极为重要。

二、TEXT TO 3D实测—D5渲染器

D5是我非常喜欢的一款软件，它高效的场景搭建功能以及高质量的三维资产，真的在市面上很有竞争力。

在D5中有一个还处于内测阶段的文生模型功能，作者申请了一下然后拿到了使用次数，大家感兴趣也都可以去试试。

接下来看一下实际的使用测试情况。

1. prompt：地铁进出站闸机模型

结果：最终生成的模型和预期的相差较大，大概是AI并没有理解我们的提示词导致的。

然后对第一个结果进行了细化，可以看到，模型的清晰度会比刚生成时好很多。

2. prompt：一幢3层楼的房子，需要有阳台

结果：这一次AI理解了，提示词中的三层楼和阳台都能看出来，但细节以及模型大小都存在较大问题。此次生成没有继续细化了，因为生成次数有限。

3. prompt：一个马克杯，主要颜色为红色，需要有把手

结果：这一次AI也理解了，提示词中的马克杯、红色、把手都有还原，但同样的，生成的模型细节仍然有问题。细化后的模型，除了表面稍微细致一点外，无其他明显细节。

从本次测试可以看出，在第一部分我们总结的自动化建模问题中，在这三次生成中都多多少少存在，因此，文生模型依旧道阻且长。

三、三维高斯重建

目前我们内部在尝试使用三维高斯重建技术来代替传统手工建模，主要应用于大场景中的非重点区域模型自动生成。

其主要流程分为三个部分：提供需要生成区域的视频—生成ply文件—通过插件导入到UE引擎使用；

在实际应用中，三维高斯重建技术还需要解决一些问题，如如何更好地处理混叠（摩尔纹）现象、提高渲染视角相关效果的能力、优化计算效率等。

下面是根据同一个视频文件，生成的两个效果截图，可以明显看出，优化后的效果好于优化前。

优化前生成效果：

优化后生成效果：

除以上内容外，数字孪生技术结合AI在工业、医疗、城市规划、气象防灾等方面都得到了充分的应用。总之，数字孪生与 AI 的结合是发展的必然趋势，尽管面临挑战，但前景广阔，将为各个领域带来深刻的变革和巨大的价值。