一直以来，和大模型的交流都是用文本来完成，如果装上传感器，给大模型带上不同的数据，效果会不会不一样？这篇文章，作者提出了给大模型带上“眼睛”的效果，一起来看看。

现有的AI大模型已装备“聪明的大脑”，“大脑”在被“投喂”足够的数据语料后能够通过AI大模型固有的深度学习算法快速自动化分类、汇总等将信息转化为知识，构建形成向量知识库，并准备被随时调用。此逻辑能够真正起作用的前提是人工将整理的语料数据“投喂”到AI大模型。类似于智能自动驾驶：AI智能先学习过往司机驾驶汽车经验并转化为知识，然后在新的自动驾驶期间，AI智能从周围环境中实时接收信息并进入到AI大模型，比对已有知识输出应执行动作，从而实现对汽车的合理操控。但大量语料信息的整理相比较业务实操的执行时机具有滞后性。

在运维前台化产品设计中我提到了可以引入智能化自主运维的设想（见文章：一站式自助业务运维平台设计，https://www.woshipm.com/share/6099987.html）。业务运维本身存在问题繁杂、单个业务运维问题需跨系统协同解决等特点，如果按照AI大模型的要求（需要人工整理海量语料信息并“投喂”到大模型学习的策略）会对业务运维需求方及支持方造成极大的知识整理压力。业务实操动作在实时发生，并没有已成型的知识可用于直接“喂养”AI大模型，此种情况下如何快速训练出合格的AI大模型以服务于业务实操的效率提升呢？是不是有其他更好的方式来实现业务运维与AI大模型的融合呢？

人类小孩刚出生时除了本能的一些动作行为外不具备像成年人那样执行直立、行走、说话、计算等动作，但小孩会对周围一切都保持好奇，在好奇的驱使下小孩观察、模仿大人说话、行动，在学校内还会在老师的教导下，学习发音，学习词语，学习句子。孩子通过观察别人如何做：第一步做什么，第二步做什么，有什么样的结果，然后自己去思考、去模仿、去修正、去尝试逐步构建、完善自己的知识库，成为独立的可自主决策的主体。此时“知识”的形成是通过主动的自学习、自积累而形成的。那如果AI大模型具备能够实时自主积累语料库呢？

比如业务运维实操，从信息源接收到数据，然后人工解析成可用信息，在基于可用信息再在其他系统或菜单中进行对应操作，循环往复，直到获取得到想要的结果。这全部流程的操作，都是在同一台电脑上操作但需要在不同的软件中切换。例如：从公司内部沟通软件上获取到业务方需要查询订单明细信息，然后对接人接收到此信息后，切换到订单管理平台键入订单编码信息查询订单信息，然后，粘贴或导出所查询的结果信息后通过内部沟通软件返回到用户。此过程中全部信息如果通过人工来梳理，可落地性会很差，AI大模型如果能够自动梳理业务实操信息，实现业务实操信息积累的同时同步学习，就像给AI大模型装备了“眼睛”，不仅能够思考，而且能够在自主获取合适信息的情况下思考，加速学习的效用的转化。

我始终践行“AI大模型是工具”，AI大模型存在的价值是更好地服务于人类各种应用场景。AI大模型学习的源头由人工梳理的语料库转化为实时监控实操业务流程，自生成向量知识库，然后向量知识库服务用户，并在服务用户过程中继续学习新的业务实操流程，更新向量知识库，更好服务用户，那么所产生的效用是巨大的。（见图1）

图1 AI大模型是否具备“眼睛”的能力对比

新的模式对AI大模型技术提出了新的要求：AI大模型不仅需要具备跨系统平台的信息监控能力，而且能够运用捕获到的信息进行科学解析，更关键的是能够对信息在业务实操中节点逻辑性进行判定。当然，还可以基于新的模式发展新的场景应用，具体分析如下：

• 跨平台数据监控：在电脑上用户需要在不同的软件上操作一个业务流程中的某几个步骤，由于涉及到不同的软件平台，为完成全流程数据学习，AI大模型应将所涉及到的各步骤软件都纳入到监控范围。
• 多平台数据联动：被AI大模型收集到的数据如果要真正起作用，很关键的是将数据信息按照业务流程串联，根据业务节点逻辑来组合、整理所监控到的数据语料信息。
• 智能介入能力设计：在学习业务实操流程数据中，针对AI大模型不能理解的节点涵义，支持AI大模型及时向操作用户提问，用户可有针对性地反馈额外信息，在源头就以更理解用户的姿态来构建向量知识库。
• 闭环能力搭建：AI大模型不仅可以监控用户业务实操，并且能够监控自身所承接及解决业务运维问题的过程，并将全部信息纳入到语料库构建中，实现语料信息数量自动化增长。
• 智能化RPA构思：基于向量知识库构建用户自主运维能力，即时甚至提前发现用户业务运维问题，并根据既定规则实现业务自动化运维。

如上设计的已装备“大脑”和“眼睛”的AI大模型不仅可以用于业务运维场景，而且可以用于其他类似智能化场景。用户在产品设计中实际运用哪种先进技术不重要，重要的是坚持“以用户为中心，以服务用户为核心，以解决用户痛点为重心”，关键构建出真正服务于用户的产品能力。共勉~