大模型出现之后，许多企业看到了提效的新方向。那么，企业内部可以如何快速应用大模型、Agent等技术来实现提效？这篇文章里，作者结合自己的思考做出了一定梳理，一起来看。

企业内部使用大模型，底线是在安全允许的范围内，……

模型本身是不直接产生价值的，基于基础大模型开发出来的应用才是模型存在的意义。本文作者从8个方面简析企业内部如何快速应用大模型、Agent等技术来提效，希望对你有所帮助。

一、如何用好大模型，让它发挥最大价值？

两条路子，finetune、prompt。代理传统Bert类模型的微调训练的方式，使用更为高效的Prompt来指导LLM（即Prompt Engineer 又称为 In-Context Prompt），使其产生出期望的结果，无需改变模型的权重。

二、大模型应用领域

当前看大模型冷启动成本较低，泛化能力强，而小模型的可解释性和准确性胜出（行业发展非常之快，这一点在某些领域可以已经反转，受限于笔者的学识，难免局限，还望批评指正）。

各应用场景对可解释性，准确性要求较高，现阶段大、小模型结合落地的主流方式有两种。

第一种为将大模型与小模型进行级联。例如使用大模型从复杂数据源中抓取客户历史交易记录，沟通信息等，对数据进行自动打标，并输出结构化数据，用以丰富小模型数据集，提高小模型预测效果。

第二种为使用大模型作为小模型解决问题的中枢大脑。例如，利用大模型将复杂问题拆解为解决步骤，并在各步骤调用小模型能力，最后通过大模型进行总结性输出。

应用场景：汇集智慧、唤醒沉睡知识、众创数据价值、数字分身等。

三、在什么条件下，大模型才能更好地发挥价值？

大模型应用走得较快的企业，有三个共同点：

其一，是技术上的积累达标（可以让大模型run起来）。

其二，数字化建设方面做得比较扎实。在数据治理、数据资产管理和数据服务、数据安全管控、数智融合架构等方面，有较为扎实的基础。

大模型训练80%的时间都花在数据准备上。如果能打通数据和AI孤岛，让大模型直接在数据/信息（结构化、非结构化or半结构化）所在的集群上运行，无需搬运，就可以节省大量的时间和资源。其次，是业务流程清晰、明确。已经梳理、甚至是优化成标准的业务流程、规范。如果再有可衡量的指标作为check标尺，就更为加分。

其三，也是最关键的，需要有一群先驱，能起到带领、试验、示范的作用，快速试错、探路子，进而带动企业内部更多的人参与进来。实现从点、到线、到面、到空间的立体式多渠道的突破。

当一个新事物出现时，往往有下图的5类人出现。他们会依次接受新技术的变更。当灰色的谨慎派、迟钝派群体过大时，想推进下去是非常难得。特别是当反对派的声音占据优势时，甚至会抹杀掉先驱创造的一点点领先优势～。面对大模型，我们自问，我是谁？

四、大模型固有的问题/短板有哪些？

1. 信息高效过滤。
2. 抑制幻觉问题，准确性问题，绝对不能出错。
3. 专业任务适配。
4. 交互定制。
5. 推理答案需要一定时间，而语音通话场景对延时要求较小，大模型无法满足。
6. 工业、金融领域大模型还面临着关键性任务和动态适应性、个性化要求和隐私保护、群体智能与安全可信和基础设施的能力四大难题待解决。

相信随着大模型领域的高速发展，如上这些问题正在日新月异的被突破，每天的晨报都能给我们带来令人欣喜的消息。

五、在哪些场景下，更适合让大模型发挥作用？

六、企业应用大模型的五个阶段

企业用户对大模型的应用，可以分为5个层级：

1. 简单对话；
2. PROMT做角色定向问答；
3. 基于公司内的知识做专业问答；
4. 拓展GPT，使用插件，让大模型反馈更精准的信息、做推理，做简单的Agent；
5. Agent簇，让Agent组成一支队伍，完全代替人执行。

七、使用大模型的工作流程

1. 业务痛点梳理。

2. 明确模型、知识等基础组件。

3. 安全评估。

4. 搭建Agent，以查询（Query）模式为例：

• Step1.自然语言提问（ChatBot）
• Step 2.Al智能实时查询（Text to Query）
• Step3.数据处理（Data Format）
• Step 4.数据组合（Template Render）生成报告（Data to Report Agent）
• Step 5.生成回答（ChatBot）
• Step 6.追问（LangChain ->Function Chaining）

5. 灰度上线运营。

6. 上线后效果评估（AB），持续优化。

八、企业内部要建设LLM应用平台吗？

如何让企业内部快速的把大模型用起来呢？有三条路子可以走：

1. 针对有一定资源（技术储备、人才储备、现金储备等），可以企业内部快速搭建GPT应用平台。赋能业务和运营，全员拥抱大模型时代，寻找应用突破口，类似红衣教主、类似百度内部的做法。
2. 或者购买第三方的服务，比如百度、字节、阿里、科大讯飞、商汤等产品。
3. 再小范围的，买微软的Copilot账号（包月），最小范围的让研发同学用起来，让听得到炮火的人，先跑起来。

关键词：Agent、Chat GPT、生成式AI、AIGC、LLM、AGI、SQL、大模型应用。