后半年工作，比较多的时间花在了Copilot模式与PC终端融合的探索和实践上，踩着Microsoft的Copilot+PC肩膀，想要走出一条符合数据终端实情的NUI新路子。

截止24年12月，国内在PC侧还没看到成熟的Copilot解决方案，与office365高度相似场景的WPS早在一年多前就推出了WPS AI，以chat形式支持文档总结和内容问答，以指令形式支持模板内容撰写、改扩写等，这种Copilot形式更像是嵌入式的AI设计，且局限于LLM擅长的文本生成领域，借鉴意义一般；

而随着Apple Intelligence的发布，国内一众厂商将小艺、小爱等化身AI助手，实现系统级别的Copilot，倒是看到不少跨应用串联用户场景的新方案，值得深入思考；

而以数据查询、数据分析为核心用户需求的数据终端产品，与上述场景有较大差别；

一、实践过程

1. 探索阶段

在Copilot模式之前，我们有过大约1年的时间，尝试chat模式在各类功能场景下的融合，识图借助LLM实现产品体验质的飞跃；这些实践并非无效，它给我们Copilot模式的实践，提供了大量的参考场景和案例；

例如，23年 GPT3.5席卷而来时，我们对LLM的运用还停留在内容总结和对话上。在资讯、研报等内容型的GUI界面上，我们加入了“总结助手”这样的AI功能，帮助用户自动生成AI总结，辅助阅读。在Copilot模式下，我们需要提炼的是“总结”这样的用户诉求，那作为一个无处不在的AI助手，Copilot模式下需要给予用户自由选择待总结内容的权利，自然而然实现了从嵌入式向Copilot模式的转变

2. 落地阶段

1、我们首先选定了LLM擅长的自然语言理解，从数据检索上进行实践，利用Copilot辅助用户查找指标。

从批量指标提取（全部省份、全部县市等）、到复杂指标拆解（剪刀差>>M1、M2及指标运算）、到前后场景串联（指标检索后给予基础的数据分析），实现一句自然语言的高效、专业内容返回。

表单操作也是重要的场景，我们融入了批量操作、多步骤操作，覆盖少量但高频的表单指令，丰富Copilot的能力；

2、其次，模块和内容查找，对于中低阶用户也是最头疼的使用问题。将功能库编组、描述给予LLM一定的学习，能够更好地满足用户一句话查找相关界面的需求；

3、除此以外，页面模块内的功能检索和执行，也是重要的发挥场景。类似PPT内，一句话插入视频文件。Excel内，一句话转置表格等；

实践过程远比上面的描述艰辛，每一次GUI页面的响应，都少不了function call的执行。工具/函数库的建设、工具调用和步骤编排，这些是实践中耗时最多的部分。

二、实践感悟

1. 用户反馈

在若干场景Copilot上线后，我们走访了目标客户群，向客户演示并征求迭代意见。

1. 大家对这种新模式表示惊叹，感慨AI洪潮的迅猛；
2. 对于熟练掌握数据目录的高级用户来说，这种Copilot稍显弱智，他们更习惯和信任自己的手指；
3. 作为日常涉及功能模块、数据领域繁杂的用户来说，认为Copilot是天降福星，能弥补他们在某些专业上的不足；
4. 对于纯纯手动型的批量操作，大家一致认为Copilot大有可为；

2.总结感悟

在Microsoft AI CEO的一段视频中，他表达了在当下（2024年），基于Agent的Copilot模式短时间内难以满足用户的诉求，大约是GPT6能够实现的。同时，他给出了2个关键建议：

1. 明确function call，提供更可靠的agent，实现工具的正确调用和步骤的准确规划；
2. 寻找用户容忍度高的场景，即便是80%的准确率，也能让用户愿意尝试；

结合以上两点，我们做了扩展和深入：

1. 单一场景下，少量且区分明确的tools更有利于agent的理解和调用，能确保用户意图执行到位；
2. 不同的tools可以再结合更合适的LLM，进行tools智能化改造，实现更惊艳的能力；
3. 用户容忍度高的场景，可以进一步细化为“能否一眼识别可用”、“能否接受多次尝试”、”是否支持二次微调“、”后果能否承担“等；

Copilot模式会在接下来的一段时间更加深入的实践和探索，我们也将不断学习，后续分享更多更有价值的内容。