在当今 AI 技术飞速发展的时代，许多组织纷纷尝试将 AI 大模型应用到实际工作场景中，以提升效率和生产力。然而，一个令人头疼的问题也随之而来：开发的 AI 应用无人问津，或者用户体验不佳。这背后的原因可能是多方面的，但关键在于缺乏有效的用户反馈机制。
AI大模型在知识对话、图文生成等领域的突出表现，使得很多组织在构建应用系统时，持续思考如何将大模型能力应用到员工的工作场景中。但是，直接套用基座大模型去解决具体的专业问题，往往面临答案幻觉、答案针对性不强等现象。
这时，需要建立一套持续收集用户对AI大模型应用的使用反馈机制，将用户对大模型输出答案的主观评价、用户操作系统的客观行为等信息回收。进而通过复盘，找到提升大模型能力的方法。
要注意，收集用户反馈不仅仅是一个技术问题，更是一个产品运营和用户体验的综合性问题。
首先，我们要定义出收集用户反馈的三大核心原则：
围绕三大核心原则，笔者总结了3种收集用户对AI大模型应用的使用反馈方案，包括被动式收集、主动式收集和隐式行为数据收集。各组织可以根据自身的资源情况和大模型应用的发展阶段，灵活选择、使用。
在前期做AI产品设计时，可以考虑直接在产品功能页面上，嵌入被动式收集功能。比较常见的是thumbs-up/thumbs-down、五星评分制这2种方式。
提供一种简单的点赞/点踩按钮功能，简单、直观地收集用户对当前大模型回答的喜好，这也是目前行业的标准做法。
常见的功能形态是在每个大模型输出的答案末尾显示。以笔者演示的腾讯元宝为例，在浏览完大模型生成的节日祝福后，用户可以选择点赞/点踩。
同时，腾讯元宝为了进一步了解用户的决策依据，弹出了一个轻量级的、带有文案钩子的反馈窗口，希望收集用户更具体的反馈信息。
如果用户愿意反馈，腾讯元宝进一步提供结构化的评价思路，去引导用户填写内容。这里，重点让用户评价大模型答案的正确性和规范性，同时降低用户反馈太多内容的操作负担。
五星评分制，比点赞/点踩更加的细致，可以量化用户满意的程度。
在实际设计中，同样可以在答案末尾给出相关文档。
设计示例：
“请您为这个回答评分”： ★★★★★
通过收集用户的评分，我们可以进一步通过数据分析等手段，关联业务场景，对大模型输出内容进行优化。
比如定义打 4-5 星的评价为好评，打 1-2 星的评价为差评，分别统计好评率、差评率，用于区分高满意度和低满意度答案的比例。另外，可以从高分和低分评价中筛选典型案例，作为提示词优化或者大模型微调的具体参考。
这种方案需要用户研究团队主动规划对用户的触达，通过问卷调研等形式获取更丰富的使用反馈。注意，需要精心设计以减少对用户的打扰。
当用户的操作行为满足筛选条件时，产品可以主动给用户推送问卷。
比如当用户在连续一周都在使用AI功能，在下次登录时可以推送问卷，邀请用户回答。
建议采用简洁的问卷形式，比如以弹窗形式展示，提供有关产品使用体验的5-7个问题，能让用户在30秒内完成。
每周或每月，通过钉钉、企业微信等内部办公软件，向所有销售员工发送一次简短的NPS调研链接。
NPS调研的形式也是问卷，不过核心问题是询问用户是否愿意把产品推荐给其他人。
问题示例：
“您有多大可能将这款问答助手推荐给您的同事？（0-10分）”
“请问您给出这个分数的主要原因是什么？”（这是一个开放性问题，能收集到最真实的反馈）
有时候，用户的操作行为，比他们主观评分或者问卷填写更能说明问题。这些操作行为数据需要通过产品前期的埋点进行采集。常见行为包括：
用户收到回答后，如果在一定时间内没有后续对话，说明当前的回答可能已经满足用户需求。
如果在一定时间内，用户产生追问、改写问题或再次提出相关问题，比如“还有其他注意事项吗？”“能说得再简洁点吗？”。这表明大模型回答的不完整或不准确。
用户选中并复制了回答的全部或部分内容。这是黄金正面信号，说明他打算直接使用这些内容。
大模型在进行联网查询或者本地知识库索引查询时，输出的回答中会包括网页链接或者知识库文档链接。如果用户点击查看了源文档，说明他需要更深入的信息，当前回答的信息量不够或者没有正确回答问题。
在介绍完3种收集用户对AI大模型应用的使用反馈方案后，笔者再补充一些大模型功能使用优化的经验。
我们可以将大模型使用优化的流程划分为4个阶段。
希望这篇文章提供的方法能帮助大家更好地收集到用户反馈指引，从而持续优化大模型应用效果。相信，好的大模型应用一定可以转化为实实在在的业务竞争力。
本文由人人都是产品经理作者【明思AI】，微信公众号：【明思AI】，原创/授权 发布于人人都是产品经理，未经许可，禁止转载。
题图来自Unsplash，基于 CC0 协议。
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。