你是否也在思考如何把AI真正用在业务场景中？这篇文章通过一个真实案例——安全培训试卷生成系统，手把手拆解AI产品设计的关键步骤，让你从“想做”到“能做”，少走弯路。
AI产品设计实战案例：安全生产培训试卷生成系统
前面写了《AI赋能产品设计的转型思维：从确定性到探索性》的理论文档，提到了AI产品经理需要具备四个核心能力：AI认知能力、业务理解能力、原型构建能力和评估优化能力。
理论有了，但具体怎么用呢？
说到这个安全培训试卷生成系统，其实就是我们专门搭建的一个”实验室”，用来验证前面提到的那些设计理念到底靠不靠谱。为什么选这个场景呢？说实话，这个痛点太普遍了——你看，传统的人工出题，一套卷子要折腾好几个小时，而且质量还不稳定；换成AI来做吧，又担心它”胡说八道”，特别是涉及安全规范这种容不得半点马虎的内容。
所以我们就想，能不能通过这个具体的案例，把那四个核心能力的作用机制给”解剖”出来？从最开始的需求梳理，到后来的技术选型，再到原型测试和效果调优，每一步都对应着不同的能力要求。通过这样一个完整的设计过程，你就能很直观地看到，这些能力在实际工作中是怎么发挥作用的了。
不过，在深入具体的设计方案之前，我们先得搞清楚一个根本问题：AI产品的设计思路到底和传统软件有什么不同？这个认知差异，直接决定了后面所有设计决策的方向。
在设计这个演示系统时，最大的感受就是AI产品和传统软件的设计思路完全不一样：
传统软件：设计功能框架
AI产品：设计智能结果
这种差异带来的设计挑战
具体到这个安全培训试卷生成系统，我们发现AI产品设计还面临几个典型的业务挑战：
明确了这些设计理念上的差异和业务挑战后，我们就可以开始具体的系统设计了。接下来，让我们看看如何将这些理论认知转化为实际的产品方案。
这个演示系统设计的目标场景是：某制造企业有30多个不同岗位，每个岗位都有自己的安全操作规程，传统的培训方式是人工出题，一份试卷要花好几天时间。
系统设计目标是：根据岗位、培训目标、考试时长等要求，自动生成专业的安全培训试卷。从输入需求到生成试卷，整个过程控制在10分钟以内。
预期达到的效果：
有了明确的目标，下一步就是如何实现。经过反复思考和测试，我们总结出了一套相对成熟的设计方法，可以概括为四个关键步骤。
整个系统设计可以总结为四个步骤。每一步都对应一个核心问题，也都有具体的解决方案。
传统软件开发关注的是设计通用的功能规则和操作流程，比如”题库管理”、”组卷规则”、”导出功能”等，不需要考虑具体的业务内容。但AI系统要直接生成具体的业务内容，必须处理内容的多样性需求——同样是”安全试卷”，电工、焊工、管理人员需要的内容完全不同，入职培训和专项考核的侧重点也不一样，这就要求输入信息必须足够具体和准确。
系统架构的核心设计思路
在整个系统设计中，最关键的思考是：如何区分不同类型的信息，并为每种类型设计最合适的处理策略？
基于对AI能力边界的深入分析，我们将所有信息分为三个层次：
这种分层思路直接决定了后续的技术架构：重要数据走知识库检索路径，辅助数据采用”检索+推理”混合策略，非重要数据主要依靠AI推理。这样既保证了个性化质量，又避免了不必要的检索开销。
基于这个核心设计思路，我们设计了一个”四门槛”机制。这四个门槛的设定依据来源于业务判断的核心维度：
门槛设定的思考逻辑：
当用户只说”我要一份电工试卷”时，系统会引导补充其他信息。比如会问：”这是给新入职的电工，还是给有经验的老师傅？”、”主要考核基础安全知识，还是包括应急处置？”
这个机制看起来增加了用户的操作步骤，但实际效果很好。这样的引导让用户对自己的培训需求也更清晰了。
解决了需求输入的问题，接下来面临的挑战是：如何让AI准确理解这些输入信息的深层含义？这就需要引入AI分析环节。
拿到用户的四个关键信息后，系统要做的不是简单地把这些信息传给AI，而是要让AI真正理解用户的深层需求。这就像一个有经验的培训师，既要听懂用户说了什么，还要理解用户没说出来的那些期望。
我们在实际测试中发现，同样”电工安全培训”，新入职的电工和有十年经验的老师傅，需要的内容完全不一样。新人需要从基础概念开始，老师傅更关心新法规和特殊情况处理。
分析用户画像
要搞清楚培训对象的基本情况：
这个分析不是为了”歧视”，而是为了让培训更有效。我们测试过，给操作工人出太多理论题，通过率会很低；给管理层出太多基础操作题，他们会觉得浪费时间。
理解培训目标
用户说的培训目标往往比较笼统，系统要能够细化：
优化考试参数
根据不同人群的特点，系统会自动调整考试的具体参数：
推断培训场景
系统会从多个角度推断具体的培训场景：
系统输出的分析结果
经过分析后，系统会给出一个详细的分析报告，比如针对”电工技师安全培训”的分析结果：
{
“用户画像”: {
“学历水平”:”专科到本科”,
“理解能力”:”较强”,
“抽象思维”:”中等”,
“注意力时长”:”60分钟”,
“学习偏好”:”偏重实际应用”
},
“岗位分析”: {
“风险等级”:”高风险”,
“核心技能”: [“电气安全操作”,”设备维护”,”应急处置”],
“掌握程度”: [“理解”,”掌握”,”应用”],
“主要风险”: [“触电事故”,”设备故障”,”违规操作”]
},
“培训重点”: {
“认知层次”: [“应用”,”分析”],
“重点领域”: [“操作规程”,”安全防护”,”应急响应”],
“考核方式”:”情景化考核”, “深度要求”:”专业级”
},
“考试设计”: {
“题目总数”:42,
“时间分配”: {
“重点题”:”18题×2.5分钟”,
“一般题”:”18题×2分钟”,
“基础题”:”6题×1分钟”
},
“难度分布”: {
“基础”:”35%”,
“中等”:”45%”,
“困难”:”20%”
},
“题型比例”: {
“单选”:”50%”,
“多选”:”25%”,
“情景分析”:”15%”,
“判断”:”10%”
}
}
}
系统内部的协作机制
这个分析结果会传递给后面的各个模块：
整个流程就像一个经验丰富的培训团队在协作：分析师负责理解需求，内容专家负责选择材料，教学设计师负责安排课程，考试专家负责出题，知识专家负责保证专业性。
有了前面的分析结果，接下来就要从企业的知识库中挑选出最适合的培训内容。这个过程不是简单的关键词匹配，而是要综合考虑多个因素。
怎么给知识点分类
在安全培训中，不同知识点的重要性差别很大。我们把知识点分成三个等级：
知识点的标准格式
每个知识点在系统中都有统一的格式，包含这些信息：
{
“知识点ID”:”KP_1_1″,
// 知识点唯一标识”标题”:”安全生产的立法宗旨与基本原则”,
// 知识点标题”内容”:”详细的知识点内容…”,
// 完整知识点描述”核心原理”:”预防为主的风险管理原理”,
// 核心原理”关联风险”:”各类生产安全事故…”,
// 关联风险”应用场景”:”企业制定年度安全计划时…”,
// 应用场景”重要性”:”A级-生命攸关”,
// 重要性等级”认知水平”:”理解”,
// 认知水平要求”适用岗位”: [
// 适用岗位数组 “企业管理者”, “安全总监”, “政府安监人员” ],
“知识类型”:”安全管理理念与政策”,
// 知识类型”学习难度”:”新手”,
// 学习难度”考核方式”:”闭卷理论考试”,
// 建议考核方式”来源引用”:”中华人民共和国安全生产法.txt_第1部分”
// 来源引用
}
筛选的具体过程
我们在实践过程中发现，单纯按关键词匹配效果很差。比如搜索”电工安全”，可能会把所有相关内容都拉出来，包括很多不适合的。
现在的筛选过程是这样的：
第一轮：岗位匹配
比如电工培训，会优先选择“电工”标签的内容，然后考虑“电气技师”、“设备维护”等相关岗位的内容
第二轮：重要性筛选
第三轮：认知水平匹配
我们测试过一个案例：给新入职的电工做培训，如果按传统方式，可能会包含很多高级的理论知识。但通过这套筛选机制，系统会自动过滤掉过于复杂的内容，重点选择基础操作和安全规程。
直接让AI生成完整试卷，效果往往不好。题目分布不均匀，重点不突出，逻辑性也不强。
我们采用了”两步走”的策略：
第一步：生成考试大纲
根据前面的分析结果，先设计一个详细的考试大纲，明确：
第二步：按大纲生成题目
有了大纲这个”施工图”，AI就知道要生成什么样的题目，避免了随意发挥。
举个实际例子，我们给某化工企业设计的电工安全培训大纲：
考试时长：60分钟
题目总数：42题
知识点分布：
– 电气安全基础：18题（43%）
– 这是生命攸关的A级内容
– 个人防护用品：12题（29%）
– B级重要内容
– 应急处置：8题（19%）
– A级核心技能
– 安全操作规程：4题（9%）
– B级补充内容题型分布：
– 单选题：21题（50%）
– 基础知识快速检测
– 多选题：11题（25%）
– 综合理解能力
– 情景分析：6题（15%）
– 实际应用能力
– 判断题：4题（10%）
– 常见错误识别难度分布：
– 基础题：15题（35%）
– 中等题：19题（45%）
– 困难题：8题（20%）
这个大纲不是拍脑袋想出来的，而是基于前面AI分析的结果：技术岗位60分钟注意力、理论实践4:6比例、应用导向的学习偏好等等。
有了前面的分析和设计，接下来就是验证这套方案到底能不能落地。我们采用了快速原型验证的方式，用最小的成本验证核心功能。
基于AI设计范式中的原型构建能力，我们设计了一个三层架构的MVP：
第一层：提示词工程与核心AI能力
第二层：工作流设计与人工介入点
第三层：快速原型搭建
我们的MVP原型包含以下核心组件：
# 基于实际配置的MVP架构核心工作流:
-意图识别模块:判断用户是要生成试卷还是咨询问题
-信息收集模块:收集培训对象、考试要求等关键参数
-知识检索模块:从三个知识库并行检索相关内容
-通用法规知识库
-工厂专有制度库
-岗位操作规程库
-内容生成模块:基于检索结果生成个性化试卷
-质量控制模块:检查生成内容的完整性和准确性
人工介入点:
-试卷生成后的人工审核
-知识库内容的定期更新
-用户反馈的处理和优化
技术可行性验证结果：
验证过程中的发现：
通过为期两周的MVP测试，我们验证了核心技术方案的可行性：
这个MVP验证让我们对整体技术路径有了信心，也为后续的产品化开发奠定了基础。更重要的是，我们通过实际测试明确了哪些技术方案是有效的，哪些地方还需要进一步优化。
基于AI设计范式中的评估优化能力要求，我们为这个安全培训试卷生成系统建立了一套完整的测评机制。这套机制不仅用于验证当前系统效果，更重要的是为持续优化提供数据支撑。
1. 意图理解能力测评
大规模意图判断测试
需求引导能力验证
2. 知识检索能力测评
检索相关性验证
测试规模：模拟100次知识点检索
岗位覆盖率：≥90%（确保支持的岗位类型全面覆盖）
目标相关性：≥90%（检索结果与培训目标高度匹配）
评估维度：
内容多样性控制
测试方法：基于同一输入模拟100次知识点检索，每5次为一轮
重复度要求：每轮知识点重复度≤50%
多样性指标：
3. 内容生成质量测评
课程大纲设计评估
AI自动化评测
测试规模：模拟100次课程大纲设计
评分标准：基于提示词AI测评，要求得分≥80分
通过率要求：100%（所有生成的大纲都必须达到基准质量）
评估维度：
专家人工评测
测试规模：模拟10次课程大纲设计
评分要求：专家打分≥80分
通过率要求：100%
专家构成：安全培训专家、行业技术专家、教学设计专家
评估标准：
试卷设计质量控制
AI批量评测
测试规模：模拟100次试卷设计
评分标准：基于提示词AI测评，要求得分≥80分
通过率要求：100%
质量维度：
试题重复度控制
测试方法：基于同一输入模拟100次试卷生成
重复度要求：每次生成的试题重复度≤10%
多样性保证：
专家质量验证
测试规模：模拟10次试卷设计
评分要求：专家打分≥80分
通过率要求：100%
验证重点：
自动化测评流程
我们搭建了一套自动化的测试系统：
测试数据准备
实时监控
人工评测标准化
专家评测体系我们组建了一个专家评测团队：安全管理专家、培训设计专家、技术专家各占1/3。制定了详细的评分量表，包含专业性、实用性、创新性三个维度。
为了保证评分的一致性，我们要求多个专家独立评分，然后计算评分者间的信度，要求达到0.8以上。
持续改进机制
问题分类处理
根据测评结果，我们把问题分成几类：
迭代优化周期
通过这套测评机制，我们建立了从技术指标到业务价值的全链路质量保证体系。每个环节都有明确的标准和验证方法，确保AI系统在实际应用中能够稳定、准确地服务于安全培训需求。
做完这个安全培训试卷生成系统，我们对AI产品设计有了一些新的认识。
1. AI认知能力：知道AI能做什么，不能做什么
我们的实践：
关键体会：AI认知能力不是简单了解AI能做什么，而是要深刻理解AI在具体业务场景中的适用边界，知道什么时候用、怎么用、用到什么程度。
2. 业务理解能力：找到AI介入的真正价值点
我们的实践：
关键体会：业务理解能力的核心是要能够将复杂的业务需求抽象为AI可以处理的子任务，并准确判断每个子任务的AI适配度。
3. 原型构建能力：快速验证想法是否可行
我们的实践：
关键体会：原型构建能力的价值在于用最小成本验证最大风险，避免了大规模开发后才发现方案不可行的问题。
4. 评估优化能力：建立持续改进的机制
我们的实践：
关键体会：评估优化能力的关键是要建立”可测量、可改进”的闭环机制，让AI系统能够基于实际使用效果持续进化。
基于这次实践，我们总结出三个比较通用的AI产品设计模式：
1. 渐进式需求澄清模式
核心价值：将模糊的用户需求转化为AI可处理的明确输入
适用场景：用户需求复杂多变、个性化程度高的AI应用
关键要点：
2. 分层知识检索模式
核心价值：根据AI能力边界设计差异化的信息处理策略
适用场景：需要处理大量结构化和非结构化知识的AI系统
关键要点：
3. 两阶段生成模式
核心价值：通过结构化分解降低AI生成的不确定性
适用场景：需要生成复杂、结构化内容的AI应用
关键要点：
这个项目最大的收获不在于具体的技术实现，而在于对AI产品设计有了更深的理解：
说到底，AI产品设计成功的关键不在于技术有多先进，而在于能否真正解决用户的实际问题。技术是手段，用户价值才是目标。
在AI时代，产品经理的核心价值在于成为技术能力和业务需求之间的”翻译官”和”架构师”。这个角色比以往任何时候都更重要，也更有挑战性。
本文由 @小伢儿 原创发布于人人都是产品经理。未经作者许可，禁止转载
题图来自Unsplash，基于CC0协议
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。