Clavié等人(2023)提供了一项关于提示工程应用于生产系统中中等规模文本分类用例的案例研究。通过使用将工作分类为真正的“初级职位”(是否适合应届毕业生的任务)，他们评估了一系列提示工程技术，并使用GPT-3.5 (gpt-3.5-turbo)报告了他们的结果。
该研究表明，LLMs在所有经过测试的模型中表现最佳，包括DeBERTa-V3中的一个极强的基准模型。gpt-3.5-turbo在所有关键指标上也明显优于早期的GPT3变体，但需要进行额外的输出解析，因为其遵循模板的能力似乎不如其他变体。
他们的提示工程方法的关键发现是：
| Short name | Description |
|---|---|
| Baseline | 提供一个职位招聘信息并询问它是否适合毕业生。 |
| CoT | 在查询之前给出几个准确分类的示例。 |
| Zero-CoT | 要求模型一步步推理后再给出答案。 |
| rawinst | 通过添加到用户消息中, 来给出有关其角色和任务的说明。 |
| sysinst | 作为系统消息给出有关其角色和任务的说明。 |
| bothinst | 将角色作为系统消息和任务作为用户消息拆分说明。 |
| mock | 通过模拟讨论来给出任务说明，其中模型确认了它们。 |
| reit | 通过重复强调关键要素来加强说明。 |
| strict | 要求模型严格按照给定模板回答。 |
| loose | 要求仅根据给定模板给出最终答案。 |
| right | 要求模型得出正确的结论。 |
| info | 提供额外的信息以解决常见的推理失败。 |
| name | 为模型取一个我们在对话中称呼它的名称。 |
| pos | 在查询之前向模型提供正面反馈。 |
| Precision | Recall | F1 | Template Stickiness | |
|---|---|---|---|---|
| Baseline | 61.2 | 70.6 | 65.6 | 79% |
| CoT | 72.6 | 85.1 | 78.4 | 87% |
| Zero-CoT | 75.5 | 88.3 | 81.4 | 65% |
| +rawinst | 80 | 92.4 | 85.8 | 68% |
| +sysinst | 77.7 | 90.9 | 83.8 | 69% |
| +bothinst | 81.9 | 93.9 | 87.5 | 71% |
| +bothinst+mock | 83.3 | 95.1 | 88.8 | 74% |
| +bothinst+mock+reit | 83.8 | 95.5 | 89.3 | 75% |
| +bothinst+mock+reit+strict | 79.9 | 93.7 | 86.3 | 98% |
| +bothinst+mock+reit+loose | 80.5 | 94.8 | 87.1 | 95% |
| +bothinst+mock+reit+right | 84 | 95.9 | 89.6 | 77% |
| +bothinst+mock+reit+right+info | 84.9 | 96.5 | 90.3 | 77% |
| +bothinst+mock+reit+right+info+name | 85.7 | 96.8 | 90.9 | 79% |
| +bothinst+mock+reit+right+info+name+pos | 86.9 | 97 | 91.7 | 81% |
“Template stickiness” 指的是模型多频繁地按照所期望的格式作答。
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。