提示词（Prompt）是指它通过向模型输入特定的指令或问题，来增强模型的表现，而无需对模型结构本身进行调整。这一概念随着大型语言模型的发展而流行，并催生了一个新兴的领域——提示词工程（Prompt Engineering）。这一领域目前还处于早期探索阶段，依赖于实践和试错来发现有效的提示词策略，属于经验科学的一种。
经验科学：在研究方法上，以归纳法为主，带有较多盲目性的观测和实验。一般科学的早期阶段属经验科学，化学尤甚。在恩格斯《自然辩证法》中，专指十八世纪以前搜集材料阶段的科学。（百度百科）
我对提示词的看法：
作为一个一直在关注工程实现而没有深入研究提示词的产品经理，前一段时间的产品空窗期我重新研究了一下提示词。然后深感提示词领域的混乱。我意识到提示词领域存在许多混乱，各种术语和框架层出不穷，我相信许多人可能也有同样的困惑。因此，我希望通过一系列文章来整理和分享我的知识体系，希望能对大家有所帮助。
这个系列会引用很多论文，主要是两个原因，首先，部分章节会介绍一些专业知识（例如聚类算法），引用原论文可以提供权威参考；其次，许多结论源自论文，引用论文既是对原作者工作的尊重，也为我的论点提供了依据。我将努力确保每个观点都有充分的论据支持。
曾经有一个问题是AI产品经理到底要不要看论文,我的看法是不用看，但了解总是有益的。学术论文的方法相比网上的文章往往具备以下特征：
但是它对普通人不易读，所以做出一些解读还是很有必要的，提取一些关键点进行分析。
整个系列的行文结构参考今年6月份出的技术报告（Schulhoff, Sander, et al., 2024）。做了一些补充并加入了一些自己的理解。这篇论文很好，它对很多混乱概念进行了梳理并重新定义。比如说Few Shot，在深度学习中通常是指少样本学习（Few-Shot Learning）。Prompt工程中是指Few-Shot Prompting。两者最大的差别就在于前者是会对模型进行永久性修改（比如模型的参数）而后者仅限于在一次对话中，重启上下文后即会失效，对模型本身不会造成任何影响。
文章内容还会参考网上的一些资料，由于参考过多无法一一引用。在此向所有研究Prompt领域的工作者致敬🫡，你们是大模型时代的先驱者。
下面几种人都可以在文章中各取所需
[[正文开始]]
一个完整的提示词通常可以由指令、示例、输出格式、风格、角色约定几部分组成，它们并不需要同时存在，也并非所有场景都必须使用它们。
指令
指令即用户直接下达给大模型的命令。通常分为显式指令以及隐式指令两种。
显式指令：直接提出问题
告诉我历史上是谁统一了六国？
模型回答：
秦始皇。
隐式指令：给大模型一些示例，让其自动判断该输出什么。隐式指令更像“找规律”，让模型来自动判断如何输出。例如下面是一个将英语翻译成西班牙语的场景
用户输入：
Night：Noche
Morning：
模型回答：
Morning：Mañana
示例（Examples）
通常会使用*-Shot来表示，即提供给大模型的完成任务的示例，帮助其更好理解你的任务。上面的示例就属于一个One-Shot场景（即提供一个事例）。当场景足够简单、事例充分的情况下，大模型不需要你为他提供明确的指令，就可以得到你想要的答案。（参考上面的隐式指令场景）。*-Shot通常分为如下几种情况：
这一部分也通常称为ICL（In-Context Learning）上下文学习
通常来讲Zero-Shot场景是对模型性能要求最高的，也是各家大模型的优化重点。GPT4相比GPT3.5很明显的能力提升就在于它在Zero-Shot场景下的性能，这往往也代表着其语义理解能力更强。
输出格式约定
这一部分通常是指定模型的输出格式，例如
...，请以MarkDown的形式输出回答。
这么想的话你倒是可以拿大模型做为一个格式刷：）
风格约定
风格即指定大模型的输出风格，是一种非常常用的模型输出优化方式。
请以通俗易懂，略带风趣的方式来解释地球为什么围绕太阳旋转。
模型回答：
让我们来聊聊太阳和地球这对宇宙中的好基友。想象一下，你手里拿着一个网球，然后你用绳子把它系住，开始旋转。网球因为绳子的牵引，不得不跟着你转圈圈。这其实和地球围绕太阳转是一个道理。
角色约定
为大模型设置一个角色，这点与上一部分的风格约定通常都被用来改善模型输出的风格。
你是一个经验丰富的家庭教师，正在教一个二年级的小学生。请解释一下地球为什么围绕太阳旋转。
模型回答：
好的，想象一下你在公园里玩陀螺。你用绳子把陀螺绕起来，然后快速一拉，陀螺就会在地面上旋转起来，对吧？地球围绕太阳转的原理和这个有点像。首先，地球和太阳都非常非常重，太阳比地球重好多好多。很久以前，当太阳系形成的时候，地球和其他行星都是围绕着太阳旋转的。这就像你把陀螺的绳子一拉，它就开始转起来一样.....
少样本提示（Few-Shot Prompting）
大模型的记忆是有限的，它的记忆容量被称为上下文窗口（Context Window），决定了模型能够捕捉信息的范围。例如，GPT-4 Turbo拥有128k个Token的上下文窗口，相当于超过300页的文本，这使得它能够生成更符合对话语境的回复。而上下文学习（In-Context Learning，ICL）是指一种不需要对模型进行训练，在Prompt中通过给予示例以及说明来让模型提高模型的预测性能。但是这种性能提升其实并非“学习到的”，更像是一种激活。激活模型原有的记忆。
少样本提示（Few-Shot Prompting）参考上面的*-Shot介绍。尤其需要注意这里和深度学习中的Few-Shot Learning存在本质区别，FSP并不会对模型参数进行调整，它的提升仅限于当前的上下文窗口中。
通用的示例设计/选取原则
为大模型提供或构建示例的方式对其性能有显著影响。不当的示例可能会导致模型产生严重的误解。以下是六个关键因素。
样本自动构建技术（普通用户可以跳过）
目前，手动构建样本的方法还处于相对原始的阶段，类似于“刀耕火种”，主要依赖于人的主观判断。为了提高样本的质量，可以参考前面提到的几个关键因素，并进行多次测试以优化样本。此外，目前也有一些研究致力于开发自动化构建Few-Shot样本的技术。
如果我们有一个示例库，并希望从中动态构建有效的提示词（Prompt），这是一个非常实际且常见的应用场景。例如，在法律文书编写领域，我们需要为大模型提供与当前案件相似的文书示例，以辅助模型进行更准确的分析。这要求我们能够从示例库中智能地选择和构建相关的样本，以提高模型的理解和预测能力。
这里介绍几个常用的样本自动构建技术。
其他还有基于Q-Learning、基于对比学习以及基于主动学习的样本构建技术。这些方法目前研究性仍然不足，暂不列举出来。
简单总结一下，Few-Shot是一种常见的提示词调优技术。一般来说，示例选取最好保持多样化，同时应该具有较强的随机性（顺序，内容...）以避免大模型发现了“规律”从而影响回答质量。
参考文献
Schulhoff, Sander, et al. "The Prompt Report: A Systematic Survey of Prompting Techniques." arXiv preprint arXiv:2406.06608 (2024).https://arxiv.org/abs/2406.06608
Zhao, Hao, et al. "Is In-Context Learning Sufficient for Instruction Following in LLMs?." arXiv preprint arXiv:2405.19874 (2024).https://arxiv.org/abs/2405.19874
Lu, Yao, et al. "Fantastically ordered prompts and where to find them: Overcoming few-shot prompt order sensitivity." arXiv preprint arXiv:2104.08786 (2021).https://arxiv.org/abs/2104.08786
Su, Hongjin, et al. "Selective annotation makes language models better few-shot learners." arXiv preprint arXiv:2209.01975 (2022).https://arxiv.org/abs/2209.01975
Kim, Hyuhng Joon, et al. "Self-generated in-context learning: Leveraging auto-regressive language models as a demonstration generator." arXiv preprint arXiv:2206.08082 (2022).https://arxiv.org/abs/2206.08082
Shumailov, Ilia, et al. "AI models collapse when trained on recursively generated data." Nature 631.8022 (2024): 755-759.https://www.nature.com/articles/s41586-024-07566-y
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。