惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

宝玉的分享
宝玉的分享
J
Java Code Geeks
S
SegmentFault 最新的问题
L
LangChain Blog
M
MIT News - Artificial intelligence
Stack Overflow Blog
Stack Overflow Blog
IT之家
IT之家
量子位
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
雷峰网
雷峰网
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
The Cloudflare Blog
MongoDB | Blog
MongoDB | Blog
Microsoft Security Blog
Microsoft Security Blog
腾讯CDC
H
Help Net Security
阮一峰的网络日志
阮一峰的网络日志
Jina AI
Jina AI
N
Netflix TechBlog - Medium
A
About on SuperTechFans
博客园 - 叶小钗
美团技术团队
人人都是产品经理
人人都是产品经理
D
DataBreaches.Net

人人都是产品经理

为什么你的产品找不到差异化?90%的失败都卡在第一步上(下) – 人人都是产品经理, 3年从30万到1300万用户、获2200万美元融资,这个AI教育产品用“抽卡”破解了获客难题 – 人人都是产品经理, 园区招商系统怎么做才能真正帮到去化?我加了这一个功能,推广链接转发400次阅读过万 – 人人都是产品经理, AI大事件:OpenAI发完网络安全模型又搞药物研发,小鹏汽车要抓”DeepSeek时刻” – 人人都是产品经理, 电商不是卖货,是一场更残酷的产品经理实战 – 人人都是产品经理, 没想到,活动营销又回来了! – 人人都是产品经理, 为何All-in海外KOC:一场关于AI时代窗口期的豪赌 – 人人都是产品经理, 重新理解企业的内部协作 – 人人都是产品经理, 苹果的 AI 战略到底是什么? – 人人都是产品经理, 医疗智能体·第2讲——合规护城河:等保、PIPL与HIPAA的架构实战 – 人人都是产品经理, 向量知识库五步法:从“答非所问”到“精准回复” – 人人都是产品经理, 鸿蒙PC三方库构建总指挥HPKBUILD(sha)库为例 – 人人都是产品经理, 何时该用LLM?AI产品经理的LLM设计指南 – 人人都是产品经理, 医疗信息领域的需求方、决策方、准入方以及关注点(二) – 人人都是产品经理, 即梦涨价:一场被误读的「傲慢」 – 人人都是产品经理, 面试AI PM必答题:Hermes和OpenClaw的区别,如何讲清楚业务价值 – 人人都是产品经理, AI的下一张船票:世界模型——AI产品经理必须理解的技术拐点 – 人人都是产品经理, 小红书做GEO,怎么让AI信你?记住这 3 个重要信息 – 人人都是产品经理, 5 家印度 AI 初创公司,看看印度 AI 再做什么 – 人人都是产品经理, AI项目跨团队协作:产品技术业务如何不打架 – 人人都是产品经理, Agentic Workflow(智能体工作流):让AI从”答案生成器”变成”数字员工” – 人人都是产品经理, lycium_plusplus 项目全景解读:OpenHarmony 三方库构建的“大管家” – 人人都是产品经理, 从爆单救火到前置履约:两套预采策略,把生鲜大促履约效率拉满 – 人人都是产品经理, 什么时候该补货?我用一轮数据做了一个决定 – 人人都是产品经理, 从“机械兜底”到“动态分流”:AI客服重复进线治理的4大底层逻辑 – 人人都是产品经理, 抖音拼效率,红书拼洞察 – 人人都是产品经理, 全民狂欢与退潮——为什么龙虾这波热潮冷却得如此之快? – 人人都是产品经理, Stripe押注!MPP重塑全球支付 – 人人都是产品经理, 小红书GEO:AI引用你的内容,不是因为你对,而是因为你看起来可信 – 人人都是产品经理, 前百度副总裁押注办公Agent,日韩付费爆发,Manus迎来强劲对手 – 人人都是产品经理,
提示工程:反复崛起,反复被死亡
赛博禅心 · 2024-09-22 · via 人人都是产品经理

随着OpenAI推出新一代推理模型o1 preview,许多人认为提示工程已走到尽头。但事实真的如此吗?这篇文章深入探讨了提示工程的两大核心——技巧与指令,并分析了在AI不断进步的今天,提示工程如何适应变化,继续发挥其独特的价值。

随着 OpenAI 新的推理模型 o1 preview 的发布,它能自动生成高质量思维链,很简单的提示词也可以得到很不错的效果,所以很多人觉得提示工程已经死了,提示工程师是世上最短命的职业之一。

真的如此吗?

我们常说的提示工程,有两大核心部分:技巧和指令。

一、技巧

技巧就是那些与模型本身密切相关,各种让特定模型表现更好的技巧,比如说:

1. 为模型设定角色

“你是一个有帮助的助手”,“你是一个资深前端工程师”等等。

在 GPT-3 时代这个技巧很好用,GPT-4 后效果已经不太明显了。

这可能是因为早期训练语料不够多模型不够强的时候,设定角色可以让角色相关的语料在生成时有更高的概率。

随着模型能力的增强,已经不太需要这样的技巧。

2. 情感勒索

“你只要按照我的做,我就给你$200 小费”,“我没有手指,没办法复制粘贴,请你完整生成”,“你不这样做就要个无辜的小孩要因此丧生”……

AI 在对齐阶段,被训练成为要人类有帮助的助手,结果反而被利用。

但是这类常用的情感勒索方式,在新一轮模型训练的时候,会作为案例再次对齐,效果就会大打折扣。

另外很多时候这样做也是因为模型不能很好遵循指令,模型能力增强后就不需要了。

3. 思维链,让模型一步步思考

这算是提示工程的核心技巧了,将任务分成几步来做可以明显提升生成的效果,最著名的是“Let’s think step by step”,对于给大语言模型的任务,生成若干推理步骤,得到更好的生成效果。到了 o1 更是将这种思维链发挥到了极致,你输入一个复杂的数学题,甚至不需要要求一步步思考,它都能生成高质量的思维链,解除复杂的数学题目。以至于很多人感慨提示工程已死。

当然还有很多像 few-shot、ReAct 这样的技巧,就不一一列举。

如果是技巧部分,那真的每次新一代模型出来,就要喊一次提示工程工程已死了,因为技巧那部分随着模型升级一直在变的。

二、指令

指令就是那些技巧之外的,你需要让 AI 能真正理解你意图,并且精确控制 AI 按照你的意图去完成任务的部分。

其实这部分才是提示工程的核心部分,而且并不容易做好,因为它有很多难点:

1. 如何清楚的表达自己的意图

表达清楚自己的意图其实很难,如果不能表达清楚,不管是 AI 还是人类,都很难懂你或者帮到你。

比如说“五彩斑斓的黑”是什么颜色?

2. 如何让 AI 明白所有相关的上下文

人和人沟通的时候,一个常见的错误就是一方假定对方明白自己知道的所有上下文,然后造成很多误解。

跟 AI 也一样,但是如何让 AI 明白我们所处的上下文环境也是很有必要并且很难的事情:要如何交代清楚上下文,要交代多少上下文?

3. 如何将复杂的任务拆分成简单的任务

我刚大学毕业那会,HR 会给员工推荐一本书,叫《把信送给加西亚》,本来挺好的故事,但是被老板们用来教育员工:员工收到老板的指令,就应该像书中的安德鲁·罗文那样,没有任何推诿,不讲任何条件,历尽艰险,徒步走过危机四伏的国家,以其绝对的忠诚、责任感和创造奇迹的主动性完成“不可能的任务”,把信交给了加西亚。

后来自己去管人了才知道,好的管理者要善于帮助员工将复杂的任务拆分成简单的任务,并且在过程中提供帮助和引导,而不是给一个指令就等着结果。

让 AI 做事也是类似的。由于上下文的不完整,或者任务的复杂性,合格的提示工程师需要将复杂的任务拆分成几个简单的任务让 AI 去完成,甚至于需要组建一个完整的工作流,让多个 AI 智能体协同完成复杂的任务。

4. 如何精确的控制 AI 做事

提示词是用自然语言来书写的,但自然语言有一个特点就是其模糊性,同样一句话可以有不同的解读;另一方面由于现在的生成模型是概率预测模型,所以每次结果可能会不一样;这就给精确控制 AI 做事带来了很大挑战。以至于现在提示工程都有一个途径就是使用伪代码来精确控制 AI 执行任务,并且效果很好,因为代码本质就是一种精确操纵机器的语言。即使现在 o1 这样强大的推理模型出现,模型的随机性还是没能解决,还是需要提示工程师去反复尝试才能找到一个相对稳定的方案,以及在出错后的纠正和容错方案。

5. 如何防止用户绕过限制做一些不好的事情

作为一个普通用户,能让 AI 帮我们完成任务就够了,但对于专业的提示工程来说,还需要防止用户做一些不好的事情,生成不好的内容,这可能造成很多成本上的损失,可能有政治风险。

6. 如何针对特定任务提出开创性的创造解决方案

现在 o1 能帮助解决数学问题,这很强,但我们需要 AI 解决的不仅仅是数学问题,还有很多日常任务或者特定领域的任务,也许未来 AI 能在各个领域写出超过普通人的思维链,但这些任务可能需要真正对这个领域有深入理解和洞察的人才能写出最佳提示词。

比如你让 o1 翻译一段文本,它也只能正常翻译,但公认的翻译效果更好的提示词,是要 AI 先直接按照字面意思翻译,再针对翻译的结果去检查、解释、反思,最后再综合一起生成翻译结果,而这样的提示词目前 AI 还不能自动生成,当然也许很快在翻译领域就可以做到了,不过对于一些专业领域,短时间内恐怕还是需要和领域的专家一起,才能生成最佳的提示词。

这有点像工业自动化领域,最初的自动化,就是用机器把操作最好的工人的工作的动作模仿下来实现自动化,然后再超越最优秀的工人。

也许 AI 将来也能超过各个领域的专家,但那时候就真的是 AGI 时代了。

三、最后

AI 时代,总是在搞大新闻:一会是 AI 要替代程序员了,一会是提示词工程师是最有潜力的职业,一会是提示词工程师是最短命的职业。

然而真正去透过现象看本质,里面有太多的以偏概全,太多噱头。

就提示工程这事来说,会像编程一样,还会在很长一段时间存在并发挥巨大的价值。

真正的提示工程,本质还是怎么让 AI 懂你,怎么让 AI 听话。

在让别人懂我们和让别人听话这事上,我们已经奋斗了几千年了,至今还在努力中,也许 AI 会容易一点吧。

本文由人人都是产品经理作者【赛博禅心】,微信公众号:【赛博禅心】,原创/授权 发布于人人都是产品经理,未经许可,禁止转载。

题图来自Unsplash,基于 CC0 协议。