惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

Vercel News
Vercel News
博客园 - 司徒正美
C
Check Point Blog
G
Google Developers Blog
The GitHub Blog
The GitHub Blog
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
有赞技术团队
有赞技术团队
P
Proofpoint News Feed
IT之家
IT之家
B
Blog
博客园_首页
量子位
MongoDB | Blog
MongoDB | Blog
博客园 - Franky
J
Java Code Geeks
H
Help Net Security
A
About on SuperTechFans
Apple Machine Learning Research
Apple Machine Learning Research
Jina AI
Jina AI
D
DataBreaches.Net
Y
Y Combinator Blog
大猫的无限游戏
大猫的无限游戏
云风的 BLOG
云风的 BLOG
Google DeepMind News
Google DeepMind News

少数派

派早报:Google 发布 Fitbit Air 等 - 少数派 「新人报到」確認需求,再開始 - 少数派 从 SOLO 独立开发者社区,我看到了越来越多开发者开始做自己的产品 - 少数派 我怎么管理那些"不常做,但总会忘"的生活事项 - 少数派 人形机器人量产元年,数据才是具身智能的“生死线” - 少数派 BuhoLaunchpad 高度还原 Mac 启动台:开发历程与思考 - 少数派 五年陪伴依然不舍,DIY 换壳后让罗技 MX Master 3 继续服役 - 少数派 新玩意 240|少数派的编辑们最近买了啥? - 少数派 一日一技|为什么你应该关闭 iOS 的键盘声音 - 少数派 我做了个插件和 Skills,一键提取任何网站的设计规范 Design.md - 少数派 住在三四线城市的你,该开始录播客了 - 少数派 甘南秘境,大白高国 - 少数派 AI的审美:谁让把我变成川内倫子 - 少数派 返工怎能不烦恼,打工人片单总有一部是你的「嘴替」 - 少数派 为了让「上厕所」更健康,我做了一个小工具 - 少数派 AI + Skill,能够让生成的文章去除 AI 味吗? - 少数派 新玩意|韶音OpenDots ONE 耳夹式耳机 - 少数派 《美满》| 在每一个春天的晚上相爱(362) - 少数派 新玩意|优篮子 PS01 MagSnap 磁吸支架 - 少数派 自我整合手记 | 我开始早睡了:用稳定规则,为自由托底 - 少数派 用龙虾(OpenClaw)两个多月,我最深的12个体会 - 少数派 听歌时间到,12 张你可能错过的 2025 华语乐坛好专辑 - 少数派 承诺能追吗 - 少数派 macOS 26启动台没了? 我做了个不一样的App启动器 - Keboard - 少数派 《四海为家的人》| INTJ对话INTJ(361) - 少数派 你发过的那些黑历史,是时候一次清干净了 - 少数派 新玩意:安安静静玩,越玩越专注:计客密码机 - 少数派 iPad 用户首次体验 Android 平板:vivo Pad6 Pro - 少数派 数据逻辑强 - 少数派 极北行+ | 一路向北,探访日本至北之地 | 001 - 少数派
ChatGPT“记忆”功能原理解密 - 少数派
2024-04-30 · via 少数派

今天(2024年04月30日)早些时候,OpenAI官宣ChatGPT Plus支持了记忆功能。使用起来也非常简单,开启一个新会话后,告诉ChatGPT需要记忆哪些内容就可以。

但是这个功能具体是怎么实现的呢?真实原理,我肯定也不知道,但是通过OpenAI目前开放的API能力,结合巧妙的方案设计,理论上确实是可以实现的,下面就来讲讲我的实现方案。

与会话上下文的区别

  • 我们知道在使用ChatGPT或其他AI会话工具时,通过携带之前会话记录再次传递给模型,可以实现「短时记忆」,实现流畅的多轮会话。但是传递给模型的内容终究是有限,虽然这个限制在不断的增长(GPT3.5默认是4K,GPT4现在可以达到128K,国内的模型可以更长)。不过这些都只能算作是「短时记忆」,因为不论多长,超过这个长度,AI就会“忘记”。
  • 所以我们这里讨论的并不是「短时记忆」,而是可以永久记住的,不会丢失的,不受模型上下文长度限制的「长时记忆」。

背景知识

实现「长时记忆」只需要使用到OpenAI的Assistant API,此API相比之前的Completions API不同在于,其创建的「assistant智能助手」有永久保存的状态,只需要传递assistant id 就可以重复调用,不需要重新构建对其的提示。

根据OpenAI关于Assistant API文档,我们知道Assistant API可以调用三种工具,分别是:file_search、code_interpreter和function_call。

  • file_search:官方实现的工具,上传文档后可以让智能助手依据文档资料回复问题。
  • code_interpreter:官方实现的工具,可以让智能助手在一个虚拟环境中运行Python代码,并根据代码执行结果回复问题。
  • function_call:允许用户自定义一系列外部工具,供智能助手调用,并根据外部工具的结果回复问题。

我们的实现方案就是:整合file_search和function_call 这两个工具。接下来让我们来看看具体的实现原理:

实现原理

1、使用function_call工具定义一个「请记住」的外部工具,此工具的作用是将需要记忆的内容保存到本地的一个文档中。

    {
      "type": "function",
      "function": {
        "name": "please_remember",
        "description": "此函数工具可以将用户需要你记住的内容,写入到一个文件中。当用户需要让你记住任何事情的时候,可以调用此函数。",
        "parameters": {
          "type": "object",
          "properties": {
            "content": {
              "type": "string",
              "description": "用户想要你记住的具体内容。"
            }
          },
          "required": ["content"]
        }
      }
    }

2、按照一定规则(比如每天定时)将这个文档上传,并附加给指定的assistant智能助手,作为其回复问题的检索资料。

类人模拟

是不是很简单,其实这个过程也是类人模拟的过程。假如,别人让你记住一个内容:

  • 你可以随口答应记住了,但是随后可能会忘记(短时记忆)。
  • 也可以记录在笔记本中,然后随后有人问答这个问题的时候,翻阅一下笔记本来查询一下(长时记忆)。只不过AI在做查询的时候,是非常快的。

结语

如果你对此也感兴趣,欢迎评论交流。