关注我，了解最新的AIGC资讯

作者：祝豪 & 卡尔

动手学AI 教程知识库 👉 learnprompt.pro 你想学的都在这里🎉

视频纯享版

【【双语字幕】OpenAI春季发布会完整版】 https://www.bilibili.com/video/BV1zM4m1C7Rx/?share_source=copy_web&vd_source=acbd79b2ba6b19cb7c935a673675af92

千呼万唤下，OpenAI的 Spring Update 终于来了！！！在听了一个多小时催眠的音乐之后，发布会也终于在国内时间一点正式开始。发布会一上来就开门见山，OpenAI这次发布会只办三件事：公平！公平！还是**的公平（bushi
 

三件事

1. 桌面应用程序和Web UI的更新

在发布会中提到， 随着模型变得越来越复杂，网页版和应用程序都会使用新的UI， 新的UI将进一步提升用户的使用体验， 使得使用更加的顺畅和自然！

2. 发布新模型GPT 4o

GPT-4o（“o”代表“omni”）是迈向更自然的人机交互的一步——它接受文本、音频和图像的任意组合作为输入，并生成文本、音频和图像输出的任意组合。

这也是在发布会之前很多人的预测，OpenAI这次的发布将展示非常大的跨界能力（文字、语音、视觉）

3. 新模型免费的访问！！！

对于免费用户：

从今天开始，所用的用户都可以使用GPTs 和 GPT 商店，甚至还可以使用 Vision！所以现在我们不仅可以上传包含文本和图像的屏幕截图、照片、文档。

可以使用memory功能，现在它与我们的所有对话都有一种连续性。

可以使用“浏览”功能，在对话中搜索实时信息和高级数据分析，我们可以上传图表或任何信息，然后进行分析。并且改进了 ChatGPT 的 50 种不同语言的质量和速度。（希望ChatGPT不要再变笨！）

对于付费用户：

• 将继续拥有高达免费用户五倍的容量限制

看完发布会的第一件事：火速退订！！！

新的API发布：GPT 4o 不仅在 ChatGPT 中可用，我们还将其带到了 API。与 GPT 4 Turbo 相比，GPT4o的速度提高了 2 倍，便宜了 50%，速率限制提高了 5 倍。

新模型能力展示

下面我将结合OpenAI最新发布的文档和发布会上的演示，带大家全方位的感受最接近理想状态的AGI（通用人工智能）GPT 4o！！！

实现“语音通话”--媲美人类的语音交互

OpenAI在探索我们与AI协作的过程中，希望互动变得更加的自然和容易，他将很多我们日常互动中认为理所应当的事情真的在AI身上实现了！！！

可以互相打断，使得对话更加的容易和自然

在发布会的演示过程中，OpenAI的工作人员在ChatGPT没有说完的情况下就打断了对话，但交互依然不受任何的影响。这真的像我们与真人对话的感觉！

对话中有多种的声音和对语气的理解

ChatGPT 现在能理解语音的情绪了，在演示过程中工作人员以讲一个关于机器人的故事为例子，让ChatGPT 不断的加重情绪的语气来讲故事，使得故事提起来更加的具有感染力，甚至在最后还让GPT使用模仿一个机器人的音色来说话，真的是太震撼了！！！

不仅如此，ChatGPT还可以直接唱歌， 期待一下会不会有魔改的ChatGPT演唱作品出现！

接近人类的反应速度

它可以在短短 232 毫秒内响应音频输入，平均为 320 毫秒，这类似于人类的反应速度。相比较于GPT4o， GPT 3.5 对话平均延迟为 2.8 秒， GPT 4的对话延迟5.4秒。

这可比Siri快速而且有情感多了！

GPT 4o vs 之前的语音模式：

之前的语音模式：

由三个独立模型组成的管道，一个简单的模型将音频转录为文本，GPT-3.5 或 GPT-4 接收文本并输出文本，第三个简单模型将该文本转换回音频。

这个过程意味着智能的主要来源 GPT-4 会丢失大量信息——它无法直接观察音调、多个扬声器或背景噪音，也无法输出笑声、歌声或表达情感。

GPT4o的语音模式：

• GPT-4o在文本、视觉和音频上端到端地训练了一个新模型，这意味着所有输入和输出都由同一个神经网络处理。

“视频通话”甚至是“屏幕共享”--强大实时视觉能力：

语音助手不仅能“听”，还能“看”，当然能“思考”和“回复，

这不是图片，而是摄像头实时录的。现在chatGPT可以实时使用摄像头来帮助解题了，这个过程是不是更像在进行视频通话呢！[图片]

不仅有“视频通话”， 连“屏幕共享”也给你准备好了！！！

ChatGPT Desktop App

ChatGPT Desktop App，可以“看到”屏幕（用户可以共享和发送内容给ChatGPT），可以辅助代码、分析图表。

在演示过程中，工作人员使用ChatGPT 完美的模拟了共享屏幕进行代码分析和数据分析的过程，这下程序可能真的要下岗了（狗头）！

实时识别面部情绪

视觉方面，ChatGPT的表情识别也给加上了，他可以实时的识别你的情绪，未来我们与AI的交流可能真会更像与一个能识别情绪的真人交流了！

实时翻译：

在演示过程中，演示人员假装旁边有一个只会说意大利语的朋友，让ChatGPT进行一个英语和意大利语的实时翻译。ChatGPT便表现得像一个双语翻译一样！

相信在未来有了AI的加持，语言可能真的不再会是人们沟通的障碍，全世界的人都可以使用AI面对面的无障碍的交流！

模型能力测试：

之前爆出的gpt2-chatbox是GPT4o的测试版，下面是他的性能表现：

编码方面能力更是尤为的突出：

在传统基准测试中，GPT-4o 在文本、推理和编码智能方面实现了 GPT-4 Turbo 级别的性能，同时在多语言、音频和视觉能力方面创下了新的高水准。

文本能力评估

GPT-4o 在 0 shot COT MMLU（常识问题）上创下了 88.7% 的新高分。    在5 shot no-COT MMLU 上，GPT-4o 创下了 87.2% 的新高。（注：Llama3 400b仍在训练中）

音频ASR（自动语音识别）表现：

GPT-4o 在所有语言中显著提高了 Whisper-v3 的语音识别性能，尤其是对于资源匮乏的语言。

音频翻译能力：

GPT-4o 在语音翻译方面创下了新的领先地位，并在 MLS 基准测试中优于 Whisper-v3。

M3Exam Zero-Shot Results（既是多语言评估，也是视觉评估，由来自其他国家标准化考试的多项选择题组成，有时包括数字和图表。）

GPT-4o 在所有语言的基准测试中都比 GPT-4 强。

小彩蛋

Greg 录制了新的ChatGPT实时语音和多模态的演示。感兴趣的朋友可以看一下！

【【OpenAI春季发布会彩蛋】Greg录制了新的GPT实时语音和多模态的演示】 https://www.bilibili.com/video/BV18Z42147qQ/?share_source=copy_web&vd_source=acbd79b2ba6b19cb7c935a673675af92

最后ChatGPT还即兴创作了一首短歌,歌词涵盖了房间的装饰风格、人物的穿着特点、期间发生的趣味插曲等。

【GPT-4 turbo VS GPT-4o】 https://www.bilibili.com/video/BV1E1421B7ak/?share_source=copy_web&vd_source=acbd79b2ba6b19cb7c935a673675af92

还有GPT4 o和GPT 4 Turbo的对比真的这个速度和准确度太离谱了。

写在最后
 

就像Ilya说过的那样：

OpenAI将AGI定义为一种足够智能的计算机系统，可以执行大多数智能任务，就像人类同事一样！

这次更新又将迎来一次大洗牌！我们将持续追踪最新的技术更新～

下篇我们带你深挖发布后之后的小彩蛋，比发布会正片还精彩！！！

结尾引用一句直播中我很喜欢的话🎉：

The special thing about GPT-4o is that it brings GPT4 level intelligence to everyone ｜ GPT-4o的特别之处在于，它为每个人带来了GPT4级别的智能

谢谢你看到了这里👏 想要第一时间接收到我们的推送，可以点个星标 ⭐ 如果喜欢这篇文章，不妨随手来个 评论、分享、收藏一键三连👍 你的支持将是我们更新的最大动力！