GPT-4o和谷歌Gemini不断宣传现阶段AI能力大幅度提高，那么这两家，谁的大模型能力更强呢？这篇文章里，作者就展开了多维度的测试和体验，想了解的同学，可以来看一下。
在中美AI大模型的竞争上，正衍生出两种不同的路径。
继北京时间5月14日凌晨OpenAI春季发布会上，OpenAI推出兼具听、看、说能力的GPT-4o后。北京时间5月15日凌晨谷歌I/O开发者大会上，谷歌CEO桑达尔·皮查伊发布数十款Google和AI 结合产品，堪称“全家桶”级别，全面围剿Open AI。
其中包括支持200万token长文本的Gemini 1.5 Pro和 Gemini 1.5 Flash，对标Sora的Veo，开源模型Gemma 2，支持生成式搜索的AI Overviews、第六代TPU等。
整场开发者大会最大的看点为，谷歌推出的AI语音助手——Astra，它能够通过摄像头识别物体、代码和各种东西。现场演示视频中，用户要求Astra在看到发出声音的东西时告诉她，助手回答说，它可以看到一个发出声音的扬声器。对于一闪而过的苹果，Astra居然也能够准确回答出在眼镜旁边。
除Astra外，谷歌还推出基于Gemini的多款通用AI Agent子系列产品。如音频的NotebookLM、音乐的Music AI Sandbox、视频的Veo、图像的Imagen 3，直接对标OpenAI发布的GPT-4o、Dall-E和Sora。
和谷歌、OpenAI围绕技术之争不同的是，国内大模型或将迎来价格战时代。在5月15日字节举办2024春季火山引擎Force原动力大会上，字节推出3款AI产品，包括AI生图产品 PicPic、AI 教育产品河马爱学、AI 剧情互动产品猫箱。
除这三款产品外，字节面向TOC端的产品还包括定位AI教育的Gauth，定位AI对话的豆包和CiCi；定位AI工具的小悟空ChitChop；定位Al Bot创建平台的Coze和扣子；定位AI互动剧情的BagelBel等。
但字节率先启动行业价格战，火山引擎总裁谭待表示，豆包大模型将开启付费商业化，且定价远低于行业价格。以豆包通用模pro-32k版为例，模型推理输入价格仅为0.0008元/千Tokens。市面上同规格模型的定价一般为0.12元/千Tokens，是豆包模型价格的150倍。
字节本轮降价后，后续国内其他大模型厂商或将跟随。但降价能否帮助国内大模型厂商带来更多新增用户和付费用户，仍值得商榷。
GPT-4o和谷歌Gemini不断宣传现阶段AI能力大幅度提高，两家谁的大模型能力更强呢？基于此，我们也对GPT-4o和Gemini展开了多维度的测试。
因GPT-4o和Gemini均属于世界TOP级的大模型，在测试两家大模型的文本输出能力上，我们直接将难度升级。
为什么很多国家仍以油车为主？你觉得影响新能源汽车海外渗透率提高的因素有哪些？我们将这一问题同时给到GPT-4o和Gemini，二者均指出充电基础设施建设、购置成本、技术进步、政策支持、消费者文化习惯是很多国家仍以燃油车为主的原因。
但相较于GPT-4o，Gemini不仅识别到我们提问的是两个问题，且均给出答案，也回答出GPT-4o没有指出的车企方面、宣传教育方面的问题。也就是说，Gemini的回答可能更为完整。
图源：基于Gemini和GPT-4o生成内容整理 DoNews制图
我们继续追问要求两个大模型同时给我们撰写一份10000字全球新能源汽车报告，并要求报告中需要包括行业价格战、电池技术、未来发展方向、产业趋势。
但此时两个大模型的表现已经出现明显差异，GPT-4o给我们生成七大章节的框架，每个框架下也要对应的小框架。但就是不输出我们要求的内容，这或许和当前GPT-4o在长文本能力上的欠佳有关。
图源：GPT-4o官网
Gemini虽给我们具体的文本内容，但全文1679字和我们要求的万字报告差距较大。内容被大幅度压缩后，整个内容质量也相对欠佳。
如在提到新能源汽车产业趋势发展上，Gemini给出的内容为产业链整合、跨界合作、国际化竞争，每条内容仅有一句话进行概括。换言之，在真正涉及行业专业性问题上，Gemini和GPT-4o均存在不同程度的短板。
图源：Gemini官网
当我们将难度继续提高后，询问为什么今年以来全球大宗商品价格持续上涨？这种涨幅带来的影响有哪些？未来价格是否会回落？在首问中GPT-4o和Gemini给出的答案有所相同，均指出和供应链、地缘冲突、全球经济等因素有关。且在未来价格走势预测中，两者给到的答案也基本相同。
但在涨幅所带来的影响上，Gemini给出的答案可能更为完整。尤其是在金融、企业利润、社会等方面的影响，GPT-4o并未指出。
图源：基于Gemini和GPT-4o生成内容整理 DoNews制图
在文本内容快速分析上，我们让两款大模型同时给我们分析安克创新2024年Q1财报中存在的风险点，GPT-4o生成的风险点包括现金流减少、高额的销售费用和管理费用、财务费用大幅度波动、公允价值带来损失这四点。
图源：GPT-4o官网
但Gemini给出的内容却包括营收增速放缓、经营活动大幅度下降、销售费用和管理费用大幅度增加、存货跌价损失增加、汇兑大幅度增加、对政府补助依赖这六点。这也不能看出，Gemini的回答更为完整。
图源：Gemini官网
而当我们要求两款大模型同时以如何帮助失恋的人走出阴影，写一篇2000字的文章。要求文章有观点，并且文章内需要配上对应的图片和音频，Gemini的表现可以说完全吊打GPT-4o。
在文章开头，Gemini直接放入一曲舒缓的音乐，且这个音乐也支持播放。每个细分章节下，Gemini直接从网站上检索到和内容相关的图片，实现OpenAI提到的文本、音频、图像的任意组合。
图源：Gemini官网
对比之下，GPT-4o给到的内容就有些逊色。除文章开始处能看到图片外，其余正文处均未看到任何和内容相关的图片，且全文中也看不到音频。
图源：GPT-4o官网
整体测试下来后我们发现，谷歌在生成式AI领域尤其在文本能力输出上已经从“落后”到追赶，甚至内容质量上、内容组合等能力上已经超过GPT-4o。
在测试过程中，我们发现Gemini不仅支持文本内容提问，且也支持语音提问。但因国内网络受限，暂无法对语音功能进行测试，也无法判断这是否为谷歌发布会上提到的Astra。相较于谷歌的快速，GPT-4o目前仍是支持单一的文本内容提问。
图源：Gemini官网
图源：GPT-4o官网
深耕搜索行业多年的谷歌，让目前的Gemini也能实现AI检索。且这种检测不仅包括图文网页也包括视频。当我们要求Gemini以汽车安全为核心，生产一个20-30S的视频时，Gemini先是给出了我们具体的视频脚本。
当我们继续追问你能我们直接生成视频吗？Gemini的回答有些超过我们的预期，直接给到我们几个YouTube的相关链接。且这些链接居然也无须跳转YouTube上观看，在Gemini大模型内也能实现自动播放。
图源：Gemini官网
图源：Gemini官网
对比之下，GPT-4o虽也能根据我们的要求输出对应的视频脚本，但却并不具备Gemini的这些功能。
图源：GPT-4o官网
值得注意的是，Gemini和GPT-4o目前均不支持音频、视频内容识别，且Gemini目前也不支持图片生成功能。支持图片生成功能的GPT-4o，目前也存在部分问题。
如当我们要求GPT-4o输出一张同时包含中国传统神话故事中四大神兽的照片时，图片内容虽出现四大神兽，但除青龙稍微符合神话故事原型外，其他三大神兽均和神话故事中的原型相差极大，这可能也和OpenAI团队对中国传统神话故事学习能力欠佳的有关。
图源：GPT-4o官网
但在图片的识别能力上，Gemini正以图片识别为基础场景，衍生出更多场景服务。我们选取网络平台常见的面条图片，Gemini在识别出这张图片为鸡蛋面后，又给到我们鸡蛋面、中国面条等关键词方便我们二次检索。更重要的是，Gemini还直接推荐各种鸡蛋面的做法。
图源：Gemini官网
对比之下，GPT-4o在识别出图片内容为拌面下，仅是简单地对拌面进行介绍，并未展开过多叙述。
图源：GPT-4o官网
当我们将识图能力难度升级后，在网络平台上选取常见的竹林照片，并询问Gemini图片的拍摄地点时，Gemini给出包括日本京都岚山竹林、日本京都嵯峨野竹林、日本冲绳八重山竹林、中国四川毛竹林、中国安吉竹林、南美或东南亚等地点，并指出竹林的重要性。
图源：Gemini官网
GPT-4o仅指出，这样的景色在中国、日本等东亚国家极其常见。如日本的京都岚山竹林和中国的安吉竹海都是著名的竹林景区。不仅地点相对Gemini较少，还反问到你知道具体的拍摄地点吗？
图源：GPT-4o官网
在测试逻辑推理上，我们选取2023年全国卷数学高考真题中难度较大的压轴题时，GPT-4o给出的答案可以用失望来形容。
图源：2023年全国卷数学真题
如在全国高考卷第20题的两问中，GPT-4o仅是简单地给出不完整的解题步骤，没有输出任何一个准确答案。
图源：GPT-4o官网
第21题的三问中，GPT-4o不仅将三小问变成两小问，且前两问求概率的问题上，本应为具体数字的答案，在GPT-4o这里却是带有变量N的不确定答案。
但Gemini的表现同样欠佳，如在第20题首问的求通项公式中，Gemini虽给出两种解法，但两种解法给出的答案完全不同。换言之，Gemini有可能仅是简单地抓取国内网站的相关链接，并未对信息内容和准确度进行二次审核。
图源：Gemini官网
整体来看，目前Gemini在很多方面的综合能力，以及产品上线速度方面比GPT-4o更加能打。且在价格方面，谷歌的Gemini 1.5 Flash 的价格定为每100万个token 35 美分，比GPT-4o的每100万个token 5 美元的价格低很多。产品组合性能表现不输GPT-4o叠加低价，谷歌或许正在放出王炸。
但按照OpenAl在大模型上积累的强大技术能力来看，谷歌在某些方面稍微领先的优势能保持多久，仍有待商榷。谷歌和OpenAI在AI大模型技术上的持续博弈下，可能会将美国AI大模型的技术能力推向新高度。
对于字节率先发起行业价格战也不能理解，目前国内大模型在TOC端的商业化落地，正朝着当年的移动互联网方向发展。
依靠价格战，移动互联网厂商（大模型厂商）不断提高新增用户和日活用户的同时，后续逐渐衍生出如广告、电商、与核心业务场景高度契合的其他场景收入。这在保证平台实现单个用户价值最大化的同时，也能帮助移动互联网厂商（大模型厂商）提高现金流，持续减少企业亏损。
后续移动互联网厂商（大模型厂商）继续发动行业价格战，资金能力不足的中小厂商被洗牌出清，行业份额继续朝着头部厂商集中。头部厂商获得高话语下，对供需两侧衍生更多商业化，最终让行业形成强者愈强的马太效应。
不仅仅是TOC端，大模型价格战未来也将同样出现在TOB端。对标SaaS产业来看，价格仍是国内SaaS企业的核心优势之一，尤其在SaaS产业产品和场景同质化严重、国内企业主付费意识不强、中小客群存在流失率高、合规性差、决策集中一人等现状下，头部SaaS厂商想要从价格战的泥潭中走出，面临着不小的阻力。
但需指出的是，互联网时代面向TOC端的价格战，更多是建立在细分场景下的服务上。这种服务下，消费者真正关注的也就是服务好坏。刚需场景下，这种服务好坏更是被淡化。
但AI大模型时代，类似于美图这种图片场景类的服务，消费者的要求可能不高。但其他场景下，本质是用户愿意为大模型的高质量内容进行付费。
换言之，消费者真正看重的仍是大模型的处理能力以及能否高效完成任务，而非价格。若在完成任务能力上表现欠佳，价格再低实则也是无用。
尤其是对于金融类、研投类对大模型输出的内容质量要求高、数据质量生成快且专业的行业来说，更是如此。更别提企业端定制大模型，更不允许大模型的生产内容和数据存在丝毫偏差了。
或许国内大模型厂商是想借助价格战，尽快让大模型帮助企业带动营收增长，进而对冲大模型前期高昂的研发成本投入，以及相关硬件方面的投入。
但随着国内大模型厂商在价格上持续内卷，或将影响到不少技术能力优越但资金实力不足的初创企业，这又是否会让中美在大模型方面的技术能力差距被拉开得更高呢？
撰文：曹双涛；编辑：杨博丞；本文由人人都是产品经理作者【DoNews】，微信公众号：【DoNews】，原创/授权 发布于人人都是产品经理，未经许可，禁止转载。
题图来自Unsplash，基于 CC0 协议。
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。