惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

腾讯CDC
N
Netflix TechBlog - Medium
aimingoo的专栏
aimingoo的专栏
P
Proofpoint News Feed
F
Fortinet All Blogs
大猫的无限游戏
大猫的无限游戏
I
InfoQ
V
V2EX
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
有赞技术团队
有赞技术团队
G
Google Developers Blog
L
LangChain Blog
博客园_首页
M
MIT News - Artificial intelligence
H
Hackread – Cybersecurity News, Data Breaches, AI and More
月光博客
月光博客
IT之家
IT之家
量子位
宝玉的分享
宝玉的分享
S
SegmentFault 最新的问题
Stack Overflow Blog
Stack Overflow Blog
V
Visual Studio Blog
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
雷峰网
雷峰网

人人都是产品经理

为什么你的产品找不到差异化?90%的失败都卡在第一步上(下) – 人人都是产品经理, 3年从30万到1300万用户、获2200万美元融资,这个AI教育产品用“抽卡”破解了获客难题 – 人人都是产品经理, 园区招商系统怎么做才能真正帮到去化?我加了这一个功能,推广链接转发400次阅读过万 – 人人都是产品经理, AI大事件:OpenAI发完网络安全模型又搞药物研发,小鹏汽车要抓”DeepSeek时刻” – 人人都是产品经理, 电商不是卖货,是一场更残酷的产品经理实战 – 人人都是产品经理, 没想到,活动营销又回来了! – 人人都是产品经理, 为何All-in海外KOC:一场关于AI时代窗口期的豪赌 – 人人都是产品经理, 重新理解企业的内部协作 – 人人都是产品经理, 苹果的 AI 战略到底是什么? – 人人都是产品经理, 医疗智能体·第2讲——合规护城河:等保、PIPL与HIPAA的架构实战 – 人人都是产品经理, 向量知识库五步法:从“答非所问”到“精准回复” – 人人都是产品经理, 鸿蒙PC三方库构建总指挥HPKBUILD(sha)库为例 – 人人都是产品经理, 何时该用LLM?AI产品经理的LLM设计指南 – 人人都是产品经理, 医疗信息领域的需求方、决策方、准入方以及关注点(二) – 人人都是产品经理, 即梦涨价:一场被误读的「傲慢」 – 人人都是产品经理, 面试AI PM必答题:Hermes和OpenClaw的区别,如何讲清楚业务价值 – 人人都是产品经理, AI的下一张船票:世界模型——AI产品经理必须理解的技术拐点 – 人人都是产品经理, 小红书做GEO,怎么让AI信你?记住这 3 个重要信息 – 人人都是产品经理, 5 家印度 AI 初创公司,看看印度 AI 再做什么 – 人人都是产品经理, AI项目跨团队协作:产品技术业务如何不打架 – 人人都是产品经理, Agentic Workflow(智能体工作流):让AI从”答案生成器”变成”数字员工” – 人人都是产品经理, lycium_plusplus 项目全景解读:OpenHarmony 三方库构建的“大管家” – 人人都是产品经理, 从爆单救火到前置履约:两套预采策略,把生鲜大促履约效率拉满 – 人人都是产品经理, 什么时候该补货?我用一轮数据做了一个决定 – 人人都是产品经理, 从“机械兜底”到“动态分流”:AI客服重复进线治理的4大底层逻辑 – 人人都是产品经理, 抖音拼效率,红书拼洞察 – 人人都是产品经理, 全民狂欢与退潮——为什么龙虾这波热潮冷却得如此之快? – 人人都是产品经理, Stripe押注!MPP重塑全球支付 – 人人都是产品经理, 小红书GEO:AI引用你的内容,不是因为你对,而是因为你看起来可信 – 人人都是产品经理, 前百度副总裁押注办公Agent,日韩付费爆发,Manus迎来强劲对手 – 人人都是产品经理,
Deepseek V3-0324版本的评测来啦
帅森森 · 2025-03-26 · via 人人都是产品经理

前几天DeepSeek更新了V3版本,虽然是个小更新,但性能表现依然超出了许多人的预期。这篇文章,我们来看看作者的分析。

开始

没有一点点防备,也没有一丝的顾虑,他就这样悄悄的上线啦。有多低调,看下面图片,readme竟然都是空的。好歹宣传一下呀,哈哈

有哪些更新

官方给出答复是小的版本更新,没有基准测评和技术报告。社区反馈,代码能力有明显的提升,还具备一定的推理能力。输出速度更快。能够迅速处理数学和编程任务。它也非常稳定,无论是编程还是解决问题,每次都能给出良好的结果。对比表现可以看下面的编程实现对比,DeepSeek V3-0324 的表现优于 o3-mini 和 Deepseek R1视频展示看公众号内容(帅森森聊AI和职场)

第三方评测

结论

Deepseek V3-0324可能是目前最好的非推理模型,而且还是免费的。综合能力与sonnet 3.5不分伯仲。

评测逻辑

每个柱体有3个颜色,代表是三种评测逻辑,具体含义如下:这张图片的右上角有三个图例,分别代表以下含义:

1. Pass@5

含义:Pass@5 表示模型在测试中前五个结果中有多少是正确的。

用途:这一指标通常用于评估模型的准确率,特别是在生成任务或多选任务中。它反映了模型在有限尝试次数内提供正确答案的能力。

如果 Pass@5 为 80%,意味着模型在前五个结果中,有 80% 的概率至少包含一个正确答案。

2. Average Score

含义:Average Score 表示模型在所有测试中的平均得分。

用途:这一指标反映了模型的整体性能,综合了模型在不同任务或测试中的表现。

如果 Average Score 为 60%,意味着模型在所有测试中的平均得分为 60%。

3. 5/5 Consistency

含义:5/5 Consistency 是一个衡量模型在多次面对相同或非常相似的输入时,能否给出一致性回答的指标。更具体地说,它通常表示在五次独立的测试中,模型都给出了相同或高度相似的答案。

用途:这一指标反映了模型的一致性和稳定性,评估模型是否能够在所有测试中保持高水平的表现。

如果 5/5 Consistency 为 40%,意味着模型在所有测试中,有 40% 的概率能够做到输出一致。

指标解读

通用语言模型中,Deepseek V3-0324版本在top 5测评的准确率居首。平均得分与sonnet 3.5不相上下。5对5一致性评测中,弱于sonnet 3.5。相比之前的V3版本,三个指标都有提升。

哪里可以使用

官方网页版: 在deepseek.com上免费测试更新后的V3版本,记得关闭“深度思考”按钮。

官方 App: 可在iOS和Android上下载,已更新至3月24日发布的版本。

官方 API: 在api-docs.deepseek.com上使用model=’deepseek-chat’。

HuggingFace: 从HuggingFace下载“DeepSeek V3 0324”权重模型。

本文由 @帅森森 原创发布于人人都是产品经理。未经作者许可,禁止转载

题图来自Unsplash,基于CC0协议

该文观点仅代表作者本人,人人都是产品经理平台仅提供信息存储空间服务