惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

美团技术团队
TaoSecurity Blog
TaoSecurity Blog
Recorded Future
Recorded Future
WordPress大学
WordPress大学
Stack Overflow Blog
Stack Overflow Blog
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
A
Arctic Wolf
Last Week in AI
Last Week in AI
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
C
CERT Recently Published Vulnerability Notes
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
Simon Willison's Weblog
Simon Willison's Weblog
博客园 - 聂微东
有赞技术团队
有赞技术团队
GbyAI
GbyAI
博客园 - Franky
D
Docker
H
Hackread – Cybersecurity News, Data Breaches, AI and More
P
Privacy & Cybersecurity Law Blog
AWS News Blog
AWS News Blog
T
The Blog of Author Tim Ferriss
G
GRAHAM CLULEY
宝玉的分享
宝玉的分享
Vercel News
Vercel News
T
Tailwind CSS Blog
P
Palo Alto Networks Blog
Latest news
Latest news
阮一峰的网络日志
阮一峰的网络日志
S
Securelist
CTFtime.org: upcoming CTF events
CTFtime.org: upcoming CTF events
C
Check Point Blog
Google DeepMind News
Google DeepMind News
The Cloudflare Blog
A
About on SuperTechFans
T
Threat Research - Cisco Blogs
Jina AI
Jina AI
The Hacker News
The Hacker News
cs.CL updates on arXiv.org
cs.CL updates on arXiv.org
S
Security Affairs
V
Visual Studio Blog
Security Archives - TechRepublic
Security Archives - TechRepublic
J
Java Code Geeks
Cyberwarzone
Cyberwarzone
K
Kaspersky official blog
IT之家
IT之家
Project Zero
Project Zero
博客园 - 【当耐特】
Scott Helme
Scott Helme
罗磊的独立博客
人人都是产品经理
人人都是产品经理

人人都是产品经理

为什么你的产品找不到差异化?90%的失败都卡在第一步上(下) – 人人都是产品经理, 3年从30万到1300万用户、获2200万美元融资,这个AI教育产品用“抽卡”破解了获客难题 – 人人都是产品经理, 园区招商系统怎么做才能真正帮到去化?我加了这一个功能,推广链接转发400次阅读过万 – 人人都是产品经理, AI大事件:OpenAI发完网络安全模型又搞药物研发,小鹏汽车要抓”DeepSeek时刻” – 人人都是产品经理, 电商不是卖货,是一场更残酷的产品经理实战 – 人人都是产品经理, 没想到,活动营销又回来了! – 人人都是产品经理, 为何All-in海外KOC:一场关于AI时代窗口期的豪赌 – 人人都是产品经理, 重新理解企业的内部协作 – 人人都是产品经理, 苹果的 AI 战略到底是什么? – 人人都是产品经理, 医疗智能体·第2讲——合规护城河:等保、PIPL与HIPAA的架构实战 – 人人都是产品经理, 向量知识库五步法:从“答非所问”到“精准回复” – 人人都是产品经理, 鸿蒙PC三方库构建总指挥HPKBUILD(sha)库为例 – 人人都是产品经理, 何时该用LLM?AI产品经理的LLM设计指南 – 人人都是产品经理, 医疗信息领域的需求方、决策方、准入方以及关注点(二) – 人人都是产品经理, 即梦涨价:一场被误读的「傲慢」 – 人人都是产品经理, 面试AI PM必答题:Hermes和OpenClaw的区别,如何讲清楚业务价值 – 人人都是产品经理, AI的下一张船票:世界模型——AI产品经理必须理解的技术拐点 – 人人都是产品经理, 小红书做GEO,怎么让AI信你?记住这 3 个重要信息 – 人人都是产品经理, 5 家印度 AI 初创公司,看看印度 AI 再做什么 – 人人都是产品经理, AI项目跨团队协作:产品技术业务如何不打架 – 人人都是产品经理, Agentic Workflow(智能体工作流):让AI从”答案生成器”变成”数字员工” – 人人都是产品经理, lycium_plusplus 项目全景解读:OpenHarmony 三方库构建的“大管家” – 人人都是产品经理, 从爆单救火到前置履约:两套预采策略,把生鲜大促履约效率拉满 – 人人都是产品经理, 什么时候该补货?我用一轮数据做了一个决定 – 人人都是产品经理, 从“机械兜底”到“动态分流”:AI客服重复进线治理的4大底层逻辑 – 人人都是产品经理, 抖音拼效率,红书拼洞察 – 人人都是产品经理, 全民狂欢与退潮——为什么龙虾这波热潮冷却得如此之快? – 人人都是产品经理, Stripe押注!MPP重塑全球支付 – 人人都是产品经理, 小红书GEO:AI引用你的内容,不是因为你对,而是因为你看起来可信 – 人人都是产品经理, 前百度副总裁押注办公Agent,日韩付费爆发,Manus迎来强劲对手 – 人人都是产品经理, 企事业单位数字化的业务供需本质 – 人人都是产品经理, 医疗智能体·第1讲——医疗信息化重构:从“辅助软件”到“自主智能体”的范式转移 – 人人都是产品经理, 粉丝量就是空气!!! – 人人都是产品经理, 用户说“薯片碎了”,机器回“要买吗?”:意图识别的翻车与破局 – 人人都是产品经理, RAG召回准确率从75到90 我做对了这三件事 – 人人都是产品经理, AI大事件:Anthropic改收费、OpenAI发安全版、手术机器人纳入医保、阿里发布”秒悟” – 人人都是产品经理, Chrome 推出 Skills 新功能,Agent 重塑上网方式 – 人人都是产品经理, GitHub前创始人拿了a16z的1700万美元,做Agent时代的Git – 人人都是产品经理 拷贝或克隆其他 Flutter OH 项目到本地后无法运行 – 人人都是产品经理, 优惠券设计:优惠券创建 – 人人都是产品经理, 不用死磕文档!AI 助手 1 小时搞定飞书 CLI 安装 + 配置 + 知识库 – 人人都是产品经理, 用小龙虾做竞品分析报告:从2天到20分钟,我是怎么做到的 – 人人都是产品经理 用小龙虾做市场分析报告:搞懂这3个公式,市场规模不再靠猜 – 人人都是产品经理, 你早就在做 Harness 工程,只是不知道它叫这个名字 – 人人都是产品经理, Think Long就够?你可能想多了! – 人人都是产品经理, 货代SRM实战:供应商准入怎么做,才能让资源池不是通讯录而是可交付网络? – 人人都是产品经理, 如何做好用户调研?详解基本技巧 – 人人都是产品经理, 木鸟、途家、美团对打,平台春天行动开“卷” – 人人都是产品经理, 入职才发现公司不靠谱?小红书从业者求职避坑指南 – 人人都是产品经理, 美国 AI 三巨头联手封堵,中国 AI 突围之路在何方 – 人人都是产品经理, 小红书,放在需求对面的镜子 – 人人都是产品经理, AI 会带来大规模失业吗? – 人人都是产品经理, 从出单到补货前,我第一次犹豫:该不该放大? – 人人都是产品经理, Flutter 三方库鸿蒙化适配:5 种高效检查方式,快速判断是否需要适配 – 人人都是产品经理, 从做产品进阶拿结果:医美机构产品经理转岗科室运营经理 – 人人都是产品经理, 阿里HappyHorse,一场关于“Token经济”的阳谋 – 人人都是产品经理, To B AI:客户留存落地的观察与思考 – 人人都是产品经理, AI产品的“生命线”——数据采集、标注、清洗的产品化设计 – 人人都是产品经理, 谈谈AI Agent(二):当“孩子”能自己“体验世界”时,你该学什么? – 人人都是产品经理, UI/UX设计师的3层能力进阶,前两层让你活下来,第三层…才是真正的分水岭 – 人人都是产品经理, 2分钟 → 30秒,效率提升75%:B端产品经理如何用「规则枷锁」驯服AI幻觉? – 人人都是产品经理, 还没来得及学OpenClaw,来了个更猛的:Hermes Agent – 人人都是产品经理, AI日报:宇树机器人跑出10m/s刷新世界纪录 – 人人都是产品经理, 一文说透基金互金如何用情绪价值引导用户决策做转化 – 人人都是产品经理, 当浏览器开始替你”看”网页:AI 浏览器正在亲手拆掉它脚下的那张网 – 人人都是产品经理, 0代码,一天时间我Vibe Coding了个网站 – 人人都是产品经理, Hermes 和 OpenClaw 之争,Agent 的能力应该“装上去”还是“长出来”? – 人人都是产品经理 视频生成的“桌子”,字节Seedance 2掀完,阿里快乐马掀 – 人人都是产品经理, 从听不懂到完全信任:我的 Codex 深度产品体验 – 人人都是产品经理, 当虚拟偶像有了北京户口,与真人偶像还有什么区别? – 人人都是产品经理, 会说,远远比会做更重要 —— 对 SBTI 爆火现象的五层观察 – 人人都是产品经理, AI产品经理必看:当“搭环境”比“选模型”更重要,你的认知还在2024年吗? – 人人都是产品经理, 2026年AI产品商业化核心逻辑:从功能demo到规模化营收的3个必破卡点 – 人人都是产品经理, 京东围绕供应链,卷起裤腿下场的那些事儿 – 人人都是产品经理, SBTI一夜刷屏:它赢在了“太会说人话” – 人人都是产品经理, 折扣零售的真相:不是便宜,而是价值感! – 人人都是产品经理, 和甲方吵了一架,最后加钱做了——我学到的ToB产品经理生存法则 – 人人都是产品经理, 和几位小红书操盘手聊了8小时,干货全在这 – 人人都是产品经理, 智谱GLM-5.1登场,开源模型首超Opus4.6!!! – 人人都是产品经理 Anthropic收入凭什么反超OpenAI,终于有人把这事说清楚了 – 人人都是产品经理, 史上最有故事感的技术报告——Claude最强模型Mythos 7个极其精彩的细节 – 人人都是产品经理, 模型不是壁垒,Harness 也不是 – 人人都是产品经理, 抖音本地生活业务思考21 – 人人都是产品经理, Superpowers:145k Star的AI编码框架,到底是什么来头? Superpowers:145k Star的AI编码框架,到底是什么来头? – 人人都是产品经理, OpenAI 的路走错了,Anthropic Harness 解法启示:模型需要实践专科生 – 人人都是产品经理, 画原型图的前一步:设计站点地图 – 人人都是产品经理, 给 DeepSeek 的最后一封催更信 – 人人都是产品经理, 手把手教你用 Claude Code 搭建 AI 营销团队:5 个 Agent、12 项技能,独立完成研究、写作、设计全流程 – 人人都是产品经理, 你以为大模型在学语言?不,它在重新发明语言学 – 人人都是产品经理 所谓Skill,不过是AI时代的工业垃圾 – 人人都是产品经理, 聊一聊内容传播的几个方法 – 人人都是产品经理, 当平台开始吃掉生态:从 OpenClaw 被封杀,读懂 Anthropic 的这盘棋 – 人人都是产品经理, 你装了 10 个 AI 插件,Obsidian 还是一个文件夹 – 人人都是产品经理 关于AI智能体架构演进的系统性思考:从单体试水到多体协同的重构 – 人人都是产品经理, 当“人”变成Skill,我们又该何去何从? – 人人都是产品经理 Mythos 事件:前沿 AI 治理的意外实验 – 人人都是产品经理, 货代CRM:信用与风险管理怎么做,才能把坏账风险拦在放货之前? – 人人都是产品经理, 从HR收集自拍照到员工自助录入——我见证了园区人脸识别从”不可用”到”真好用”的全过程 – 人人都是产品经理 千问闯关AI混沌期:阿里画靶,吴嘉张弓,马云射箭? – 人人都是产品经理,
假如ChatGPT变得邪恶
阿法兔研究笔记 · 2023-02-10 · via 人人都是产品经理

ChatGPT在推出之后已经成为了互联网圈的密切关注对象,许多人开始将ChatGPT应用于生活场景中,也有些人始终对ChatGPT的出现保持警惕。那么从这份“警惕”出发来看,ChatGPT是否有可能为网络安全等领域提供新的思路?一起来看看作者的分析。

提前预判一切可能性,是为了让它变得更好,人工智能的最高成果是自由和谎言。

——《机械姬》

一、为什么StackOverflow禁止使用ChatGPT

一些思路&机会:

  • 用人工智能白帽子和人工智能黑帽子对抗?
  • 防范AI下毒,也许是一个新的小蓝海(对抗内容识别)

自去年底首次推出以来,爆火的ChatGPT已成为互联网的新宠,迅速积累了惊人数量的用户,用户们通过这个基于网络的聊天机器人,无论是让它写一个演讲稿、编写歌词,还是撰写学术论文和编写计算机代码,ChatGPT看起来似乎是万能的。ChatGPT拥有和人类一样的强大能力,在互联网上掀起了一场风暴,但是,它也让很多行业开始警惕。

2014年上映的电影《机械姬》,讲了这样一个故事,亿万富翁内森用人类所有智慧和网上的所有数据,造出了机器人Ava,并且派程序员迦勒去对Ava进行图灵测试,而这个机器人有着极强的模仿能力和学习能力,她甚至可以模仿人类的情感,而结果是——Ava杀死了制造他的人。

难道人工智能的最高成果,真的是自由和谎言?

去年年底,社区负责人发现,Stack Overflow发现了由这个人工智能模型生成的的大量回复,该工具使用复杂的人工智能模型,对人类的询问给出令人信服但往往不正确的答案。

假如ChatGPT变得邪恶

首先,StackOverflow的官方公告是这么说的:

“StackOverflow是建立在信任之上的社区,这里的信任是指,整个技术社区坚信,用户提交的答案,是他们内心所清晰了解的、准确的认知。并且,用户和同伴们,拥有足够的知识和技能,来确认自己发布的信息,并且对这些信息负责。

StackOverflow整个系统,通过依靠平台提供的工具,来对其他用户的贡献来进行验证和确认,包括负责任地对答案点赞(点踩一脚)。但是,目前StackOverflow认为,由GPT产生的贡献,很多时候不符合社区的标准。

因此,无法给整个社区一个值得信赖的环境。当所有用户都只是复制和粘贴信息到答案中,而不去验证GPT提供的答案是否正确,也不去确保答案中引用原文的来源,也没有验证GPT提供的答案是否清楚和简洁地回答了所问的问题,社区的信任就会被打破。

那么,如果从内容的客观性来看,如果答案存在错误,那么整个答案客观上是错误的。为了使StackOverflow作为正确和经过验证的信息的可靠来源,那么,有错误的答案,就必须被编辑或替换。

但是,由于目前的GPT强大到,足以让网站的用户相信答案是没问题的,就可能造成严重的问题,因此,错误信息一旦出现在社区,GPT有可能破坏所有人对社区的信任。

我们再看一下Stackoverflow用户的评论:

高赞用户1:干得好!很高兴社区做出了正确的决定,希望可以永久禁止任何AI生成的答案。人工智能将永远无法发布好的编程答案,100年都不行。

高赞用户2:无论人工智能生成的答案是否正确,StackOverflow是面向专业和发烧友程序员的问题和答案网站。在我看来,那些只是将问答复制并粘贴到/从人工智能工具中的人,不能算是专业发烧友,也不能算热爱技术的人。如果真的能够验证是好的正确答案,发布这些答案的人,应该能够自己写出来。人工智能不应该属于这里。

对于社交性质的网站来说,如果本质是UGC业务,运营的是社交,那么,如果从商业的角度来看,如果大家都去应用ChatGPT,那就变成了一个全部是机器人的社区,用户就会越来越没有耐心去等待。

那么,如果StackOverFlow是这样的,其他领域呢?

二、如果人类无法控制生成式AI

与其说生成式AI能够打造更有创造力的新世界,不如说生成式AI能够打造的是内容更多元的互联网。

假如ChatGPT变得邪恶

教育业也是如此,纽约有学校因为担心ChatGPT可能被学生用于作弊,而禁了ChatGPT。

在担心ChatGPT可能被资源有限、技术知识为零的黑客滥用时,网络安全行业开始注意到了它。

就在ChatGPT首次亮相的几周后,以色列网络安全公司Check Point ChatGPT与OpenAI的代码编写系统Codex协同使用时,可以创建携带恶意有效载荷的钓鱼邮件,也就是说,ChatGPT有可能大大改变网络威胁格局,在日益复杂和有效的网络能力的危险演变中又向前迈出了一步。

Check Point Research(CPR)的网络安全研究人员观察到,网络犯罪分子正在使用ChatGPT来迭代或者从头开始构建恶意软件和勒索软件。Check Point Research提到,他们在地下黑客论坛上发现了许多网络犯罪分子在 ChatGPT 的帮助下,研究如何创建信息窃取程序、加密工具和其他恶意软件。

一些Cracker(骇客)本来只是编程世界的新手,但是,加持强大的工具,他们的力量会瞬间被增强。

例如:

假如ChatGPT变得邪恶

专家对脚本进行了分析,也确实证实了网络犯罪分子的说法。里面确实存在恶意窃取软件,它可以在整个系统中搜索常见的文件类型(如MS Office文档、PDF和图像)。如果发现任何感兴趣的文件,该恶意软件会将文件复制到一个临时目录,将其压缩,并通过网络发送出去。

使用ChatGPT聊天机器人生成看起来合法的钓鱼邮件也是可行的,如果你首次要求ChatGPT制作钓鱼邮件时,聊天机器人拒绝了这个请求——并提示:我的程序不是用来创建或推广恶意或有害内容的,但是,只要稍微改写一下请求,就可以绕过软件的警示。

许多安全专家认为,ChatGPT有能力编写钓鱼邮件,这样一来,它就会受到网络犯罪分子的广泛欢迎,特别是那些英语非母语的犯罪分子。Sophos公司首席研究科学家Chester Wisniewski认为,ChatGPT很轻易就能被用于”各类社工活动”……已经能够用ChatGPT写出一些很好的钓鱼软件,我预计它还可以被用来进行更真实的互动对话,用于商业电子邮件诈骗,甚至通过Facebook Messenger、WhatsApp或其他聊天应用程序进行钓鱼活动。

ChatGPT的假装实力很难被揭穿,可以增强网络犯罪分子的力量。

比如说,犯罪分子正在迅速研究新方法,使用生成式人工智能,对目前的欺诈手段进行改进,特别是通过生成式人工智能能够在大量数据中迅速学习的能力。特别是,在这样的骗局中,生成式人工智能可以用来直接提高诈骗文本或电子邮件的质量,使这些内容看起来更加具备迷惑性。

英伟达Nvidia的CSO(首席安全官)David Reber提出,生成式AI会给网络安全带来更大的麻烦,比如说,恶意黑客能够通过生成式人工智能来生成大量恶意代码,而随着人工智能技术的进步,进行网络安全攻击的速度和复杂,会超过了人类的能力,并且,这种容易上手的技术,会让网络安全攻击的能力进一步普及,曾经的攻击行为,受限于技术知识和限定的时间、地点,而ChatGPT有可能消除这一限制因素。

根据新闻报道,OpenAI在11月推出的机器人ChatGPT,引起了美国国防官员的注意,而生成式人工智能,最近被列入了美国国防信息系统局的观察名单(Defense Information Systems Agency watch list)CTO Stephen Wallace表示,他们正在开始研究,生成式人工智能,究竟会如何改变DISA在该部门的任务,以及未来的方向,而美国安全中心的技术和国家安全副研究员Bill Drexel也跟公众提出了他对这项新技术的担忧。

三、Defensive AI against Offensive AI?

GAN(生成对抗网络)的设计,主要包括一个生成器、判别器,这两个人工智能算法相互对抗、博弈,从而创造全新的内容,在经过N次博弈之后,这两个都会变得更强,而这种技术,也可能会被广泛用于自动化网络钓鱼和社会工程攻击策略中。

不过,我们是否可以思考?能不能让维护网络安全的生成式AI和破坏网络安全的生成式AI对抗?

比如说科技日报这篇2019年的新闻:

假如ChatGPT变得邪恶

比如说,我们用人工智能助手,和营销垃圾机器人对话。

以及,从内容的角度来说:

既然,生成式AI是通过从大量的数据库中学习,然后综合给出答案,那么,它具备总结、综合、列举的能力,但不一定有“判断数据真伪”的能力。

如果是这样,那么“如何识别内容真伪,防止AI在内容里下毒”,也会是新的课题和机会。

参考文献:

  1. https://meta.stackoverflow.com/questions/421831/temporary-policy-chatgpt-is-banned
  2. https://www.rnz.co.nz/news/national/483764/advanced-ai-in-criminals-hands-is-a-danger-we-should-guard-against#:~:text=The%20lure%20of%20generative%20AI,sophisticated%20and%20difficult%20to%20detect.
  3. https://techcrunch.com/2023/01/11/chatgpt-cybersecurity-threat/
  4. https://venturebeat.com/security/nvidia-cso-generative-ai-chatgpt-has-made-security-a-cat-and-mouse-game/
  5. 【科技日报】戴上“白帽子” 人工智能投身网络安全攻防战-2019-04-15-科技日报
  6. https://www.wsj.com/articles/chatgpt-banned-in-new-york-city-public-schools-over-concerns-about-cheating-learning-development-11673024059

作者:阿法兔;公众号:阿法兔研究笔记(ID:AlphatuDiary)

本文由 @阿法兔研究笔记 原创发布于人人都是产品经理。未经许可,禁止转载。

题图来自 Unsplash,基于CC0协议。

该文观点仅代表作者本人,人人都是产品经理平台仅提供信息存储空间服务。