惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
Jina AI
Jina AI
Hugging Face - Blog
Hugging Face - Blog
博客园 - 三生石上(FineUI控件)
博客园 - 【当耐特】
大猫的无限游戏
大猫的无限游戏
IT之家
IT之家
宝玉的分享
宝玉的分享
WordPress大学
WordPress大学
有赞技术团队
有赞技术团队
Apple Machine Learning Research
Apple Machine Learning Research
酷 壳 – CoolShell
酷 壳 – CoolShell
阮一峰的网络日志
阮一峰的网络日志
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
爱范儿
爱范儿
小众软件
小众软件
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
The Cloudflare Blog
S
SegmentFault 最新的问题
博客园 - Franky
博客园_首页
T
Tailwind CSS Blog
雷峰网
雷峰网
罗磊的独立博客

人人都是产品经理

为什么你的产品找不到差异化?90%的失败都卡在第一步上(下) – 人人都是产品经理, 3年从30万到1300万用户、获2200万美元融资,这个AI教育产品用“抽卡”破解了获客难题 – 人人都是产品经理, 园区招商系统怎么做才能真正帮到去化?我加了这一个功能,推广链接转发400次阅读过万 – 人人都是产品经理, AI大事件:OpenAI发完网络安全模型又搞药物研发,小鹏汽车要抓”DeepSeek时刻” – 人人都是产品经理, 电商不是卖货,是一场更残酷的产品经理实战 – 人人都是产品经理, 没想到,活动营销又回来了! – 人人都是产品经理, 为何All-in海外KOC:一场关于AI时代窗口期的豪赌 – 人人都是产品经理, 重新理解企业的内部协作 – 人人都是产品经理, 苹果的 AI 战略到底是什么? – 人人都是产品经理, 医疗智能体·第2讲——合规护城河:等保、PIPL与HIPAA的架构实战 – 人人都是产品经理, 向量知识库五步法:从“答非所问”到“精准回复” – 人人都是产品经理, 鸿蒙PC三方库构建总指挥HPKBUILD(sha)库为例 – 人人都是产品经理, 何时该用LLM?AI产品经理的LLM设计指南 – 人人都是产品经理, 医疗信息领域的需求方、决策方、准入方以及关注点(二) – 人人都是产品经理, 即梦涨价:一场被误读的「傲慢」 – 人人都是产品经理, 面试AI PM必答题:Hermes和OpenClaw的区别,如何讲清楚业务价值 – 人人都是产品经理, AI的下一张船票:世界模型——AI产品经理必须理解的技术拐点 – 人人都是产品经理, 小红书做GEO,怎么让AI信你?记住这 3 个重要信息 – 人人都是产品经理, 5 家印度 AI 初创公司,看看印度 AI 再做什么 – 人人都是产品经理, AI项目跨团队协作:产品技术业务如何不打架 – 人人都是产品经理, Agentic Workflow(智能体工作流):让AI从”答案生成器”变成”数字员工” – 人人都是产品经理, lycium_plusplus 项目全景解读:OpenHarmony 三方库构建的“大管家” – 人人都是产品经理, 从爆单救火到前置履约:两套预采策略,把生鲜大促履约效率拉满 – 人人都是产品经理, 什么时候该补货?我用一轮数据做了一个决定 – 人人都是产品经理, 从“机械兜底”到“动态分流”:AI客服重复进线治理的4大底层逻辑 – 人人都是产品经理, 抖音拼效率,红书拼洞察 – 人人都是产品经理, 全民狂欢与退潮——为什么龙虾这波热潮冷却得如此之快? – 人人都是产品经理, Stripe押注!MPP重塑全球支付 – 人人都是产品经理, 小红书GEO:AI引用你的内容,不是因为你对,而是因为你看起来可信 – 人人都是产品经理, 前百度副总裁押注办公Agent,日韩付费爆发,Manus迎来强劲对手 – 人人都是产品经理,
AI迎来MOSS时刻,已有诈骗团伙用ChatGPT写“剧本”
IT时报 · 2023-03-29 · via 人人都是产品经理

ChatGPT的大风不仅刮过科技圈,也引起了不法分子的注意,让人担心来自人工智能的网络威胁。目前已经有诈骗团伙利用ChatGPT实施诈骗,关于人工智能的网络安全管理迫在眉睫,关于ChatGPT产品的安全性,目前我们应该知道能什么,又能够做什么?一起来看看这篇文章,或许能找到答案。

短短十天,全球被一波又一波的ChatGPT浪潮“炸晕”了。

无论是可支持多模态输入的ChatGPT 4.0,内置ChatGPT 4.0后可以一键生成PPT的Office 365,还是虽然不那么令人满意但也还算能打的文心一言,最终都浓缩为英伟达创始人CEO黄仁勋在3月21日年度技术峰会GTC上连续强调七次的那句话——“我们正处在AI的iPhone时刻”。

然而,当绝大多数人欢呼AIGC(利用人工智能技术生成内容)降低了普通人使用AI的门槛时,担忧接踵而来:AI或将带来新型网络攻击。

3月21日,中国产业互联网发展联盟、《中国信息安全》杂志、南方日报、中国网络空间新兴技术创新论坛、腾讯安全、腾讯研究院联合发布的《2023产业互联网安全十大趋势》提出,以ChatGPT为代表的生成式人工智能技术进步,将会引发潜在新型攻击和内容合规等安全风险。

目前,已有安全团队发现,网络攻击者开始使用ChatGPT创建恶意软件、暗网站点和其他实施网络攻击的工具,甚至诈骗团伙也开始用ChatGPT生成“剧本”,进行更有针对性的精准诈骗。

一、ChatGPT版“诈骗剧本”已上线

ChatGPT的横空出世,让很多人担忧自己会失业。生成式人工智能技术的发展,让写论文、写代码等原本具有一定门槛的人类创作性工作,变成只需输入的一行文字请求。黄仁勋便认为,程序员将成为第一批失业的职业,ChatGPT让普通人对原本复杂的编码程序唾手可得。

同时被拉低的,还有“诈骗的门槛”。腾讯安全策略发展中心总经理吕一平的安全团队观察到,已经有诈骗分子开始利用ChatGPT编写“钓鱼剧本”,这大大提高了骗子实施精准诈骗的效率

安全领域有一个专用名词叫“社攻”,也即利用社交关系攻击的方式。诈骗分子通过与被害者聊天,诱导其点击恶意链接,或者下载一些恶意软件,从而在电脑里“种好木马”,常见的话术有:“你孩子在学校生病了”“你被法院起诉了”“你获得一笔退款”等。

“为了赢得被骗人的信任,诈骗分子通常有多套沟通剧本,分别扮演警察、老师、客服等角色,原本这些剧本需人工编写,且必须具备一定的专业知识。比如扮演HR,你要深入了解对方的工作;扮演保险公司业务员,要对保险业务有比较清晰的了解……”

吕一平告诉《IT时报》记者,通过ChatGPT,编写剧本不再需要有“专业能力”的骗子,而且“剧本”几乎瞬间生成,大大提升了行骗的效率,因此,未来“剧本”里很可能会出现更多样化的角色、诱骗手段,形成新的钓鱼攻击方式。

二、调用ChatGPT API?未必合规

3月初,OpenAI放出ChatGPT API,开发者可以将ChatGPT集成到自家应用和服务的门槛上,构建属于自己的AI聊天机器人。

但安全专家建议,国内开发者先别急着“冲”,首先要评估这种应用方式是否合规。

随着《中华人民共和国网络安全法》《中华人民共和国数据安全法》《个人信息保护法》的颁布,以及《信息安全技术个人信息安全规范》等行业标准的实施,数据安全成为企业构建安全体系的重中之重,尤其是对“出境数据”,国家有明确严格的评估要求,2022年9月1日,国家互联网信息办公室公布《数据出境安全评估办法》正式施行。

“调用ChatGPT API,意味着要将ChatGPT接入App,但目前ChatGPT所有服务器全部在国外,需根据我国法律对出境数据进行评估,尤其如果App涉及个人信息、地理位置等隐私数据,更要重视合规性。”吕一平认为,数据安全隐患是中国企业引入ChatGPT时的最直接风险。

此外,调试ChatGPT时输入的数据、代码,也有同样风险。据《IT时报》记者了解,目前国内几家互联网大厂都明确要求,员工不得用公司数据“喂”ChatGPT

三、信任ChatGPT?不能太天真

作为大规模语言模型,新发布的ChatGPT4.0展现出比上一代版本更强大的输入能力和输出结果,也出现了更多的“涌现”。所谓涌现,是指当大模型的参数规模超过某一个临界值时,只需给模型提供提示,就可以让其自动执行任务,而这种提示既没有经过专门训练,也从未被期望过出现,也即会呈现出强大的“智慧能力”。

但在斯坦福大学众多学者联合撰写的文章《On the Opportunities and Risksof Foundation Models(基础模型的机会与风险)》中,“涌现”意味着系统的行为是隐式归纳而不是显式构造的,故基础模型显得更难以理解,并具有难以预料的错误模式。

“一夜长大”的ChatGPT固然让人类看到真正强人工智能时代带来的曙光,但同时也深藏隐忧——它为什么会如此想?它是真正这么想吗?正如《流浪地球2》中的MOSS,它的“涌现”究竟从何时开始?谁又能控制它?所有一切都指向终极问题——AI值得信任吗?

“至少目前来看,大规模语言模型还无法做到被证伪,如果人们信任它们给出的一些回答,很可能会引起严重的后果。”安全公司知其安创始人聂君认为,ChatGPT使生成高质量、高逼真信息的门槛大大降低,而老人、孩子是最容易被高逼真信息困扰或伤害的弱势群体,因此一些需要职业资格认定的领域不应该轻易使用类ChatGPT产品,比如律师、医生等,“国家今后也很可能会出台一些相应的法律规范。”

作者:郝俊慧;编辑:王昕 孙妍

来源公众号:IT时报(ID:vittimes),做报纸,也懂互联网。

本文由人人都是产品经理合作媒体 @IT时报 授权发布,未经许可,禁止转载。

题图来自Unsplash,基于 CC0 协议

该文观点仅代表作者本人,人人都是产品经理平台仅提供信息存储空间服务。