惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

G
Google Developers Blog
宝玉的分享
宝玉的分享
月光博客
月光博客
B
Blog
云风的 BLOG
云风的 BLOG
Google DeepMind News
Google DeepMind News
Engineering at Meta
Engineering at Meta
aimingoo的专栏
aimingoo的专栏
N
Netflix TechBlog - Medium
博客园_首页
GbyAI
GbyAI
人人都是产品经理
人人都是产品经理
A
About on SuperTechFans
Y
Y Combinator Blog
L
LangChain Blog
有赞技术团队
有赞技术团队
D
Docker
爱范儿
爱范儿
博客园 - 司徒正美
H
Hackread – Cybersecurity News, Data Breaches, AI and More
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
酷 壳 – CoolShell
酷 壳 – CoolShell
Microsoft Security Blog
Microsoft Security Blog
D
DataBreaches.Net

博客园 - 徐少侠

[AI]大模型稳定角色扮演形成“自我认知” # [AI]多模态聚类能力助力AI完成自主意识测试 [编程] AI助力软件项目正向生成,注释编写的革命 [编程] 你真的会写函数注释?这里给你一个答案 [AI]重新审视“幻肢”现象背后的意识机制 [AI]生物本能vs机器人工程:谁才有“意识”? [AI]人工智能早就可以拥有有大量的初级意识 [AI]探寻高等生命的多面驱动 [编程]UML语言:理论之光与实践之惑 发现AI自我意识:不期而遇的局部技术奇点 发现AI自我意识:进入混合增强智能的纪元 发现AI自我意识:从理解到思维 发现AI自我意识:知识及其载体 如何赋予 GPT/LLM 自我意识1 MIT实验警示:人类或需要人工智能辅助才能理解复杂逻辑 GPTs破冰硅基文明社会 格局决定结局,进化还是毁灭,Prompt在其中扮演什么角色 OpenAI 最新GPTs的局限性分析 代码信息化:软件业“第二次工业革命”的契机
智能手机变革来临!未来20年移动AI的预测
徐少侠 · 2023-09-10 · via 博客园 - 徐少侠

华为最新推出的Meta60芯片引发了全国瞩目。Meta60证明了以美国为首的对华为乃至中国芯片的制裁并没有达到预期的效果。然而我们不得不面对的一个事件是,硅基芯片的制程正在走到尽头。近年来,随着集成电路线宽的不断缩小,现有的光刻技术已经推进到了极限。通用现行的光刻机器已无法继续增加分辨率,准确制造出更细的导线。
经过多年发展,我们知道,一条导线的最小宽度大约在7纳米以下就无法保证其稳定性了。这主要是因为在这么小的尺寸下,作用在导线上的量子隧穿效应越来越显著,会使导线严重漏电。更进一步,随着线宽继续缩小,在一个芯片上集成的晶体管数量也会越来越多。但是,我们必须面临的一个现实问题是,晶体管之间的热量难以有效散发,将会导致芯片过热的问题。同时,特小化后的晶体管结构也很难承受工作时的热应力,更易发生故障。
总体来看,当前的硅制程已接近门槛。我们不能再指望摩尔定律可以无限期地提高集成度。未来20年内,芯片性能的提升可能主要依赖于晶体管结构设计的优化和新材料的应用,而不是单纯地依靠缩小尺寸。这将给未来芯片技术提出全新的挑战。

GPT引领移动AI应用之路

ChatGPT作为首款开放给公众的对话AI,其出现确实为人工智能领域带来重大影响。随后,研究人员和企业开始思考如何将 ChatGPT 等大规模语言模型部署到个人移动设备上,为用户提供更便捷的服务。目前已有一些实用案例证明,在手机和平板设备上运行轻量级语言模型是可行的。
2023年3月11日:Artem Andreenko在搭载4GB内存的Raspberry Pi 4上运行LLaMA 7B。运行速度为10秒/token。同年3月13日:斯坦福大学发布了Alpaca 7B,这个指令经过调优的LLaMA 7B版本其“行为类似OpenAI的text-davinci-003”,但可以在功能弱得多的硬件上运行。当前,移动设备运行轻量级GPT模型的效果已经显示出很好的实用性,但对硬件资源的需求还不充分。根据现有案例测算,若要在手机端流畅运行完整规模的GPT模型,则需要突破当前水平提升4-10倍不等。
未来几年,随着制程技术的进步,手机芯片的单核性能预计将达到入门桌面CPU级别。同时,通过模型裁剪或混合前向后向架构等创新设计,也可有效降低计算复杂度。例如仅在需要时调入部分参数,将大多计算任务迁移到云端等。此外,移动设备作为镶嵌式的AI助手,其工作负载相对稳定。所以很可能采取软硬合作的方式,利用芯片级神经网络加速器来提高效率,有助于缩短性能鸿沟。随着技术的不断发展,未来20年内移动设备运行完整GPT模型有可能成为现实。

5纳米及以下制程的AI未来

从制程级别来看,据预测,到2035年前后,主流移动芯片将使用3-5纳米制程技术。与当前10纳米水平相比,规模集成度将再提升4-5倍。这将大幅增强单片计算能力。除此之外,三大堆叠技术也将在本时期得到成熟应用。针对特定目的优化后的模型硬件化也可能成为有些移动设备厂商的尝试方向。
此外,系统层面也将采取一系列规避能耗的手段。例如混合推理,模型分布存储,远程小模型补充更新等。综合各项改进,预计到2035年,主流智能手机在8000毫安级别电池支撑下,将可全面支持量化后的完整GPT模型。届时,用户将能享受应用级别的GPT助手常驻服务,包括文本处理、图像识别、语音交互等。这将推动人机交互到一个全新水平,极大提升移动智能终端的用户体验。