受限于设备的计算能力和存储空间，如何让端侧模型在资源有限的情况下变得更聪明、更高效，成为了AI产品经理的一个关键挑战。本文将详细介绍九种前沿技术，希望能帮到大家。
端侧模型是一种直接在你的设备上运行的人工智能。
为什么要在端侧用AI？云端模型不香吗？
端侧AI的好处简直不要太多：它能保护隐私（数据本地保存，不用上传到云端），反应快如闪电（毕竟“大脑”就在身边，不用千里迢迢造访“云端”），还不依赖网络环境，随时随地可用（出门在外可不是哪哪都有信号）。
端侧的好处这么多，但问题是，设备上的“大脑”毕竟空间有限、能量也有限，不像云端动辄万卡集群的超级计算机那样“豪横”。怎样才能在“紧巴巴”的条件下，让端侧模型变得更聪明、更强大呢？
本文为你揭开这些让端侧模型“小身材，大智慧”的9大技术。
想象一下，一位学识渊博的老教授（咱们称它为“教师模型”）和一个聪明伶俐的学生（也就是我们的“学生模型”，即端侧模型）。老教授虽然知识多，但“体型庞大”，不适合直接塞进手机里。怎么办呢？
“知识蒸馏”就像是这位老教授手把手地教学生。学生不仅学习课本上的标准答案（专业术语叫“硬标签”），更重要的是学习老教授思考问题的方式和判断的微妙之处（比如，老教授看到一只猫，不仅知道它是猫，还知道它有90%的可能是英短，10%的可能是美短，这种概率分布就是“软标签”）。
这样一来，学生模型虽然“身材娇小”，却能学到老师傅的“内功心法”，表现自然远超自己“闭门造车”。
简而言之让一个参数量小、计算量小的“学生模型”去学习一个参数量大、能力强的“教师模型”的精髓，而不仅仅是学习训练数据本身。
怎么实现？
先训练一个满血版的“教师模型”（比如在强大的云服务器上）。
然后，让“学生模型”一边学习真实数据的答案，一边模仿“教师模型”对数据的判断结果（那些概率分布）。
最终，这个“学生模型”就又小又强，可以在你的手机上运行了。
举个例子：
Google在研究中就曾展示过，通过知识蒸馏，可以将一个大型图像识别模型的知识迁移到一个小得多的移动端模型上，后者在保持较低延迟的同时，准确率损失非常小。例如，一个大型模型的准确率可能是85%，通过蒸馏，小型模型可能达到83%，但模型大小和运算量却减少了数倍甚至数十倍。
我们知道，计算机里的数字都是用一串0和1来表示的。表示得越精确，占的空间就越大，计算起来也越慢。
“量化”就像是把这些数字从“高精度奢侈品”变成“经济适用型”。比如，原来用32位表示一个数字，现在我们想办法用16位（FP16）甚至8位整数（INT8）来近似表示它。
这就好比，以前我们用精确到小数点后好几位的尺子量东西，现在用稍微粗略一点但依然够用的尺子。模型“体重”瞬间减轻，运算速度也“嗖嗖”变快，而且很多时候，对最终结果的准确度影响非常小。
简而言之降低模型中数字（权重和激活值）的表示精度，比如从32位浮点数变成8位整数，从而大幅减小模型大小和计算量。
怎么实现？
训练后量化 (PTQ)：模型先用高精度训练好，然后像“快速瘦身”一样，直接把它转换成低精度的。这需要一个“校准”过程，看看这些数字大概在什么范围，然后进行映射。
量化感知训练 (QAT)：更高级的玩法！在训练的时候就告诉模型：“你以后要过‘低精度’的紧日子了” 模型在训练过程中就会主动去适应这种变化，准确度损失通常更小。
举个例子
根据高通（Qualcomm）等芯片厂商的报告，通过将模型从FP32量化到INT8，模型大小可以减少约4倍，推理速度在支持INT8运算的硬件上（如其骁龙处理器内的AI引擎）可以提升2到4倍，同时功耗也显著降低。例如，在某些图像分类任务中，INT8量化后的模型准确率损失不到1%。
一个训练好的神经网络，就像一棵枝繁叶茂的大树。但仔细一看，有些“枝丫”（网络中的连接或神经元）其实对最终“结果”（模型的预测）贡献很小，甚至可以说有点多余。“剪枝”技术就像一位园艺大师，把这些“不结果”或者“添乱”的枝丫给修剪掉。
这样一来，模型的“体型”变小了，计算量也减少了，跑起来自然更轻快。有研究表明，对一些经典的图像识别模型（如VGG、ResNet）进行剪枝，可以在几乎不损失精度的情况下，减少50%甚至更多的参数和计算量。
简而言之
移除神经网络中不那么重要的参数（权重）或结构（神经元、通道），让模型变得更小、更快。
怎么实现？
做个类比
这有点像我们大脑的学习过程。神经科学家发现，婴儿时期大脑神经元之间的连接非常多，但随着成长和学习，一些不常用的连接会减弱甚至消失，而常用的连接则会加强，形成高效的神经网络。剪枝也是在模拟这个“优胜劣汰”的过程。
以前设计神经网络，很依赖人类专家的经验和灵感，就像建筑师设计房子一样，需要反复调试。但如果想在手机这种“小地基”上盖出“又好又快”的房子，挑战就更大了。
“神经架构搜索”（NAS）就是让AI自己去探索和设计最适合端侧设备的网络结构。你给AI设定好目标（比如，我想要一个准确率高、速度快、耗电少的模型），然后AI就会在一个巨大的“积木池”（各种可能的网络组件和连接方式）里像玩乐高一样，自动搭建和测试各种神经架构，最后挑出最优的那个。
简而言之
利用算法自动搜索和设计神经网络的结构，而不是人工设计，目标是找到在特定硬件（如手机芯片）上性能最优的架构。
怎么实现？
举个例子
Google的EfficientNet系列模型就是NAS的代表。研究者们通过NAS搜索到了一个基础的网络架构，并通过一套统一的缩放规则，生成了一系列模型，在准确率和效率方面都有提升，非常适合在移动设备上部署。例如，EfficientNet-B0在达到与ResNet-50相近的ImageNet准确率的同时，参数量和计算量都大幅减少。
在AI模型进行计算时，不是所有的步骤都需要最高的精度。有些计算对精度要求很高，差一点可能结果就谬以千里（比如关键的判断步骤）；而另一些计算，稍微粗略一点也无伤大雅，还能大大提高速度（比如一些中间特征的传递）。
简而言之
“混合精度”技术就像一位经验丰富的老师傅，知道什么时候该用游标卡尺（高精度FP32），什么时候用卷尺（低精度FP16甚至INT8）就够了。它在训练和推理（模型预测）时，聪明地将高精度计算和低精度计算结合起来：关键部分用高精度保证准确性，非关键部分用低精度来提升效率、减少内存占用和功耗。
怎么实现？
实践效果
在很多情况下，使用混合精度（例如FP32和FP16混合）可以在几乎不损失模型准确率的前提下，将训练速度提升2-3倍，推理速度也有显著提升，同时还能减少约一半的内存占用。这对于希望在端侧设备上运行更大、更复杂模型的场景来说，无疑是一大利好。例如，在图像识别或自然语言处理任务中，通过混合精度，模型响应更快，用户体验更好。
我们希望端侧模型能从更多样的数据中学习，变得更聪明。但用户的个人数据非常敏感，直接上传到云端训练模型有隐私泄露的风险。怎么办？
“联邦学习”提供了一个绝妙的解决方案。它就像一个“去中心化”的学习小组。每个人的数据都保留在自己的手机或设备上（数据不出本地），模型更新的“知识”（参数更新）被发送到中央服务器进行聚合，形成一个更强大的“集体智慧模型”，然后再把这个“升级版”模型分发回各个设备。
这样一来，既保护了用户隐私，又能让模型从海量分散的数据中受益。
简而言之
多个设备（比如很多部手机）在不共享各自本地数据的前提下，协同训练一个机器学习模型。每个设备用本地数据训练模型，然后只把模型的更新（而不是数据本身）发送给中央服务器进行聚合，最终反哺端侧，让端侧模型获得更好的表现。
怎么实现？
第一步 服务器初始化端侧模型
第二步 模型分发给选定的端侧设备
第三步 设备在本地用自己的数据训练模型
第四步 设备将训练产生的模型更新（比如权重变化）加密后发送给服务器
第五步 服务器聚合所有设备的更新（比如取平均值），形成一个更优的全局模型
第六步 重复2-5步，最终使端侧模型获得更好表现
举个例子
Google的Gboard输入法就利用联邦学习来改进下一词预测模型。数百万用户在输入时，他们的设备会利用本地输入历史（这些历史数据不会离开设备）来改进预测模型的一小部分，然后这些改进被安全地聚合起来，形成对所有用户都有益的全局模型。这使得输入法预测越来越准，同时用户的输入内容得到了很好的隐私保护。
想象一下，你开车的时候，平路巡航时会用比较省油的档位和转速；遇到陡坡需要爬升时，就会切换到更有力的低档位，加大油门。 “动态推理”或“自适应计算”就是让端侧AI模型也拥有这种“智能换挡”的能力。
简而言之
它会根据当前输入数据的“难度”（比如一张图片是简单的纯色背景，还是一张细节满满的复杂场景），或者设备当前的“体力状况”（比如电量是否充足、CPU/NPU是否空闲），来动态调整自己的计算量和“思考深度”。 简单的任务，模型就“浅尝辄止”，用较少的计算快速给出结果；复杂的任务，或者资源充足时，模型就“全力以赴”，调用更多的网络层或更复杂的计算路径，以求达到最佳效果。
怎么实现？
实践效果
这种技术能显著提升端侧模型的能效比和用户体验。在大部分情况下，输入数据可能都比较简单，模型可以用极低的功耗快速响应；而对于少数复杂情况，又能保证处理效果。这使得AI应用在电量敏感的移动设备或物联网节点上能“更持久地在线”，并且在不同负载情况下都能提供相对平稳的服务。例如，一个智能相机的目标检测功能，在画面静止或物体稀疏时可以降低帧率或模型复杂度，一旦检测到快速运动或密集物体则提升计算力。
除了上述的“后天调教”方法，我们还可以从“先天基因”入手，直接设计那些天生就参数少、计算量小的网络结构。这就像运动员里有专门为短跑或马拉松优化的体型和肌肉类型一样。
这些高效模型架构，在设计之初就充分考虑了端侧设备的限制。
简而言之
从一开始就设计出结构本身就很轻量级、计算效率很高的神经网络模型。
著名代表
数据为证
以MobileNetV2为例，相比于经典的VGG16模型，它在ImageNet图像分类任务上可以达到相似的准确率，但参数数量减少了约25倍，计算量减少了约30倍。这使得它非常适合在手机等移动设备上流畅运行。
除了前面那些让模型变小、变快的通用技巧，还有一些专门针对“抠内存”的绝招，确保AI大脑在运行时不会因为“太占地儿”而把我们的手机、电脑搞到卡顿。
“物以类聚，参数分组！”
简而言之
想象一下，一个神经网络里有成千上万甚至数百万个参数（权重）。“权重共享”或“权重聚类”就像是发现这些参数里有很多其实非常相似，或者可以归为几类。我们不再为每个连接都单独存储一个精确的权重值，而是让很多连接共享同一个（或同一组）权重值。 这就好比，原来衣柜里有100件颜色、款式都只有细微差别的白衬衫，每件都要占一个衣架。现在我们发现其实可以把它们分成“纯白款”、“米白款”、“丝光白款”等几大类，每一类用一个代表性的“标准白衬衫”参数。这样，需要存储的“标准白衬衫”数量就大大减少了，内存自然就松快多了。
效果
这种方法可以显著减少存储权重所需的内存。例如，斯坦福大学提出的Deep Compression技术，就将权重聚类（一种形式的权重共享）与剪枝、量化结合，成功将AlexNet和VGG等大型网络压缩了35到49倍，而几乎没有精度损失，这对于将这些复杂模型部署到内存有限的移动设备上至关重要。
“把‘大胖矩阵’拆成两个‘小瘦子’！”
简而言之
在神经网络中，很多层的计算本质上是巨大的矩阵乘法。如果一个权重矩阵非常“胖”（维度很大），那么它包含的参数就多，占内存也大。 “低秩分解”就像是发现这个“大胖矩阵”其实可以用两个或多个更“瘦”的“小矩阵”相乘来近似表示。就好比，一个复杂的图案（大矩阵），其实可以由几个简单的基础图案（小矩阵）叠加组合而成。我们只需要存储这些基础图案，就能重构出原来的复杂图案，大大节省了存储空间。
效果
例如，在推荐系统中，用户-物品交互矩阵通常非常巨大且稀疏，通过低秩分解（如SVD或其变种）可以有效地提取潜在特征，并以远小于原始矩阵的内存存储这些特征向量，从而实现高效的个性化推荐。同样的思想应用于神经网络层，能显著减少权重参数的存储。
“精打细算每一分‘临时内存’！”
简而言之
模型在进行预测（推理）时，不仅模型自身的权重参数占内存，每一层计算产生的中间结果——我们称之为“激活值”——也需要临时存储在内存中，因为下一层计算需要用到它们。对于很深的网络，这些激活值累加起来可能会非常占内存，就像做饭时，如果每个步骤的半成品都一直摆在桌上，厨房很快就满了。 激活值内存优化就是想办法减少这部分“临时内存”的开销，比如用完一个半成品马上清理掉，或者用更小的碗碟（低精度）来装。
怎么实现与效果
看到这里，你已经对如何给端侧AI“增智减负”有了更全面的了解。
从知识蒸馏的智慧传承，到量化、剪枝的精打细算，再到神经架构搜索的自动化设计，以及联邦学习的巧妙应用，辅以高效模型架构的先天优势，还有专门针对内存的权重共享、低秩分解、激活值优化等“瘦身秘籍”，更有追求极致效率的混合精度计算和灵活应变的动态推理。它们共同构成了一个强大的工具箱。
聪明伶俐的端侧AI可能是这样打造的：
让端侧模型变得更“聪明”、更“轻巧”，关系到我们每一个人未来的数字生活体验。
随着这些技术的不断发展和融合，未来的端侧AI将不再仅仅是执行简单命令的工具。它们将拥有更强的理解能力、推理能力和个性化适应能力，同时对设备的资源需求越来越小，甚至达到“无感”运行的境界——你几乎察觉不到它在消耗资源，却能时时刻刻享受到它带来的智能便利。
想象一下：
端侧AI让尖端科技能够以更低的成本、更低的功耗、更高的效率、更安全的方式服务于每一个人，真正实现普惠AI。
作者：赛先声；公众号：奇点漫游者
本文由 @赛先声 原创发布于人人都是产品经理。未经作者许可，禁止转载
题图来自Unsplash，基于CC0协议
该文观点仅代表作者本人，人人都是产品经理平台仅提供信息存储空间服务
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。