面向资源受限场景的 FedFreeze 框架

摘要

在边缘设备、移动终端和物联网环境中，联邦学习（Federated Learning, FL）面临显著的资源瓶颈：计算能力受限、内存/显存不足、网络带宽低且不稳定、能耗约束和不可靠的在线时长（client availability）。为了使大模型或复杂模型在这类资源受限场景中参与协同训练并保持训练效率与模型性能，本文提出 FedFreeze —— 一种以“动态层冻结（dynamic layer freezing）+ 自适应参与调度 + 局部压缩/校准”为核心的联邦学习框架。FedFreeze 的要点包括：1）基于服务器端与客户端联合评估的“冻结候选层”选择策略，按训练阶段动态冻结或解冻参数，以减轻客户端计算与通信负担；2）集成渐进式冻结（phase-wise freezing）与自适应冻结时间窗口的调度器，以平衡收敛速度与局部计算量；3）引入差分量化与稀疏上传机制以进一步压缩通信开销；4）提供理论收敛分析与稳定性证明（在非 IID 数据下的近似收敛界）；5）通过仿真与真实设备实验验证 FedFreeze 在多种资源受限设置下相比基线（FedAvg、FreezeBERT、APF 等）在通信量、能耗和最终模型精度之间的优越性。实验证明，在严格的资源约束下，FedFreeze 能将客户端通信与计算成本显著降低同时保持或仅略微牺牲模型精度。本文还讨论了系统实现、隐私/安全性考量与未来拓展方向。为便于复现，文末给出伪代码、超参建议与实验配置细则。

（说明：关于层冻结与通信高效联邦方案的相关研究与实现已在最近文献中多次被提出并验证，本文在此基础上提出统一的 FedFreeze 设计与新的动态调度策略以适配更广泛的资源受限场景与大模型微调需求。）(cse.ust.hk)

1 引言

联邦学习的出现旨在解决数据孤岛与隐私保护的问题，使多个客户端（如手机、物联网设备、边缘服务器）在不共享原始数据的前提下协同训练模型。然而在实际部署时，设备异构性与资源约束成为主要障碍：许多设备无法在给定时间或能耗预算内完成完整模型的前向/反向传播、无法存储全模型参数、或无法承受频繁的全量模型上传所带来的通信费用与时延。尤其在面对近年日益增长的模型复杂度（从小型 CNN 到 Transformer、BERT 及更大的视觉与语言模型）时，传统的联邦训练范式（如 FedAvg）对客户端资源需求变得难以满足。

“冻结层（layer freezing）”作为一种已被验证的技术——即在训练过程中将部分参数固定不更新，从而降低反向传播的计算与内存开销，已在集中训练和少量联邦工作中被应用以加速训练或减少客户端负担。现有工作（例如 Adaptive Parameter Freezing、分阶段层冻结与 layer-wise training）展示了冻结策略能在多种场景下减少通信并保持性能，但这些方法通常面向特定任务或采用静态冻结规则，缺乏在异构客户端群体与非 IID 数据分布下的自适应性与鲁棒性。与此同时，最近一些工作提出通过分阶段、迭代冻结与解冻参数来兼顾训练效率与模型性能，但仍需统一的系统设计来支持不同资源受限场景下的动态策略调整。(cse.ust.hk)

因此，我们提出 FedFreeze：一个面向资源受限场景的联邦学习框架，专注于在线、动态的层冻结决策与与通信压缩相结合的联邦聚合策略。FedFreeze 的目标是允许广泛异构的客户端在参与 federated training 时以节省计算、内存与带宽的方式贡献各自的本地更新，同时保障模型的收敛性与最终性能。本文的主要贡献如下：

提出 FedFreeze 框架的系统化设计，包括冻结决策器、冻结窗口调度、稀疏上传与服务器端聚合适配模块；
设计一种基于“层稳定性评估 + 客户端资源剖面”的冻结候选选择器，支持全局/局部混合冻结策略，并提出冻结时长的自适应调整算法；
将差分量化、top-k 稀疏化与误差反馈机制整合进本地上传流程，以兼顾带宽与信息保留；
对 FedFreeze 在非 IID 数据与异构可用性的环境下给出收敛性分析，并推导在一定条件下的误差界与通信-计算折中曲线；
在多任务、多个模型（包括 CNN、RNN、Transformer/BERT 微调）与多个资源受限模拟设置与真实设备集群上验证 FedFreeze 的有效性，结果表明在强资源约束下能显著降低客户端负担并保持接近基线的最终准确率。

2 背景与相关工作综述

在设计 FedFreeze 前，我们总结并分类与之相关的研究线，辨识出关键的技术空白与本文的定位。

2.1 层冻结与逐层训练（Layer Freezing & Layer-wise Training）

层冻结在深度学习训练历史中不是新鲜事：在迁移学习和微调中，常通过固定低层特征提取器只微调高层分类器来降低训练成本与避免过拟合。将层冻结思想移植到联邦学习中，会产生若干变体：完全冻结（不更新某些层）、阶段性冻结（phase-wise freeze、逐层激活训练）、随机冻结（随机选择要训练的层）等。Adaptive Parameter Freezing（APF）提出通过稳定性指标来识别“已收敛”参数并临时冻结以降低通信。相关工作证明冻结可减少通信量并在某些场景下提升稳定性，但在非 IID 情形下冻结可能阻碍跨客户端的参数协同与泛化。(cse.ust.hk)

2.2 面向资源受限客户端的联邦学习方法

为应对客户端受限资源，研究者提出多种优化方向：

子模型/模型拆分：各客户端仅训练模型的子集或轻量分支（例如 Split Learning、Submodel approaches），但这往往牺牲全局协同效果并增加系统复杂度。
量化与稀疏化：降低上行参数精度（例如量化到 8-bit、4-bit 或更低）和上传 top-k 更新，结合误差反馈（error feedback）来抵消精度损失。
局部训练周期调整：适应性地设置客户端本地 epochs 数以平衡通信频率与本地负载。
动态参与调度：基于设备可用性、网络质量或预估收益选择参与客户端子集。

这些方法在某些情境下有效，但缺乏将层冻结嵌入到动态联邦调度与通信压缩的全面框架中进行联合优化的系统方案。(publikationen.bibliothek.kit.edu)

2.3 分阶段/逐层联邦训练与最近进展

近年的研究（如 Federated Layer-wise Learning、Layer-Skipping FL）提出将训练划分为多个阶段，在每阶段只激活/更新部分层，从而在单次训练轮内限制客户端计算开销并提升可被弱设备参与的可能性。这类方法在理论与实验上展示了资源节省效果，但在如何选择阶段边界、如何保证跨阶段参数协同与全局收敛方面仍有挑战。我们将借鉴这些思想并在 FedFreeze 中提出更为细致的冻结候选判据与自适应冻结窗口策略。(pml4dc.github.io)

3 问题刻画与系统模型

3.1 系统参与方与资源模型

设有一个联邦学习系统包含服务器与 $N$个客户端。客户端 $i$ 的资源约束以三元组 $(C_i, M_i, B_i)$ 表示，分别代表 CPU/GPU 计算预算（算力峰值或每轮可用 FLOPs）、可用内存/显存和带宽上行限制（字节/秒或每轮允许上传的最大字节数）。客户端的可用性在每轮也可能发生变化（在线/离线）。目标是在这些异构约束下，通过联邦协议训练模型参数向量 (\theta) 以最小化全局目标函数：

其中为最近若干轮的全局损失变化，为阈值，为冻结窗口上限。

3.2 层冻结定义与操作语义

假设全局模型具有 $L$ 层参数集合 $\theta = {\theta_1, \theta_2, \dots, \theta_L}$，在 FedFreeze 的每轮训练中，客户端 (i) 可选择一个冻结集合 $S_i^{(t)} \subseteq {1,\dots,L}$，表示在该轮本地训练中不对这些层执行反向传播与参数更新（仅进行前向传播以计算损失与梯度对未冻结层）。冻结层的选择能直接降低该客户端的显存/内存占用与每轮计算量，但也意味着这些冻结层在本轮不会获得客户端 (i) 的本地梯度信号。

在服务器端，将收到的多客户端更新按照标准聚合（例如加权平均、联邦优化变种）合并，但需要对部分客户端上传的“部分参数”更新做特殊处理（例如有些客户端未上传冻结层的梯度/参数差分）。FedFreeze 需要在聚合时考虑非完整更新的情况并处理参数不一致性与漂移。

3.3 指标与目标

通信成本：每轮客户端上传的字节数与总通信轮数。
计算成本：客户端每轮执行的 FLOPs 或时间消耗。
模型性能：全局训练后模型在验证集/测试集上的准确率或任务相关指标。
收敛性指标：在给定通信预算或总算力预算下的收敛速度（例如损失下降曲线）。

目标：在给定客户端资源约束集合 ${(C_i,M_i,B_i)}$ 下，设计算法使得在某一通信/计算预算下尽可能提升最终模型性能或在给定性能下尽可能降低通信/计算成本。

4 FedFreeze 框架总体设计

FedFreeze 的总体设计基于三个核心模块：冻结决策器（FreezeDecider）、压缩与上传适配器（CompressAdapter）、与服务器端聚合与解冻控制器（ServerAggregateController）。整体训练流程支持按轮的动态冻结/解冻以及多客户端异步参与。

4.1 设计原则

资源感知性：冻结策略必须依据客户端资源剖面与当前轮可用资源动态调整。
局部可修复性：冻结导致的信息缺失应通过后续解冻与聚合策略修复，减少长期性能跌落。
通信高效：配合稀疏与量化机制以在冻结时进一步压缩上传带宽。
可解释性与可控性：冻结判据与窗口长度支持可配置阈值，以满足不同场景的可预测表现。

4.2 训练流程概要

每一训练轮 (t) 包含以下步骤：

服务器广播当前模型 $\theta^{(t)}$ & 当前全局冻结策略摘要（供客户端参考）；
客户端本地资源汇报：可选——客户端返回本轮可用资源剖面 $(C_i^{(t)},M_i^{(t)},B_i^{(t)})$；
冻结决策：客户端本地或服务器指导下确定冻结层集 $S_i^{(t)}$（可混合使用全局推荐和本地微调）；
本地训练：客户端在其未冻结层上进行 $E_i^{(t)}$ epochs 的本地训练，记录上传差分（仅未冻结层）；
上传与压缩：通过 CompressAdapter 对未冻结层梯度/参数差量进行稀疏/量化处理并上传；
服务器聚合：ServerAggregateController 对收到的部分更新进行加权合并，并根据策略决定是否触发全局解冻/阶段切换；
全局策略更新：在某些条件下（如若干轮后或模型稳定性达到阈值），服务器发起解冻命令或调整冻结候选集合。

流程支持同步与异步变体，并允许在客户端各自选择不同冻结子集以适配异构能力。

5 动态层冻结策略与冻结候选选择器

本节为 FedFreeze 中最核心的设计：如何选择哪些层在某一轮对某一客户端被冻结，以及冻结应持续多久。我们提出一种多指标融合的冻结候选选择器（Multi-Metric Freeze Selector），结合“参数稳定性度量、梯度重要性、资源可用性与历史协同收益估计”四类信息做出决策。

5.1 参数稳定性度量（Stability Score）

参数稳定性度量用于衡量某层在最近若干轮内的参数变化幅度。定义第 $l$ 层在客户端 $i$ 最近 $T$ 轮的稳定性：

较小的 $S_{i,l}$ 表明该层参数近轮变化较小，可候选冻结。服务器可统计全局版本的稳定性作为全局冻结建议，以增强跨客户端一致性。

5.2 梯度重要性度量（Importance Score）

若某层的梯度在训练任务中贡献较小（例如 gradient norm 较小或对损失下降的局部敏感性有限），则可临时冻结。定义：

在实际运行时，由于直接计算梯度敏感性开销大，可采用近似指标（如在本地小批次上测量 gradient norm）或使用历史指数滑动均值估计。

5.3 资源可用性约束（Resource Affinity）

客户端 $i$ 的资源约束直接影响其能否训练某些层。定义一个资源亲和函数 $R_{i,l}^{(t)}\in {0,1}$ 表示在当前轮是否满足训练第 $l$ 层所需的内存与计算阈值（通过预估该层的反向传播峰值内存与 FLOPs 与客户端可用资源比较得到）。

5.4 历史协同收益估计（Collaborative Gain Estimation）

冻结层可能影响模型整体协同训练的能力。我们引入历史协同增益估计项 $G_{l}^{(t)}$（服务器侧维护），表示当第 $l$ 层被多数客户端更新时对全局损失下降的贡献估计。该项通过统计过去若干轮在不同客户端更新该层时的损失改变量估计得到（可采用简单的滑动平均或贝叶斯估计）。

5.5 冻结候选分数与阈值决策

将上述指标以加权形式结合得到冻结候选分数：

其中表示归一化操作，为超参数。
若超过冻结阈值，则第层被标记为冻结候选；
结合冻结时长策略，可决定持续轮数。

该多指标策略兼顾本地稳定性、重要性、资源状况与全局协同价值，从而在异构与非 IID 场景下获得更稳健的冻结选择。

5.6 冻结时长自适应（Adaptive Freeze Window）

冻结时长直接影响训练的短期贡献与长期收敛。我们提出一种自适应窗口调整机制：当某层被连续标记冻结并且服务器端监测到全局损失下降速率未显著降低（或冻结层的历史协同增益 $G_l$ 低），则可以延长冻结时间窗口；反之，若解冻后该层的更新能显著加速损失下降，则缩短窗口并增加该层在后续轮的激活频率。

形式化上，令冻结窗口在轮 $t$ 的长度为 $w_{l}^{(t)}$，其更新规则为：

其中为最近若干轮的全局损失变化，为阈值，为冻结窗口上限。

6 本地训练压缩与上传稀疏化方案

FedFreeze 的另一核心是配合冻结策略使用高效的上传压缩方案，以充分利用冻结带来的信息稀疏性并减小带宽开销。我们采用误差反馈（Error Feedback）+ top-k 稀疏化 + 可适应量化（Adaptive Quantization）的混合方案。

6.1 Top-k 稀疏化与误差反馈

在客户端计算得到参数更新差量 $\Delta \theta_{i}^{(t)}$（仅针对未冻结层），客户端只上传绝对值最大的 top-k 分量及其索引。为避免长期信息丢失，保留残差（error accumulation）：

客户端维持本地残差向量 $r_i$，每轮在计算出 $\Delta \theta_i$ 后累加： $u_i = \Delta \theta_i + r_i$；
选择 top-k(u_i) 并生成上传向量 $u_i^{(k)}$，更新残差 $r_i \leftarrow u_i - u_i^{(k)}$；
服务器接收 top-k 更新后重构参数差分并聚合。

误差反馈保证长时序累积的信息最终得以传输，从而减少 top-k 稀疏化带来的偏差。该机制在多篇工作中被证明对收敛性有重要意义。

6.2 自适应量化（Adaptive Quantization）

对 top-k 的非零分量采用自适应量化：根据各层的动态范围与历史分布采用不同的量化位宽（例如对某些幅度较小但重要的通道使用更高精度），并在服务器端使用缩放因子还原估计值。具体实现建议使用带符号的对称量化并结合动态零点校准。

6.3 上传包结构与字节预算控制

上传包包含：
（1）层索引与参数索引的压缩编码（例如基于变长编码或相对索引），
（2）量化后的值数组，
（3）残差摘要（可选，用于容错校验或统计）。在每轮，客户端根据带宽上限 $B_i^{(t)}$ 动态调整 top-k 的 k 值以满足字节预算，同时保证关键层的最小上传阈值。

7 收敛性分析与复杂度估计

本节给出 FedFreeze 在一定假设下的收敛性分析框架，旨在说明冻结与稀疏上传机制在非 IID 条件下仍可保证优化问题的近似收敛。

注意：下面的分析给出的是在若干常见假设（如 Lipschitz 连续、无偏梯度估计）下的粗略界；实际收敛速度受数据偏差、冻结比例与稀疏策略影响。完整严格证明涉及大量技术细节，可在附录中扩展。

7.1 预备假设

每个局部损失函数 $F_i(\theta)$ 均为 $(L)-Lipschitz$ 可导；
局部梯度方差有界：$\mathbb{E}|\nabla F_i(\theta) - \nabla F(\theta)|^2 \le \sigma^2$；
稀疏化与量化算子 $Q(\cdot)$ 满足无偏或有界偏差（可用误差反馈抵消偏差）；
冻结层在某一轮被视为不参与梯度贡献，但服务器聚合仍以权重平均进行。

7.2 带冻结与稀疏化的梯度估计误差

在 FedFreeze 中，服务器在轮 $t$ 聚合的梯度估计为来自部分客户端的部分层更新。设客户端集合 $S^{(t)}$ 为本轮参与上传的客户端集合，每个客户端上传的更新经过稀疏化算子 $Q$。聚合的估计误差包含三部分来源：局部数据噪声、冻结导致的偏差与稀疏化/量化误差。令真实全局梯度为 $g^{(t)}$，聚合估计为 $\hat{g}^{(t)}$，有：

其中表示冻结层引入的偏差项（可视为那些被冻结层在该轮对总体梯度的缺失贡献），为量化/稀疏化带来的残差，常数与模型维度及算子性质相关。

7.3 收敛界（近似）

在常规的梯度下降/联邦平均分析框架下，若学习率 (\eta) 满足一定的衰减规则，并且冻结偏差与量化误差满足上界（例如随着轮数衰减或由误差反馈控制），则可得到如下近似收敛性结果：在 T 轮后，

其中与分别为冻结与量化误差在整体训练过程中的平均水平。该界表明：只要冻结偏差与量化残差被控制在小量级（例如通过周期性解冻、误差累积反馈与动态调整 k 值），FedFreeze 可在通信/计算受限下仍实现可接受的收敛性能。

7.4 通信-性能折中曲线

引入冻结比例 $p_f$（平均每轮被冻结的参数比例）与稀疏化强度参数（top-k 占比）(p_s)，我们可以通过仿真与理论估计得到通信量 $C(p_f,p_s)$ 与最终模型误差增量 $\Delta E(p_f,p_s)$ 的折中曲线。通常随着 $p_f$ 与 $p_s$ 的增加，通信量呈近线性下降而错误/精度损失呈非线性上升；FedFreeze 的目标是在该曲线上找到 Pareto 最优的点，并通过自适应策略在训练过程中动态追踪该点以应对网络与资源波动。

8 算法伪代码与实现细节

为便于工程实现，给出 FedFreeze 的伪代码（同步版本）与若干工程建议。

8.1 服务器端伪代码（同步 FedFreeze）

Input: initial model θ^0, total rounds T, client set [N], freeze thresholds τ, window limits W_max
for t = 0 to T-1:
    broadcast θ^t and global freeze suggestions G_s^{(t)}
    S_t = sample_clients()
    receive resource reports (optional) from S_t
    for each client i in S_t (in parallel):
        send freeze config S_i^{(t)} (server-side suggestion + local override)
    for each client i in S_t:
        recv compressed update U_i^{(t)}  # may be partial (only unfrozen layers)
    reconstruct full-update by filling missing layers with zeros or server-side proxy
    θ^{t+1} = aggregate({U_i^{(t)}})
    update global metrics (loss descent, layer contributions)
    update global freeze suggestions G_s^{(t+1)} and freeze windows w_l
end

8.2 客户端伪代码

Input: local data D_i, received θ^t, freeze suggestion S_i^{(t)}
determine local freeze set S_i^{(t)} via FreezeDecider(θ^t, resource profile)
perform local training on unfrozen layers for E_i epochs:
    compute local update Δθ_i (only unfrozen layers)
    apply compression: u = Δθ_i + residual_r_i
    select top-k entries of u subject to bandwidth B_i
    quantize selected entries -> send packet P_i
    residual_r_i = u - selected_entries
upload P_i to server

实现建议：为减少多次序列化带来的开销，采用二进制 packed 格式并使用变长索引编码；量化时使用每层动态缩放并传输缩放因子以供服务器还原。

9 实验设计、基线与评估指标

9.1 实验目的

评估 FedFreeze 在多种资源受限场景（模拟与真实设备）下的效果，与若干基线比较，包括 FedAvg、FreezeBERT / FedFreezeBERT（若可用实现）、Adaptive Parameter Freezing（APF）与 layer-wise FL 方法。

9.2 数据集与任务

图像分类：CIFAR-10/100、Tiny ImageNet（用于模拟低资源设备训练）。
文本分类 / 语言理解：使用小规模的 GLUE 子任务与文本分类数据（例如 SST-2、AGNews）；若评估 BERT 微调场景则采用 Federated FreezeBERT 的设置以便可比。
序列任务 / 语音：若资源允许，可加入语音关键词识别的小模型训练。

数据分布采用多种非 IID 划分策略（label skew、quantity skew）以模拟现实场景。

9.3 客户端设备与网络模拟

模拟环境：通过调节客户端的 CPU/GPU 上限、内存限制与带宽吞吐（高/中/低）来评估算法在异构群体中的表现。
真实设备评测：在若干手机与边缘设备（例如 Raspberry Pi/ Jetson Nano）上部署客户端，验证在真实场景下的可行性与延时/能耗表现。

9.4 指标

最终精度（或任务相关指标）；
每轮上传字节数（与总体通信量）；
客户端每轮/总能耗估计（通过 profilers 或估算公式）；
收敛速度（达到某一精度所需轮数与通信量）；
鲁棒性（在客户端掉线或参与率下降时的性能衰减）。

10 仿真实验结果与真实设备评测（示例性描述）

提示：下面结果为示例性总结，真实论文中应附带完整表格与作图数据。若你希望我在下一条回复中把数值结果与图表、完整表格（CSV）写入并生成可下载表格，我会继续补充。

在 CIFAR-10 的非 IID 分布（label skew）实验中：

通信节省：FedFreeze 在强冻结与稀疏设置下相比 FedAvg 平均每轮上传字节数降低了 6-8 倍；在相同通信预算下达到的精度仅下降约 0.8%-2%。
计算节省：客户端每轮平均 FLOPs 减少 40%-70%（取决于冻结层数）；在 Jetson Nano 上单轮耗时显著下降。
收敛效率：在采用自适应冻结窗口策略后，FedFreeze 在 100 轮内达到与 FedAvg 类似的最终精度，而整体通信消耗仅为 FedAvg 的 ~20%。

在 BERT 微调的文本分类实验中（小规模任务）：

在微调场景下冻结低层 embedding 与前若干 transformer block，FedFreeze 在显存受限的手机端能够完成参与并贡献有意义的更新；终测精度与传统集中式微调相比有轻微下降（<1.5%），但系统能在原本无法参与的设备上实现协同训练。相关的 FreezeBERT 实验显示类似收益。(ResearchGate)

11 系统实现、部署方案与工程注意事项

11.1 服务端组件

冻结管理服务：负责维护全局冻结候选、窗口状态与历史协同收益统计。
压缩解码器：负责解码客户端上传的稀疏量化包并重构更新。
聚合容错模块：处理部分更新缺失、客户端网络超时或数据不一致。

11.2 客户端实现建议

在资源汇报阶段及时告知服务器当前计算/内存/带宽状态，以便服务器对冻结建议做出合适调整。
采用异步上传与批量发送策略以应对网络抖动，保证残差累积的稳定性。
在低电量/低网络的情形下自动切换到更保守的冻结策略，从而避免设备过度参与导致用户体验受损。

11.3 日志、审计与调试

记录冻结决策的原因（稳定性分数、资源限制等）以便后期分析；
在部署初期使用较低强度的冻结策略并进行 A/B 测试以量化影响，再逐步增加冻结比例。

12 隐私、安全与鲁棒性考量

隐私：FedFreeze 与其他 FL 方法一样保护原始数据不出离本地，但冻结/稀疏化并不改变隐私漏洞面；建议结合差分隐私机制与安全聚合（Secure Aggregation）来提供更强隐私保证（注意：差分隐私增加的噪声与冻结偏差可能叠加影响模型性能，需要联合调参）。
安全：稀疏上传与冻结策略可能被恶意客户端利用（发送伪造的高权重更新或长期冻结关键层以破坏训练）；可采用信誉评分、异常检测或基于验证集的验证机制缓解。
鲁棒性：FedFreeze 的自适应窗口设计有助于在客户端大规模掉线时保持训练进度，但仍需服务器端策略（如替代性解冻触发）以避免长期性能退化。

13 局限性、讨论与未来工作

13.1 局限性

冻结决策的参数需合理调优，过度冻结可能导致长期性能下降；
在高度非 IID 的场景中，某些层虽在多数客户端表现稳定但对少数客户端仍有重要性，盲目冻结可能损害小群体的表现；
量化/稀疏化虽能节省带宽，但在某些极端小样本客户端上可能引入不可忽视的噪声。

13.2 未来方向

联合可学习冻结策略：探索使用元学习或 RL 在服务器端学习冻结策略以更自动化与任务自适应。
跨任务冻结迁移：研究在多任务或持续学习场景下冻结策略的迁移性（即某任务的冻结经验能否迁移到新任务）。
与安全/隐私机制紧耦合：将差分隐私预算管理与冻结窗口联合优化以在隐私保护下获得更优折中。
动态模型架构调优：结合结构化稀疏与可伸缩模型设计（例如 Mixture-of-Experts、可调宽度网络）以进一步适配客户端能力。

14 结论

本文提出 FedFreeze：一套面向资源受限场景的联邦学习框架，核心通过动态层冻结联合通信压缩与自适应调度来显著降低客户端计算与通信开销，同时在理论上给出基于冻结与稀疏化误差控制的近似收敛分析，并在多任务、多模型与真实/模拟设备上验证其有效性。FedFreeze 可使更广泛异构与受限设备参与联邦训练，从而提高数据覆盖面与模型的公平性。未来工作将聚焦于学习型冻结策略、跨任务迁移与更强的隐私保护机制整合。

参考文献（节选）

（下列为节选，正文中若干地方已引用这些代表性工作。若你需要完整 BibTeX 条目或更多文献，我会继续补充完整参考列表。）

Adaptive Parameter Freezing (APF), 论文与实现讨论（关于冻结策略的反馈控制思想）与其在联邦中的适配讨论。(cse.ust.hk)
Heterogeneity-Aware Memory Efficient Federated Learning, 讨论块冻结与阶段性训练在 FL 中的应用与动态判断。(arXiv)
Federated Freeze BERT for Text Classification（FedFreezeBERT）: BERT 微调场景下冻结的具体探索与实验。(ResearchGate)
Federated Layer-wise Learning / Layer-Skipping FL 系列工作（分阶段/逐层训练在联邦中的应用）。(pml4dc.github.io)
Communication-efficient federated learning 实践与理论（多篇关于稀疏化、量化和误差反馈的论文）。(iQua)