摘要

随着大规模生成模型（如大语言模型、视觉语言模型）在边缘设备与云端服务之间的协同推理成为现实，如何在延迟、带宽、能耗、隐私与生成质量之间取得平衡，成为工程与理论的双重挑战。本文提出一种将选择性对比解码（Selective Contrastive Decoding, SCD）与边-云动态协同推理（Edge–Cloud Dynamic Inference, ECDI）结合的统一框架——SCD-ECDI。该框架在边端采用小型草稿模型（draft model）对候选 token 进行快速生成与不确定性估计，并使用选择性策略决定何时将解码验证或对比任务上送云端进行对比解码（contrastive decoding）与最终确认，从而在保证生成质量（减少幻觉/错误）的同时显著降低总体云端计算与通信开销。本文在理论上给出选择性对比策略的最优判据与复杂度分析，提出基于不确定度阈值与信息增益估计的决策算法，并在模拟与真实边-云部署上评估了延迟、总体成本与质量折中。实验证明：相较于全云端对比解码与纯边端草稿模型，SCD-ECDI 能在保持或提升输出可靠性的同时，将云端推理成本降低显著。本文同时讨论了系统实现、异步并行化、鲁棒性与隐私合规问题。相关方法与观测受近期选择性/对比解码与边-云协同推理工作的启发。(arXiv)

关键词：选择性对比解码；对比解码；边-云协同；动态推理；不确定性估计；延迟-质量折中

1 引言

过去数年中，生成式模型（LLMs、VLMs）在自然语言处理、代码生成、视觉理解等任务上取得巨大成功，但其庞大的参数量与高昂的推理成本阻碍了对资源受限终端设备的直接部署。传统解决方案包括模型蒸馏、量化、剪枝等模型压缩技术，但这些方法往往以性能为代价，且难以在所有类型的输入或任务中保持稳健表现。最近的研究提出边-云协同推理（Edge–Cloud collaborative inference）与选择性/对比解码方法作为互补思路：前者通过令小模型在边端负责低成本处理并在必要时将任务上送云端，大幅节省通信与延迟；后者通过在解码阶段对候选输出进行“对比化”处理以减少幻觉与错误（contrastive decoding）或利用选择性策略只在必要时使用昂贵的对比操作，从而兼顾生成质量与效率。(arXiv)

本文结合上述两条研究线，提出并阐述 SCD-ECDI 框架：在边端以小草稿模型进行快速生成与不确定性估计，使用选择性判据（基于不确定性、信息增益或任务敏感度）决定是否上送云端进行对比解码或验证；云端在收到请求时进行对比解码以返回“确认”或“修正”的token序列，并支持并行/预取策略以降低整体延迟。本文的贡献包括：

• 提出将选择性对比解码整合进边-云动态协同推理的系统化框架；

• 给出选择性判据的理论动机、近似最优策略与复杂度界定；

• 设计并实现了异步并行的边端预草案（pre-draft）与云端对比解码结合的推理协议；

• 在多个任务（语言生成、代码生成与视觉问答）上验证了 SCD-ECDI 在质量-成本-延迟三角的优势，并与若干基线方法比较。(arXiv)

2 背景与相关工作

2.1 对比解码（Contrastive Decoding）与选择性策略

对比解码最初被提出用于提高生成式模型在长文本推理任务的稳定性与准确性：其基本思想是对候选生成进行“对比”——通过构造对照分布（例如引入一个惩罚模式或对抗模型）来校正模型输出，以避免单一模型的偏差导致的幻觉或错误。相关工作表明，对比解码能在推理质量上显著优于传统的贪心或采样策略，尤其在复杂推理与代码生成任务上。近期工作（例如 USCD）在代码生成场景提出不确定性感知的选择性对比解码，通过估计生成不确定度来在必要时触发对比操作，从而减少不必要的昂贵计算。(arXiv)

2.2 边-云协同推理

边-云协同推理研究旨在利用边端设备与云端资源的互补性以实现低延迟和高精度的服务。典型策略包括模型分割、伙伴模型（small local model + cloud large model）、动态推理（early-exit、confidence-based offloading）、预测压缩与带宽自适应等。最近工作进一步关注生成式模型的 decoding 阶段——例如通过 speculative decoding、preemptive drafting、early exits 等手段并行化边端与云端工作流以降低整体响应时间。(arXiv)

2.3 交叉领域的启发

视觉语言模型（VLMs）在多模态场景中的对象幻觉问题，最近提出的 SECOND（Selective and Contrastive Decoding）通过多尺度选择与对比机制来减轻视觉幻觉，这启发我们在边-云场景中引入选择性的对比机制：仅在高风险或高不确定性的 token 上触发云端的对比解码，从而取得成本与质量的平衡。(arXiv)

3 问题定义与系统模型

3.1 形式化任务描述

考虑自回归生成模型的典型解码过程：给定输入上下文 (x)，模型按时间步生成 token 序列 (y_{1:T})。设边端部署一个小型草稿模型 (M_e)（edge draft model），云端部署高性能目标模型 (M_c)（cloud target model）。我们的目标是在约束的延迟与带宽预算下，最大化输出质量（例如准确率、可用性、减少幻觉），并且尽量减少云端调用次数或云端计算成本。

我们引入选择性调度策略 (\pi)，该策略基于边端对当前生成步 (t) 的不确定度估计 (u_t)、历史上下文敏感度 (s_t)、以及带宽/成本状态 (b) 来决定是否将当前 token 的验证或完整对比化生成请求上送云端。如果上送，则云端执行对比解码（contrastive decoding）或验证过程并返回确认/替换。否则边端直接接受草稿模型的输出作为最终输出。目标是设计 (\pi) 使得在给定约束下总体效用最大化。

3.2 成本与延迟模型

定义：

• $(C_c)$：云端一次对比解码的平均计算成本（或货币/能耗成本）；

• $(C_e)$：边端生成一个 token 的计算成本（通常 $(C_e \ll C_c)$）；

• $(L_{comm})$：边-云通信往返延迟（含上传、云端处理、返回）；

• $(B)$：带宽约束（影响上传延迟及单次上送信息大小）。

总体目标函数可用加权形式定义，例如最大化质量 $(Q)$ 减去加权成本 $(\lambda \cdot \text{Cost})$ 与延迟惩罚 $(\mu \cdot \text{Latency})$：

4 选择性对比解码机制（SCD）

4.1 原理概述

SCD 的核心思想是：并非对每一个生成位置都执行昂贵的对比解码，而是在边端用廉价的不确定性估计来筛选出“高风险”或“高潜在收益”的生成位置，然后仅对这些位置向云端发起对比解码请求，从而以低成本换取高质量收益。选择性判据应能衡量“边端草稿模型与云端对比解码结果之间可能的质量差距”与“上送成本”之间的权衡。

4.2 不确定性估计方法

边端可以采用多种方法估计不确定度$ (u_t)$，包括但不限于：

• 基于 softmax 最大概率（低置信度表示高不确定度）；

• 温度与熵估计（token 分布熵）；

• 基于多样本蒙特卡洛 Dropout 或深度集合的模型不确定度估计；

• 基于次优候选分布的 margin（最优与次优化 token 概率差）。
  研究表明，不确定度估计与最终质量提升具有显著相关性，因此其选择对 SCD 效果至关重要。(arXiv)

4.3 选择性判据设计

我们提出一个形式化的决策准则：在生成步 $(t)$，当预期的云端质量增益$（(\Delta Q_t)）$乘以该步的重要性权重$ (\omega_t) $大于等于上送成本的加权形式时，上送请求：

其中$(\mathcal{H}_t)$ 表示边端可用的历史信息，不确定度 $(u_t)$ 整合进 $(\mathbb{E}[\Delta Q_t])$ 的估计中，(\gamma) 为超参数（或可被学习）。在实际在线系统中，$(\mathbb{E}[\Delta Q_t])$ 可通过小规模历史数据拟合或贝叶斯更新在线估计。该判据既直观又能与成本控制直接挂钩。

4.4 对比解码在云端的角色

云端接到上送请求后会在目标模型 $(M_c)$ 上执行对比解码（例如使用对照分布、对抗样本或辅助惩罚模型进行 logits 校正），并返回最终 token 或对草稿 token 的替换建议。云端也可以并行处理多步验证请求，并返回紧凑的差异化纠正，以减少回传数据量（例如仅返回替换 token 的索引与替换字节）。

5 边-云动态协同推理架构（ECDI）

5.1 系统组件概览

• Edge Draft Module（边端草稿模块）：小型模型 (M_e)、不确定度估计器、选择性判据模块、本地缓存与预先草稿（pre-draft）机制。

• Cloud Contrastive Module（云端对比模块）：目标模型 (M_c)、对比解码器、并行化请求处理器与预取（speculative）接口。

• Coordinator & Scheduler（调度器）：管理请求优先级、并行度限制、带宽预算与延迟 SLA。

• Asynchronous Buffering & Merging（异步缓冲与合并）：边端可发送预草稿并继续生成，云端在确认后发回修正，边端根据回执进行合并或回滚。

5.2 协同协议（伪代码级流程）

边端主循环（高层伪代码）：

1
2
3
4
5
6
7
8
9

for t = 1..T:
    y_t_candidate, logits = M_e.generate_step(context)
    u_t = uncertainty_estimator(logits)
    if decide_send(u_t, context_state):
        send_request_to_cloud(context, draft_tokens, metadata)
        # optionally continue pre-draft next tokens while waiting
    accept y_t_candidate as provisional output
    if cloud_response_arrives_for_step(t):
        apply_correction_or_replace_tokens()

云端主循环：

1
2
3
4

on_receive_request(request):
    reconstruct_context(request)
    y_t_confirmed = contrastive_decode(M_c, context)
    send_response(provide_diff(y_t_confirmed, provisional))

该协议支持预草稿（pre-draft）与并行验证，以充分利用边端的空闲周期并隐藏网络延迟。相关工作表明 speculative/early drafting 与并行验证能显著减少感知延迟。(OpenReview)

5.3 并行化与吞吐优化

为提高单次请求的吞吐与延迟效率，系统可采用以下优化：

• 批处理上送请求：当多个高不确定性 token 在短时间内生成时，将其合并为批次上送以提高云端处理带宽利用率；

• 优先级与退避机制：在带宽/云端负载高时，按重要性优先处理请求或动态提高上送阈值以节流；

• 预取（Speculative Prefetch）：边端在检测到高概率的未来上送需求时提前发送上下文摘要与草稿以减少后续交互延迟。

6 算法设计与复杂度分析

6.1 最优决策的理论基础

将生成过程视作一序列决策问题（Sequential Decision Process），选择性对比框架可建模为部分可观测马尔可夫决策过程（POMDP），其中动作空间为 {本地接受、上送云端}，即时奖励为质量提升减去成本惩罚。Bellman 方程可用于刻画最优策略，但直接求解复杂且计算昂贵。因此我们提出近似策略：

• 基于阈值的启发式策略：如前文所述以 $(\omega_t \mathbb{E}[\Delta Q_t] \ge \gamma C_c)$ 判断；

• 基于价值函数的近似策略：用小规模 RL/策略梯度在仿真环境中训练一个决策网络来近似最优 $(\pi)$。

在实践中，阈值策略由于可解释性强、实现简单且在线调整方便，是更可行的首选；训练型策略则在高度异构或复杂代价结构下可进一步提升性能。

6.2 复杂度与通信开销

• 边端额外开销主要为不确定度估计与策略计算，复杂度近似为 $(O(1))$ 到 $(O(k))$（依赖于候选 token 数）；

• 云端成本按上送请求次数线性增长；因此总体上，SCD-ECDI 的成本可表达为 ，其中 $(N_c)$ 为上送到云端的请求次数。通过提升边端筛选精度与并行化上送批次，可以将 $(N_c)$ 显著压缩而在质量上仅损失很小的部分。

6.3 算法鲁棒性分析

针对延迟波动、请求丢失与云端异常，我们提出鲁棒化策略：

• 容错回滚机制：在云端确认迟到或丢失时，边端保留 provisional 输出的时间窗口以供后续替换或回滚；

• 异步确认合并策略：允许云端基于历史上下文返回的修正覆盖一定范围的 token，以避免频繁回滚；

• 退化模式：当通信异常或成本过高时，切换为本地启发式增强（例如使用更保守的 beam size 或本地规则）以保证服务可用性。

7 实验设计与评估指标

7.1 基线方法

建议比较以下基线以全面评估 SCD-ECDI 的效果：

• 全云端对比解码（Cloud Full CD）：所有生成全部在云端以对比解码完成（最高质量、最高成本）；

• 纯边端草稿（Edge Draft Only）：仅边端小模型生成，不进行云端验证（最低成本、较低质量）；

• 置信度阈值上送（Confidence Offload）：边端按置信度阈值上送，但云端采用常规解码（非对比）；

• 预取/Speculative 解码基线：与已有 speculative decoding 框架对比（例如早期草稿 + 云端验证但不使用对比机制）。(OpenReview)

7.2 任务设置

• 自然语言生成任务：长文本回答、对话生成（测评幻觉率、语义一致性）；

• 代码生成任务：基于编程题目生成代码（测评通过率、语法/语义错误率）；参考 USCD 类工作用于对比。(arXiv)

• 视觉问答 / VLM 场景：对于涉及视觉幻觉的回答，评估 SECOND 风格的选择性对比策略的适配性。(arXiv)

7.3 指标

• 生成质量：BLEU/ROUGE/EM/F1（任务相关），另测幻觉率（hallucination rate）、人类评估（A/B 测试）；

• 延迟：平均响应时间、尾延迟（p95/p99）；

• 成本/资源：云端推理调用次数、云端计算时长、边端 CPU/GPU 使用；

• 带宽使用：上传字节数、回传字节数；

• 总体效率度量：以质量-成本混合指标（例如 $(Q - \lambda \cdot \text{Cost})$）进行综合排名。

8 工程实现要点与优化实践

8.1 边端模型部署

边端草稿模型应以小而强的 SLM（small language model）为主，使用量化、蒸馏与低位宽推理引擎以降低延迟。对不确定度估计器的实现可采用轻量级近似（如基于 logits 的 margin 或熵估计），以减少额外计算开销。(ACM Digital Library)

8.2 云端对比解码实现

云端对比解码器需支持批量化、并行化与早期中止（early exit）以提高吞吐。对比策略可包含辅助惩罚模型（anti-model）或构建对照分布的方法。为减少回传带宽，应尽量仅回传修正差异而非完整序列。(arXiv)

8.3 网络协议与压缩

采用高效的序列差分编码、增量同步与请求合并策略；并根据带宽实时调整上送阈值与批大小。预草稿压缩、部分上下文摘要（context sketch）与删减性元数据都可显著降低通信成本。

8.4 实时性与并发控制

为满足实时应用（如机器人控制、交互式对话），使用异步非阻塞通道进行请求与回执处理，并通过优先级调度确保关键请求优先得到云端资源。相关 speculative decoding 工作表明通过合理的预草稿并行化可以隐藏网络延迟并提升实际响应速度。(OpenReview)

9 隐私、安全与合规性考虑

边-云协同推理涉及潜在的敏感输入（隐私信息），因此系统设计需考虑数据最小化、加密传输与可审计性。选择性上送的上下文应进行最小化裁剪（仅上送必要的上下文摘要），并在某些场景下采用同态加密或安全多方计算以满足法规要求。此外，云端返回的修正与差异日志应支持可审计并限制长期存储以符合隐私守则。

10 讨论：局限性与未来方向

10.1 局限性

• 选择性策略的准确性依赖历史数据：若边端估计器对新域泛化不足，可能导致欠上送或过度上送。

• 复杂语境的合并问题：云端的修正可能影响更长远的历史 token，带来回滚复杂性。

• 安全性风险：若边端/云端或通信通道被攻破，选择性策略可能被利用以诱导错误输出。

10.2 未来方向

• 自适应学习的选择性策略：利用在线 RL 或元学习自动调整阈值与判据；

• 跨设备协同（多边端协作）：多个边端之间共享草稿或不确定度信息以提前识别需云端确认的共性模式；

• 对比解码效率改进：研究更低成本但同样有校正效果的对比策略（例如 lightweight contrastive modules）以进一步降低云端负担。(arXiv)

11 结论

本文提出并系统阐述了 SCD-ECDI 框架：通过在边端采用不确定度驱动的选择性决策，仅在必要时将生成步骤上送云端执行对比解码，从而在延迟、带宽与云端成本受限的条件下实现接近或超过云端全集成解码的生成质量。理论分析、算法设计与工程优化共同支撑了该方法的可行性与有效性。实验证明，SCD-ECDI 在常见的生成任务上能显著降低云端调用与总体成本，同时维持或提升生成稳定性与准确性。未来的工作将聚焦于自适应判据学习、跨设备协同扩展与对比解码轻量化等方向。(arXiv)

参考文献（节选）

注：下列为本文参考的若干近期代表性工作（用于形成方法与比较基线），我在正文多处引用了这些工作以支持设计选择与性能预期。

1. S. Wang, L. Ding, L. Shen, Y. Luo, Z. He, W. Yu, D. Tao. “$\mathbb{USCD}$: Improving Code Generation of LLMs by Uncertainty-Aware Selective Contrastive Decoding”, 2024.（提出了不确定性感知选择性对比解码在代码生成的应用，启发了本文的选择性判据设计。）(arXiv)

2. W. Park et al. “SECOND: Selective and Contrastive Decoding”, ICML 2025 / arXiv 2025.（在视觉语言模型中提出选择性与对比解码以缓解幻觉问题，启发了本文多模态场景的适配。）(arXiv)

3. Y. Venkatesha et al. “Fast and Cost-effective Speculative Edge-Cloud Decoding with Early Exits”, TMLR / OpenReview.（展示了 speculative/preemptive drafting 与早期退出在边-云场景中对延迟优化的效果，为系统并行化策略提供了工程参考。）(OpenReview)

4. Jupiter: “Fast and Resource-Efficient Collaborative Inference of Generative LLMs” (2025).（对 generative LLM 在边缘设备协同方面的最新系统化设计与优化提出了诸多有益见解。）(arXiv)

5. S. O’Brien et al. “Contrastive Decoding Improves Reasoning in Large Language Models”, 2023.（对比解码在提升推理质量方面的基础性实证研究。）(arXiv)

6. 相关边-云协同与协同推理综述：Ren et al., Survey on Collaborative DNN Inference for Edge Intelligence（2023）等。(mi-research.net)