在目标检测任务中，特征融合结构（Neck）对模型性能具有至关重要的影响。本文基于YOLO26架构，引入了一种轻量级、内容感知的上采样算子——CARAFE（Content-Aware ReAssembly of FEatures），以替代传统上采样方式（如最近邻、双线性插值），显著提升特征图细节保留和上下文感知能力。CARAFE具备大感受野、自适应卷积核生成、计算开销小等优势，特别适用于高效模型的精度增强。通过将CARAFE集成进YOLO26的Neck部分，实现更精准的特征重组和多尺度信息融合。本文将详细介绍CARAFE的原理、PyTorch实现方法及其在YOLO26中的集成过程，并提供完整复现教程，适用于研究者和工程落地场景。

文章目录： YOLO26改进大全：卷积层、轻量化、注意力机制、损失函数、Backbone、SPPF、Neck、检测头全方位优化汇总

专栏链接: YOLO26改进专栏

介绍

摘要

特征上采样是许多现代卷积网络架构中的关键操作，例如特征金字塔。其设计对于密集预测任务（如目标检测和语义/实例分割）至关重要。在这项工作中，我们提出了内容感知特征重组（CARAFE），这是一种通用、轻量且高效的操作符，以实现这一目标。CARAFE 具有以下几个吸引人的特性：（1）大视野。与之前的工作（例如双线性插值）仅利用子像素邻域不同，CARAFE 可以在大的感受野内聚合上下文信息。（2）内容感知处理。与使用固定卷积核处理所有样本（例如反卷积）不同，CARAFE 允许特定实例的内容感知处理，能够即时生成自适应卷积核。（3）轻量且计算快速。CARAFE 引入的计算开销很小，可以轻松集成到现代网络架构中。我们在标准基准测试中进行了全面评估，涵盖了目标检测、实例/语义分割和图像修复等任务。CARAFE 在所有任务中都显示出一致且显著的提升（分别为 1.2% AP、1.3% AP、1.8% mIoU、1.1dB），且计算开销可以忽略不计。它有望成为未来研究的强大构建模块。代码和模型可在 https://github.com/open-mmlab/mmdetection 获取。

文章链接

论文地址：论文地址

代码地址：代码地址

复现代码参考：代码地址1

复现代码参考：代码地址2

基本原理

CARAFE（Content-Aware ReAssembly of FEatures） 是具备下面这些特性的上采样算子。

1. Large receptive field（大感受野）：可以更好地利用周围的信息。
2. Content-aware（内容感知）：上采样核应与特征图的语义信息相关，基于输入内容进行上采样。
3. Lightweight（轻量化）：不能引入过多的参数和计算量。

CARAFE 分为两个主要模块：上采样核预测模块和特征重组模块。假设上采样倍率为 $r$，给定一个形状为 $C \times H \times W$ 的输入特征图，我们首先通过上采样核预测模块预测上采样核，然后通过特征重组模块完成上采样，得到形状为 $C \times rH \times rW$ 的输出特征图。

上采样核预测模块

1. 特征图通道压缩： 对于形状为 $C \times H \times W$ 的输入特征图，首先用一个 $1 \times 1$ 卷积将其通道数压缩到 $C // 4$，以减少后续步骤的计算量。

2. 内容编码及上采样核预测： 假设上采样核尺寸为 $k \times k$（上采样核越大，感受野和计算量越大）。如果希望对输出特征图的每个位置使用不同的上采样核，需要预测的上采样核形状为 $k^2 \times H \times W$。对于压缩后的输入特征图，通过一个 $3 \times 3$ 卷积层来预测上采样核，输入通道数为 $C // 4$，输出通道数为 $k^2$，然后将通道维在空间维展开，得到形状为 $k^2 \times H \times W$ 的上采样核。

3. 上采样核归一化： 对第二步中得到的上采样核进行 softmax 归一化，使得卷积核权重和为 1。

特征重组模块

对于输出特征图中的每个位置，将其映射回输入特征图，取出以之为中心的 $k \times k$ 区域，与预测出的该点的上采样核作点积，得到输出值。同一位置的不同通道共享同一个上采样核。

核心代码

无

实验

脚本

import warnings
warnings.filterwarnings('ignore')
from ultralytics import YOLO

if __name__ == '__main__':
#     修改为自己的配置文件地址
    model = YOLO('./ultralytics/cfg/models/26/yolo26-CARAFE.yaml')
#     修改为自己的数据集地址
    model.train(data='./ultralytics/cfg/datasets/coco8.yaml',
                cache=False,
                imgsz=640,
                epochs=10,
                single_cls=False,  # 是否是单类别检测
                batch=8,
                close_mosaic=10,
                workers=0,
                optimizer='MuSGD',  
                # optimizer='SGD',
                amp=False,
                project='runs/train',
                name='yolo26-CARAFE',
                )