本文介绍了内容感知Token聚合网络（CATANet）中的局部区域自注意力（LRSA）模块在YOLO26中的结合。基于Transformer的图像超分辨率方法存在计算复杂度高、捕捉长距离依赖能力受限等问题。LRSA作为CATANet的核心辅助模块，通过重叠补丁策略强化局部特征交互，补充局部细节。我们将相关代码加入指定目录，在ultralytics/nn/tasks.py中注册，配置YOLO26 - LRSA.yaml文件，最后通过实验脚本和结果验证了方法的有效性。

文章目录： YOLO26改进大全：卷积层、轻量化、注意力机制、损失函数、Backbone、SPPF、Neck、检测头全方位优化汇总

专栏链接: YOLO26改进专栏

介绍

摘要

基于 Transformer 的方法在图像超分辨率（SR）等底层视觉任务中展现出了卓越的性能。然而，其计算复杂度随着空间分辨率的增加呈二次方级增长。一系列研究工作试图通过将低分辨率图像划分为局部窗口（local windows）、轴向条纹（axial stripes）或空洞窗口（dilated windows）来缓解这一问题。SR 通常利用图像的冗余性进行重建，而这种冗余不仅存在于局部区域，也存在于长距离区域中。然而，上述方法将注意力计算局限在与内容无关的局部区域内，直接限制了注意力机制捕捉长距离依赖关系的能力。为了解决这些问题，我们提出了一种轻量级的内容感知 Token 聚合网络（CATANet）。具体而言，我们提出了一种高效的内容感知 Token 聚合模块，用于聚合长距离且内容相似的 Token，该模块在所有图像 Token 间共享 Token 中心，且仅在训练阶段对其进行更新。随后，我们利用组内自注意力（intra-group self-attention）来实现长距离的信息交互。此外，我们还设计了一种组间交叉注意力（inter-group cross-attention），以进一步增强全局信息的交互。实验结果表明，与最先进的（SOTA）基于聚类的方法 SPIN 相比，我们的方法取得了更优越的性能，PSNR 最大提升了 0.33dB，且推理速度几乎翻倍。

文章链接

论文地址：论文地址

代码地址：代码地址

基本原理

Local-Region Self-Attention（LRSA，局部区域自注意力）是CATANet中负责细化图像局部细节的核心辅助模块，与捕捉长距离依赖的Token-Aggregation Block（TAB）形成功能互补，共同支撑轻量级图像超分辨率任务的高效性能。其设计核心是在低计算复杂度前提下，强化局部范围内像素/特征块的信息交互，弥补长距离注意力在细节还原上的不足。

一、核心定位与设计目标

1. 核心定位

作为CATANet深度特征提取阶段的关键组件（每个残差组RG包含TAB、LRSA和3×3卷积），LRSA专注于局部特征交互——在长距离依赖已被TAB捕捉后，进一步优化图像边缘、纹理等细粒度细节，避免因过度关注全局信息导致的局部模糊或 artifacts。

2. 设计目标

• 补充局部细节：与TAB的长距离信息捕捉形成“全局+局部”双重保障，提升超分辨率图像的细节还原度；
• 保持轻量化：采用高效结构设计，避免局部注意力计算引入过多冗余，适配手机等资源受限设备；
• 兼容并行计算：通过重叠补丁（Overlapping Patches）设计，兼顾局部交互效果与计算效率。

二、核心设计与工作原理

1. 结构来源与基础设计

LRSA参考了HPINet（Hierarchical Pixel Integration Network）的局部注意力结构，核心采用重叠补丁（Overlapping Patches） 策略：

• 将输入特征图划分为多个相互重叠的局部补丁（而非无重叠的独立窗口），确保相邻区域的特征能自然交互，避免窗口边界处的细节断裂；
• 所有补丁共享查询（Q）、键（K）、值（V）的权重矩阵，减少参数数量，降低计算复杂度。

2. 具体工作流程

设LRSA的输入为经过TAB处理后的特征图 ( X_o \in \mathbb{R}^{N \times d} )（其中 ( N ) 为特征token数量，( d ) 为特征维度），其工作流程可概括为3步：

1. 补丁划分与特征投影：将输入特征图按固定尺寸（如8×8）划分为重叠补丁，每个补丁通过共享权重矩阵 ( W^Q、W^K、W^V \in \mathbb{R}^{d \times d} ) 分别投影为查询向量 ( Q )、键向量 ( K ) 和值向量 ( V )；
2. 局部自注意力计算：在每个补丁内部执行多头自注意力（MSA）运算，捕捉补丁内特征的局部依赖关系（如相邻像素的纹理关联、边缘连续性）；
3. 特征融合与输出：将所有补丁的注意力输出按原位置拼接，得到细化后的局部特征图 ( X_{out} \in \mathbb{R}^{N \times d} )，传递给后续的ConvFFN（卷积前馈网络）进一步优化。

3. 关键特性

• 重叠补丁设计：区别于SwinIR的非重叠固定窗口，重叠设计让局部注意力更平滑，避免“窗口效应”导致的图像边缘生硬；
• 权重共享：所有补丁共用一套Q/K/V投影权重，相比为每个补丁单独设计权重，参数数量减少约10%-20%（根据补丁数量调整），符合轻量化需求；
• 低计算复杂度：注意力计算仅局限于局部补丁内，复杂度与补丁尺寸呈线性关系，而非全局自注意力的二次复杂度，确保推理效率。

三、与其他注意力机制的区别与互补

1. 与CATANet内部核心注意力的互补

LRSA的核心价值的是“补位”——IASA和IRCA解决了“长距离相似信息交互”问题，但可能忽略局部像素的精细关联，而LRSA专注于局部细节修复，三者形成“全局依赖+局部细节”的完整覆盖。

2. 与传统局部注意力的区别

• 相比SwinIR的“固定窗口注意力”：LRSA的重叠补丁设计避免了窗口边界的信息割裂，细节还原更自然；
• 相比NLSA（非局部稀疏注意力）：LRSA不依赖哈希分组，无需处理哈希冲突，分组更稳定，且计算更高效；
• 相比CNN的局部卷积：LRSA通过自注意力机制能自适应捕捉局部特征的关联强度（如强边缘与弱纹理的差异化关注），而卷积的局部交互是固定权重的，灵活性更弱。

核心代码

class LRSA(nn.Module):
    """Attention module.
    Args:
        dim (int): Base channels.
        num (int): Number of blocks.
        qk_dim (int): Channels of query and key in Attention.
        mlp_dim (int): Channels of hidden mlp in Mlp.
        heads (int): Head numbers of Attention.
    """

    def __init__(self, dim, qk_dim, mlp_dim,heads=1):
        super().__init__()

        self.layer = nn.ModuleList([
                PreNorm(dim, Attention(dim, heads, qk_dim)),
                PreNorm(dim, ConvFFN(dim, mlp_dim))])

    def forward(self, x, ps):
        step = ps - 2
        crop_x, nh, nw = patch_divide(x, step, ps)  # (b, n, c, ps, ps)
        b, n, c, ph, pw = crop_x.shape
        crop_x = rearrange(crop_x, 'b n c h w -> (b n) (h w) c')

        attn, ff = self.layer
        crop_x = attn(crop_x) + crop_x
        crop_x = rearrange(crop_x, '(b n) (h w) c  -> b n c h w', n=n, w=pw)

        x = patch_reverse(crop_x, x, step, ps)
        _, _, h, w = x.shape
        x = rearrange(x, 'b c h w-> b (h w) c')
        x = ff(x, x_size=(h, w)) + x
        x = rearrange(x, 'b (h w) c->b c h w', h=h)

        return x

实验

脚本

import warnings
warnings.filterwarnings('ignore')
from ultralytics import YOLO

if __name__ == '__main__':
#     修改为自己的配置文件地址
    model = YOLO('./ultralytics/cfg/models/26/yolo26-LRSA.yaml')
#     修改为自己的数据集地址
    model.train(data='./ultralytics/cfg/datasets/coco8.yaml',
                cache=False,
                imgsz=640,
                epochs=10,
                single_cls=False,  # 是否是单类别检测
                batch=8,
                close_mosaic=10,
                workers=0,
                optimizer='MuSGD',
                amp=True,
                project='runs/train',
                name='yolo26-LRSA',
                )

结果