原文作者：公众号“集智实验室”
原文链接：https://mp.weixin.qq.com/s/A55BBhD3e_s3VVC7mw1JNw
雷峰网(公众号：雷峰网)转载
你是否有过这样的经历：在医疗影像分析中，仅仅因为细胞切片旋转了一个角度，AI诊断模型就给出了截然不同的判断？在自动驾驶场景里，摄像头角度稍有倾斜，目标检测就开始漏检误报？
这背后是传统视觉模型的核心痛点——它们对物体的旋转、翻转等空间变换过于敏感。虽然旋转变换等变网络（Equivariant Networks）早在CNN时代就被提出，但当主流模型转向视觉Transformer（ViT）时，实现这种“等变性”却变得异常棘手。因为Transformer赖以成名的“位置编码”，恰恰成了破坏旋转对称性的元凶。
今天我们要深挖的这篇文章，提出了一种极简却极为优雅的方案——不需要复杂的位置编码，直接利用卷积投影和群自注意力机制，让ViT天然具备旋转反射等变性（Roto-reflection Equivariance）。这不仅砍掉了传统方法中繁琐的相对位置编码，还在多个数据集上碾压了前辈方法。让我们一探究竟。
要理解这项工作的价值，我们得先回到Transformer的基本原理。自注意力机制（Self-Attention）本质上是“排列等变”的——它把输入token当成一个无序的集合。对于处理图像来说，这无异于灾难：模型会完全忽略像素的空间位置关系。
于是，位置编码（Position Encoding）应运而生。绝对位置编码给每个位置一个唯一ID，但这破坏了平移等变性；相对位置编码（RPE）通过编码位置间的差异来保持平移等变，看似完美，却带来了计算复杂度的飙升——每一层、每个注意力头都要额外计算RPE，让模型变得臃肿。
更棘手的是，为了在自注意力中引入旋转等变性，现有的群等变方法（如G-SA）不得不进一步叠加复杂的旋转群编码和方向相关的RPE项：
这个公式背后，是每层大量的额外计算，让网络的训练和推理不堪重负。
那么问题来了：有没有可能，我们干脆扔掉位置编码，让模型自己“感受”到空间和旋转的结构？ 这正是REViT的核心破局思路。
REViT的架构设计非常直观。我们先通过一张整体框架图来建立全局认知。
从图中可以清晰看到，REViT的关键在于两个核心模块：Lifting层和分组卷积自注意力（G-CSA）。它们共同让模型在没有任何显式位置编码的情况下，天然具备了旋转等变性。
Lifting层的任务，是将一张普通的2D输入图像“提升”到一个更高维的表示空间，这个空间不仅包含空间位置信息，还显式编码了离散的方向（或旋转）通道。
想象一下，你拿到一张照片，然后用Photoshop生成了它的4个副本，分别旋转0°、90°、180°、270°。你把它们叠在一起，形成一个“多通道”的立体表示。Lifting层做的正是这件事，只不过它通过旋转卷积来完成。
对于输入图像 和一组可学习的卷积核 ，Lifting操作定义为：
这里的关键在于 。我们不再用固定的卷积核，而是对每个离散旋转群元素 （比如 ），都应用一个预先旋转好的卷积核。这样一来，Lifting层的输出不再是一个2D特征图，而是一个3D的张量：。其中第三个“深度”维度，就对应着不同的旋转方向。
这个操作自然地引入了离散旋转对称性——如果输入图像被旋转，那么Lifting层的输出只是在群维度上发生了循环位移，而不会破坏特征的数值分布。这正是等变性的基础。
如果说Lifting层完成了从平面到立体世界的跃迁，那么G-CSA模块则是在这个3D空间中执行自注意力，确保将等变性质传递到网络的每一层。
传统的卷积自注意力（如CvT）在2D空间上，通过卷积投影生成Query、Key和Value序列，替代了线性投影。
REViT的G-CSA则将这一思想推广到了Lifting后的3D空间。它通过3D群等变卷积来计算Q、K和V：
这里的 表示群等变卷积。由于我们在空间维度和群维度上同时执行卷积操作，生成的Q、K、V本身也都是群等变的——输入被旋转，Q、K、V也会跟着旋转。
接下来，G-CSA的注意力计算在空间邻域和群结构上联合进行：
注意力权重 通过Q与K的点积计算softmax得到。与普通自注意力不同，这里的点积在所有空间位置 和所有群元素 上归一化。这意味着模型不仅关注“空间上哪里重要”，还关注“在哪个旋转方向上重要”。
论文中给出了严格的数学证明：对于任何群变换 ，G-CSA满足 。通俗地说：先旋转输入再计算注意力，等同于先计算注意力再旋转输出。这正是等变性的核心定义。
这种设计如此优雅：它不需要任何位置编码，因为卷积操作天然捕获了局部空间结构，而群卷积则将这种结构感知能力扩展到了旋转维度。整个网络就像一个精密的齿轮系统，转动输入，所有中间表示都会同步转动，信息不会丢失或混淆。
这里有一个微妙但关键的点。可能你会问：如果位置编码能帮助模型感知空间结构，我们为什么不能保留它，同时再加入群等变设计？
答案隐藏在Lifting层引入的群维度中。一旦我们将输入提升到了 空间，我们处理的不再是“这个像素在(50, 100)”这样的绝对位置，而变成了“这个像素在旋转了90°后的(25, 30)”。标准的位置编码无法编码这种群变换下的相对关系。强行添加绝对位置编码，反而会破坏Lifting层辛辛苦苦建立起来的群等变性。
而已经被证明会带来沉重计算负担的RPE，其最初目的正是在自注意力中恢复平移等变性。REViT通过转用卷积自注意力，天然内建了平移等变性，因此RPE变得多余。这真是一个一石二鸟的精巧设计。
原理讲得再漂亮，最终还得用数据说话。让我们看看REViT在实际数据集上的表现。
首先，我们将G-CSA与传统群等变自注意力G-SA进行直接对比。
从表1可以清晰看到，在Rotated MNIST和PatchCamelyon两个数据集上，G-CSA在各个群结构（Z2, p4, p8, p4m）下均优于G-SA。最重磅的是PatchCamelyon上的结果：G-CSA只用了94.35K参数，而G-SA需要205.66K，但准确率却实现了反超。这种参数效率的碾压，充分证明了卷积投影替代RPE在性能和效率上的双重胜利。
接下来，我们看看REViT相比传统群等变CNN（G-CNN）的提升有多大。
图1用气泡图直观展现了REViT的统治力：在多个离散群下，REViT在两个数据集上的准确率都占据了右上角的最优位置。
再看与群等变CNN基线的具体数据对比。
CSA变体在所有三个数据集上全面优于对应CNN基线。p8-CSA在Rotated MNIST上达到98.92%，比p8-CNN提升0.42个百分点；而p4m-CSA在PatchCamelyon上达到90.75%，反超SOTA方法α_F-p4m-CNN†的89.12%。这些数据表明，G-CSA能稳定提升群等变网络的性能上限。
最残酷的对比来了：REViT vs 普通ViT。
即使vanilla ViT使用了离散随机45°旋转和平移的数据增强，其准确率也仅为91.67%。而REViT的p8CSA达到98.03%，Z2CSA达到95.97%，将数据增强的非等变模型远远甩在身后。这再次说明了将对称性直接编码进架构，远比依赖数据增强去“学习不变性”更加有效和本质。
高性能常常以高开销为代价。但REViT反其道而行之。
在相同的batch size和输入图像下，G-CSA的乘加运算量（Mul-Add）和峰值模型内存（Total Size）几乎是G-SA with RPE的一半甚至更低。例如，p8-CSA的Mul-Add仅为15.98M，而p8-SA则需要48.32M。这种级别的效率提升，意味着在相同的硬件条件下，你可以训练更深的模型，或者处理更大分辨率的图像。这是REViT能够成功扩展到ImageNet-1K的硬件基础。
G-CSA有两个关键的超参数：群的阶数（即包含多少个离散旋转）和卷积核尺寸。它们如何影响最终性能？
实验发现，增加群阶数并不总是好事。从p4增至p12，准确率从98.73%提升至99.01%；但继续增至p16时，准确率反而下降。这是因为更高阶的群包含非网格对齐的旋转（如22.5°），双线性插值会引入近似误差，损害等变精度。
卷积核尺寸同样存在最优值。5×5的核达到峰值98.73%。太小的核感受野受限，无法捕捉足够的邻域信息；太大的核可能破坏局部的平移等变性特性，并带来过拟合风险。这些消融实验为实际应用中的模型调优提供了明确指导。
一个模型声称自己是“等变的”，就必须接受严格的数学检验。作者通过等变误差（Equivariance Error）和预测一致性（Prediction Consistency）来量化这一点。
表6的结果令人信服：在p4和p4m群下，REViT的Lifting层和G-CSA块后的等变误差低至1e-5到1e-2量级，与G-CNN持平，而vanilla ViT则高达1e-1。这证明REViT的架构确实在执行严格的群等变。
对于包含45°旋转的p8群，等变误差略有上升。这并非架构缺陷，而是输入阶段的插值伪影在捣鬼。
图4清晰地解释了这一现象：90°旋转与像素网格完美对齐，只需重排像素；但45°旋转却迫使像素点落在网格间隙，必须通过双线性插值来估算，从而引入了无法完全消除的近似误差。这是一个预处理器层面的固有局限，而非REViT自身的设计问题。
在随机连续变换的泛化测试中，REViT再次展现了非凡的鲁棒性。
面对训练时从未见过的任意角度连续旋转，REViT的平均预测一致性高达96.99%，比普通ViT提升了11.61%，平均概率差异也大幅降低。这表明，从离散等变性中学习到的结构化对称性，能够很好地泛化到连续的变换空间。
最后，作者证明了REViT完全可以扩展到ImageNet-1K这样的工业级数据集。
REViT以18M参数取得了79.27%的Top-1和94.45%的Top-5准确率，完胜RE-ResNet的77.37%（11M）和ViT-S w/ aug的72.08%（22M）。这个结果的意义非凡：一个严格的等变架构，在没有额外数据增强，也没有预训练蒸馏的情况下，就在大规模数据集上击败了经过高度混合增强的非等变Transformer。这充分展示了将几何对称性作为归纳偏置的巨大潜力。
尽管REViT表现惊艳，我们也必须正视其固有的局限。
计算与内存代价：群等变架构的计算和内存开销与底层群的阶数（元素数量）成比例。例如p12群包含12个变换，意味着理论上要比普通模型多处理12倍的特征映射。这导致推理延迟的增加，使其在资源极度受限或延迟极度敏感的场景下部署依然面临挑战。虽然作者通过窗口化G-CSA缓解了这个问题，但其根本性的开销结构并未改变。
高阶群的非理想等变性：如前所述，对于包含非网格对齐旋转的高阶群，插值伪影会在输入阶段就引入误差。虽然这并非REViT网络本身的设计失误，且误差依然保持在很低水平（10^-2），但对于追求理论完美等变性的场景，这仍是一个需要感知的因素。
未来方向：作者计划将REViT扩展到更大规模的ViT架构，以及将其作为预训练Backbone应用于方向性目标检测和图像分割。我个人也非常期待看到它在3D点云处理、分子结构预测等更广泛的几何深度学习任务中的表现。
总的来说，REViT这项工作给我们上了精彩一课：
巧妙的设计比复杂的公式更强大
等变性不是玄学，而是可检验的工程目标
归纳偏置的价值在大规模数据下依然闪光
深度思考：你正在从事的目标检测、医学影像或机器人视觉任务中，是否也存在类似“旋转让模型犯糊涂”的痛点？REViT的设计思路，是否为你打开了一扇新的大门？欢迎在评论区分享你的见解和落地思考！
REViT: Roto-reflection Equivariant Convolutional Vision Transformer
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。