许志伟课题组官方中文主页：https://JaywayXu.github.io/zh-cn/元启发式算法（Metaheuristics）广泛应用于复杂优化问题的求解，其性能和搜索行为在很大程度上依赖于核心的变异算子（Variation Operators）。这些算子的设计通常受到自然现象的启发，并在多种优化场景中表现出显著的适应性。例如：
遗传算法（GA）
基于进化理论和遗传定律设计，主要通过父代个体的交叉操作和后代个体的变异操作生成新解。交叉和变异算子为 GA 提供了强大的探索能力，使其在多模态问题上表现优异【16】【17】。
差分进化（DE）
利用两个解的加权差分实现变异，对处理复杂变量耦合问题表现出色【18】。
协方差矩阵适应进化策略（CMA-ES）
基于种群学习多变量正态分布模型，动态采样新解，在众多实际优化问题中展现了卓越性能【19】。
粒子群优化（PSO）
模拟鸟群行为，将个体历史最佳和全局最佳结合，用于粒子位置更新，从而实现快速收敛【20】。
尽管现有变异算子在各自领域展现了不同的优势，但它们的性能和适应性往往受到优化问题特性或搜索空间特性的限制，这显著影响了算子的鲁棒性和泛化能力。
元启发式算法的鲁棒性和广泛适应性依赖于变异算子对 搜索空间的独立性（Search Space Independence）。搜索空间独立性要求算子在以下搜索空间变换下保持一致的性能：
当前的研究对如何实现这些不变性特性提供了一定的理论支持：
然而，这些研究依然存在以下关键痛点：
缺乏系统性理论定义
尚未有数学上严格的定义来描述算子如何实现平移、尺度和旋转不变性。
缺乏充分必要条件
当前研究未能明确提出实现这些不变性特性的充分和必要条件，导致无法从理论上分析算子是否具备这些属性。
设计依赖于经验
当前变异算子的设计多基于领域专家的经验，缺乏系统性和自动化的方法。这种设计方式限制了算子的鲁棒性和泛化能力。
为了解决上述挑战，本文提出了一种系统化的框架 AutoV，以理论和实践相结合的方式克服现有变异算子设计中的局限性：
在第二节中，作者通过数学推导给出了变异算子满足平移、缩放和旋转不变性所需的条件，并定义了这些不变性属性的数学形式。这为后续算子设计提供了理论基础。
根据定义 1，平移不变性要求：
\[h(x_{1d} + b, x_{2d} + b, \ldots) = h(x_{1d}, x_{2d}, \ldots) + b \]
即，当搜索空间发生平移（所有父代解加上一个常数偏移量\(b\)）时，变异算子的输出也只受到\(b\)的平移影响，而保持不变的相对差异。这一性质确保了算子对解的绝对位置不敏感。
以下算子具有平移不变性：
SBX（Simulated Binary Crossover）
通过模拟二元交叉的方式生成后代，不依赖解的绝对位置，因此满足平移不变性。
DE（Differential Evolution，差分进化）
DE 的变异算子依赖于父代解的差分进行操作（如\(x_{1d} + F \cdot (x_{2d} - x_{3d})\)），完全消除了绝对位置的影响。
CMA-ES（Covariance Matrix Adaptation Evolution Strategy）
CMA-ES 的步长调整和种群更新基于分布中心，独立于搜索空间的绝对位置。
FEP（Fast Evolutionary Programming）
FEP 通过分布采样和变异机制生成后代解，不依赖父代解的绝对位置，因此满足平移不变性。
根据定义 2，缩放不变性要求：
\[h(a \cdot x_{1d}, a \cdot x_{2d}, \ldots) = a \cdot h(x_{1d}, x_{2d}, \ldots) \]
其中，\(a\)为任意非零常数。这意味着，当搜索空间的尺度发生变化（所有决策变量被乘以相同的比例\(a\)）时，变异算子的输出应当同比例缩放，而不会受到其他影响。这一特性确保算子在不同尺度的搜索空间中具有一致的表现。
以下算子具有缩放不变性：
SBX（Simulated Binary Crossover）
SBX 的变异过程基于父代解的相对差异，比例缩放不影响其结果。
DE（Differential Evolution，差分进化）
DE 的变异算子通过父代解的差分计算变异，比例系数\(F\)是常数，因此具有缩放不变性。
CMA-ES（Covariance Matrix Adaptation Evolution Strategy）
CMA-ES 中的步长调整与当前种群分布的尺度成正比，且均值向量更新基于归一化权重，从而满足缩放不变性。
根据定义 3，旋转不变性要求：
\[h(x_1M, x_2M, \ldots) = h(x_1, x_2, \ldots)M \]
其中，\(M\)为任意正交矩阵。这意味着，当搜索空间发生旋转变换（每个决策向量与正交矩阵\(M\)相乘）时，变异算子的输出会同步旋转，但其内在关系保持不变。这一特性确保算子在旋转搜索空间时的表现一致性。
以下算子具有旋转不变性：
\[ h_{\text{de}}(x_1M, x_2M, x_3M) = h_{\text{de}}(x_1, x_2, x_3)M \]
因此，DE 是 旋转不变 的。
以下算子不具有旋转不变性：
\[ h_{\text{sbx}}(x_1, x_2) = x_1 + (x_2 - x_1)B \]
其中\(B\)为一个标量，因此其更新仅依赖于特定方向上的差分，不能保持旋转后的差分关系。
根据定理 3，一个连续可微的变异算子同时具有 平移不变性、缩放不变性 和 旋转不变性 的充要条件为其满足以下形式：
\[h(x_{1d}, x_{2d}, \ldots) = r_1 x_{1d} + r_2 x_{2d} + r_3 x_{3d} + \ldots \]
其中：
-\(r_1, r_2, r_3, \ldots\)为任意实数常数。
这一公式体现了算子的线性组合形式，同时约束了权重的归一化性质，从而确保其在不同搜索空间变换下的鲁棒性。
根据定理 3，可以推导出以下结论：
缩放不变性：
任意满足公式 (61) 的算子都具有缩放不变性。
缩放和平移不变性：
如果权重满足\(r_1 + r_2 + r_3 + \ldots = 1\)，则算子同时具有缩放和平移不变性。
缩放和旋转不变性：
如果\(r_1, r_2, r_3, \ldots\)为常数（即不依赖于搜索空间的方向或位置），则算子同时具有缩放和旋转不变性。
在第 4.1 节中，作者系统地提出了参数化变异算子的设计方法，并结合公式 (69) 和公式 (70) 详细说明了如何通过优化随机化的权重参数和引入多参数集，生成鲁棒性强、性能优越的变异算子。以下是该节的核心内容分析。
公式 (69) 是 AutoV 提出的核心变异算子的随机化表达形式：
\[h(x_{1d}, \ldots, x_{td}) = \sum_{i=1}^{t} r_i x_{id}, \quad \text{s.t.} \quad \sum_{i=1}^{t} r_i = 1, \quad r_i \sim \mathcal{N}(\mu_i, \sigma_i^2) \]
随机化权重分布：
\[ r_i \sim \mathcal{N}(\mu_i, \sigma_i^2) \]
-\(\mu_i\)：权重的均值，表示变异算子的主要方向。
-\(\sigma_i\)：权重的标准差，表示随机化程度。
约束条件：
\[ \sum_{i=1}^{t} r_i = 1 \]
这一条件保证了变异算子符合公式 (61) 的理论要求，从而满足 平移不变性、缩放不变性 和 旋转不变性。
优化目标：
公式 (70) 进一步扩展了公式 (69)，通过引入 多参数集 的二维矩阵表示，提升算法的多样性与性能适应性：
\[\begin{bmatrix} \mu_{11}, \sigma_{11}, \mu_{12}, \sigma_{12}, \ldots, \mu_{1t}, \sigma_{1t}, p_1 \\ \mu_{21}, \sigma_{21}, \mu_{22}, \sigma_{22}, \ldots, \mu_{2t}, \sigma_{2t}, p_2 \\ \vdots \\ \mu_{k1}, \sigma_{k1}, \mu_{k2}, \sigma_{k2}, \ldots, \mu_{kt}, \sigma_{kt}, p_k \end{bmatrix} \]
参数集的多样性：
动态选择机制：
多样化搜索行为：
旋转不变性与性能平衡：
增强鲁棒性：
优化问题的转化：
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。