一、写在前面

在开启这个系列之前，想和大家聊聊创作这套《最小二乘问题详解》系列文章的初衷。

笔者早年曾从事测绘与数字摄影测量软件的相关工作。那时一直有个遗憾：虽然每天都在接触数据处理，却始终没能彻底搞懂平差流程的底层逻辑。当时有同事曾直言：“关键不在于平差，而在于匹配的精度。” 这话对，也不对。因为当时使用的是现成的商业软件（如PATB）进行平差，将其视为一个不可窥探的“黑盒”。但笔者的体会是，如果不理解平差的核心——最小二乘求解，那么对数字摄影测量的理解永远只能停留在“半吊子”的层面。数据优化和数据估计，才是整个系统的灵魂。

传统的测绘与数字摄影测量领域确实有一套成熟的理论体系来解决这些问题，但坦率地说，其学习曲线极其陡峭，部分理论在现代视角下也显得不够直观。回想当年学习武大教程《数字摄影测量》时，为了求解数值估计问题，面对整页整页的共线方程、共面方程以及繁琐的泰勒展开推导，常常让人满头大汗却不得要领。

而如今，计算机视觉（CV）领域已经普遍采用李群与李代数等现代数学工具来优雅地求解这类问题。这不仅让原本晦涩的公式变得简洁易懂，更极大地降低了理解门槛。当然，这一切的便捷也得益于AI时代开源界蓬勃发展的力量，让我们得以站在巨人的肩膀上。

最初撰写这个系列，仅仅是为了补齐自己在计算机视觉领域中经常用到的“最小二乘法”这一课。但随着笔触的深入，内容逐渐“跑题”——从单纯的数学求解，延伸到了计算机视觉中几何结构重建（SfM）的完整知识体系。

虽然本可以继续向视觉重建的深水区探索，但笔者觉得适可而止或许更好。本系列只是希望把从“数学原理”到“工程实践”的这条路走通、讲透，至于更纯粹的视觉重建领域知识，就留给未来的探索吧。

二、基础篇

第1-9篇组成了本系列的第一个篇章，主要讲最小二乘的数学原理与求解。这部分是整个系列的基石，专注于最小二乘法本身的理论推导与数值算法实现。涵盖线性最小二乘（正规方程、QR/SVD分解）、非线性最小二乘（高斯-牛顿、梯度下降、LM算法）、正则化以及Ceres Solver的基础使用。目标是解决如何从数学和代码层面求解一个最小二乘问题。

1. 最小二乘问题详解1：线性最小二乘
   最小二乘法通过最小化误差平方和来寻找数据的最佳拟合模型，其核心原理在线性情况下可通过代数或几何方式推导出正规方程，揭示了参数估计与向量空间正交投影之间的深刻联系。
2. 最小二乘问题详解2：线性最小二乘求解
   深入探讨了线性最小二乘问题的数值求解方法，重点分析了避免矩阵求逆的QR分解与适用于秩亏情形的SVD分解，并从施密特正交化和特征值理论角度解释了两种分解的数学本质。
3. 最小二乘问题详解3：线性最小二乘实例
   本文通过双线性变换拟合案例，详细讲解了线性最小二乘的求解过程，并深入探讨了参数估计的精度评估方法，重点介绍了协方差矩阵的计算与意义。
4. 最小二乘问题详解4：非线性最小二乘
   介绍了非线性最小二乘问题的基本定义、求解思路及其核心算法Gauss-Newton方法，强调通过局部线性化将非线性问题转化为迭代的线性最小二乘子问题来求解。
5. 最小二乘问题详解5：非线性最小二乘求解实例
   通过拟合非线性函数的实例，详细讲解了非线性最小二乘问题中Gauss-Newton方法的实现过程，并给出了基于Eigen库的C++代码示例及收敛分析。
6. 最小二乘问题详解6：梯度下降法
   介绍了使用梯度下降法求解非线性最小二乘问题的原理与实现，通过C++和Eigen库对指数模型进行参数拟合，展示了算法流程、雅可比矩阵计算及收敛行为，并对比了其在机器学习与计算机视觉中的应用差异。
7. 最小二乘问题详解7：正则化最小二乘
   本文系统阐述了正则化最小二乘（岭估计）的动机、理论推导、求解方法与数值实例，揭示其通过L2惩罚项改善病态问题和过拟合的机制。
8. 最小二乘问题详解8：Levenberg-Marquardt方法
   本文系统讲解了Levenberg-Marquardt方法的原理、算法流程与C++实现，阐明其如何通过自适应阻尼在Gauss-Newton与梯度下降之间智能切换，从而高效稳健地求解非线性最小二乘问题。
9. 最小二乘问题详解9：使用Ceres求解非线性最小二乘
   通过对比手写 Levenberg-Marquardt 算法与使用 Ceres Solver 实现同一非线性最小二乘问题，深入解析了 Ceres 的核心机制、自动微分原理、优化配置及工程优势。

️三、进阶篇

第10-16篇组成了本系列的第二个篇章，主要讲视觉几何中的最小二乘建模。这部分将基础篇的数学工具应用到计算机视觉的多视图几何中，讲解SFM系统中各个核心子模块的建模与优化。核心内容涵盖PnP位姿估计、三角化、本质矩阵求解（5点/8点算法）、鲁棒估计（RANSAC）以及束平差（BA）的原理与实现。目标是解决如何将视觉几何问题转化为最小二乘问题进行求解。

10. 最小二乘问题详解 10：PnP 问题求解
    深入剖析了计算机视觉中PnP问题的数学模型与求解策略，详细推导了基于旋转向量参数化的重投影误差雅可比矩阵，并通过手写Levenberg-Marquardt算法与Ceres自动微分框架的对比实现，展示了从理论推导到工程落地的完整流程。
11. 最小二乘问题详解 11：基于李代数的 PnP 优化
    本文基于李群与李代数理论，构建了严格保持旋转合法性的 SE(3) 优化框架，重新求解 PnP 问题，并通过 Ceres 实现验证其高精度与鲁棒性。
12. 最小二乘问题详解 12：三角化中的非线性优化
    系统讲解了多视图几何中三角化问题的建模、线性（DLT）与非线性（重投影误差最小化）求解方法，并通过实例对比验证了非线性优化在提升3D点重建精度上的有效性，同时分析了实际应用中的挑战与应对策略。
13. 最小二乘问题详解 13：对极几何中本质矩阵求解
    本文详解了已知内参下的对极几何问题，推导了本质矩阵的8点线性算法与基于Sampson误差的非线性优化方法，并提供了完整的C++实现与评估代码。
14. 最小二乘问题详解 14：鲁棒估计与 5 点算法求解本质矩阵
    本文深入探讨了在存在大量误匹配（外点）的真实场景下，如何鲁棒地估计本质矩阵 EE ，核心方案是结合 RANSAC 框架与 5点算法（通过 OpenGV 库实现）来剔除异常值，随后利用 8点算法 提供初值并基于 Sampson 误差 使用 Ceres 进行非线性优化，从而显著提升对极几何模型的精度与可靠性。
15. 最小二乘问题详解 15：束平差原理与基础实现
    系统阐述了束平差（Bundle Adjustment）的几何模型、非线性最小二乘建模、稀疏结构特性及基于 Schur 补的高效求解策略，并通过 Ceres Solver 实现了一个完整的 BA 优化案例，验证了其在全局一致重建中的强大能力。
16. 最小二乘问题详解 16：束平差工程实践总结
    通过实例分析了束平差（Bundle Adjustment）在存在外点干扰下的优化行为，探讨了鲁棒核函数、自适应外点剔除、空间均衡策略等工程实践方法，并系统梳理了BA在真实场景中面临的零空间自由度、内参畸变、大规模扩展性、退化几何等十大核心挑战。

四、实战篇

第17-22篇组成了本系列的第三个篇章，主要讲增量式SFM系统构建与工程优化。这部分是理论与模块的集大成者，从零开始构建一个完整的增量式SFM系统，并逐步加入仿真、先验约束和抗差策略，直面真实工程挑战。核心内容涵盖仿真数据生成、增量式SfM核心流程（初始化、注册、三角化、BA）、自由网平差、多源信息融合（GNSS/GCP）以及抗差估计的工程实现。目标是解决如何构建一个稳健、高精度的完整SFM三维重建系统。

17. 最小二乘问题详解 17：SFM 仿真数据生成
    详述了关于构建基于数字摄影测量原理的SFM（运动恢复结构）仿真系统的技术教程，详细阐述了从物理光学参数推导、航线规划、物方数据采样到观测模型生成的全流程，并提供了C++代码实现，旨在为SFM算法提供具有真值的测试基准。
18. 最小二乘问题详解 18：增量式 SFM 核心流程实现
    本文基于完美仿真数据集与视觉惯性融合先验，实现了不含鲁棒性干扰的增量式 SFM 核心骨架流程，通过 PnP 位姿注册、三角化结构扩展与全局光束平差完成重建，最终获得高精度的重投影 RMSE，验证了算法流程的有效性。
19. 最小二乘问题详解19：带先验约束的增量式SFM优化与实现
    在增量式 SFM 框架基础上，将 INS/GNSS 位姿先验与地面控制点 GCP 先验作为软约束融入 PnP 与 BA 优化，构建了更稳健、贴近工业级应用的多源信息融合重建系统。
20. 最小二乘问题详解 20：无先验约束下的增量式 SFM 自由网平差
    本文实现无先验约束的增量式 SfM 自由网平差，通过本质矩阵初始化、EPnP 位姿求解与全局 BA 优化，在纯视觉下完成高精度三维重建并阐明相似变换的 7 自由度不确定性。
21. 最小二乘问题详解 21：稀疏 GCP 约束下的自由网平差与弱约束融合
    本文深入解析稀疏 GCP 约束下的自由网平差难题，提出“Sim3 引导的联合优化”三步走策略，通过 Umeyama 算法初值与非线性 BA 融合，以最低数据成本实现了从相对结构到绝对坐标的厘米级高精度对齐。
22. 最小二乘问题详解 22：抗差估计与增量式 SFM 的工程稳健实现
    本文深入探讨了增量式 SFM（运动恢复结构）系统在工程实践中如何应对数据外点（Outliers）的挑战，通过引入抗差估计（Robust Estimation）理论，详细阐述了从初始化、迭代注册到全局优化的全流程鲁棒性改进方案，并验证了其在含噪仿真数据中的有效性。

五、写在最后

行文至此，整个系列也接近尾声。

坦率地说，这套系列文章的内容并非面面俱到。三维重建与优化领域博大精深，其中任何一个子话题（如多视图立体匹配、动态场景重建、神经辐射场等）都足以支撑起另一套详尽的教程。

然而，全面性并非本系列的首要目标。笔者更希望传递的是一种学习的理念：学习的关键不在于知识的简单累加，而在于构建一条平稳、渐进的脉络，使自己的知识体系化。

当你对最小二乘的数学原理、视觉几何的建模方法以及SFM的系统框架有了清晰的理解后，即便未来遇到未曾涉猎的知识点，也能凭借这套体系化的认知，迅速定位其位置，并在需要时快速上手、补充完善。这远比漫无目的地追逐每一个新技术点要高效和牢固得多。

希望这套从基础理论到硬核实战的目录，能为你打开一扇通往三维重建与优化算法的大门，助你在探索的道路上走得更稳、更远。