手机的摄影摄像能力一直被各大厂商所看作很重要的对标指标，而对摄影能力起到至关重要的硬件就是各类的相机传感器了。
最近这段时间被大家广泛讨论的，号称「这真徕卡」的小米 12S Ultra，其摄像头模组的参数堪称目前最大，它采用了目前手机面积最大的一英寸大底 、5030 万像素 、 四拜尔阵列 （Quad-Bayer）、 单像素大小 3.2µm 的 CMOS——SONY IMX989。那么这些复杂的参数又是如何影响到拍照的质量呢？
在相机传感器方面，面对目前市场上天花乱坠的宣传，本篇将从这些新时代技术名词方面进行全方位的科普，认识传感器及其各种特点的全貌。
与其他摄影设备一样，手机传感器也同样是由 CCD 和 CMOS 两种传感器发展而来，由于 CMOS 光电传感器集成度高，各光电传感元件、电路之间距离很近，相互之间的光、电、磁干扰较严重，噪声对图像质量影响很大，使 CMOS 光电传感器很长一段时间无法进入实用。
但是经过近几十年的发展，CMOS 传感器已成为手机相机传感器的主流。CMOS 传感器的高集成度、耗电量低的优势，成功的在空间本就不富裕的手机上占据了稳固的一席之地。
CMOS 的原理很简单，其工作过程一般可分为复位、光电转换、积分、读出这几部分。当入射光通过 RGB 三种颜色的滤光片，照射 CMOS 时，光电效应发生，激发、读出电子，并转换为模拟信号，而这些信号被放大器所放大后（ISO 调整），最后转换为电压数值，这些数值聚集起来就生成了我们所需要的照片。
原始的 CMOS 是不能记录彩色图像的。在按下快门之后，每个像素点的光电二极管的感光值经过转换就可以得到一个数字化值（0-255 ）。
为了捕捉彩色图像，需要一种称为彩色滤光片阵列 (Color Filter Array) 的东西，这种阵列的排列类似人眼的视锥细胞，特定颜色的光可以穿过相应颜色的滤色片，这样每个像素就可以得到颜色信息了。
最常见的彩色滤色片阵列是拜耳滤色器阵列，它由红色、绿色和蓝色三种原色的交替行组成。 阵列的 50% 由绿色滤光片组成，而蓝色和红色各占 25%。
拜耳阵列还有一个别称，RGGB 排列，也就是满足拜耳排列的最小图案滤色片颜色的前缀。二十年前，各大光学厂商就已经尝试创建新的滤色阵列了，根据需求的不同，越来越多不同设计的彩色滤光片阵列被发掘出来，但是直到今天拜尔阵列仍然占据主流。
还要说明的是 CMOS 上的像素组成。
像素大小以微米（µm）为单位，并且包括光电二极管和周围电子设备的整个面积。 CMOS 像素由光电二极管（Photodiode），放大器（Amplifier），复位门（Reset gate），传输门（Transfer gate）和浮动扩散组成（Floating diffusion）。在最上方的透镜（Microlens）起到了聚集更多的光线的作用。
分辨率和像素大小将决定传感器的整体大小，一般来讲较大的传感器比较小的传感器具有更高的分辨率或更大的像素大小，但是手机本就局促的空间促使固定大小的手机传感器开发出了另外一个新的方向，关于像素的一些问题在文章后半段会详细讲解。
总结一下这个复杂的部分，本质上 CMOS 的作用就是通过一系列的转换将光信号转换成电信号，并且经过算法输出为可读取的图像。
而经过多年的发展，CMOS 传感器经过改良与发展后逐渐衍生成为几种主要的设计结构：前照式、背照式、堆栈式（堆叠式）、非堆栈式（非堆叠式）。
这几种不同的 CMOS 设计结构的主要差别就在于负责工作的电路的放置位置。
正如上图所示， 前照式传感器的电路摆放在感光元件之上，将电路放置于光电二极管之上会阻挡部分进入的光线。而背照式将电路移至光电二极管之下，增加光电元件曝光面积，不被电路遮挡的时候可以接受更多的光线，而且减少光线经过布线层时的损失，提高进光量。
非堆栈式传感器的处理图像硬件的放置在传感器在同一平面，同样也是一个普遍被采用的设计方式。而非堆栈式传感器在处理电路回路上面来讲没有得到相应的优化，电路与感光区域都在抢占这一平面的面积。
而堆栈式传感器将处理图像的两个硬件：图像信号处理器及 DRAM 存储器，利用类似夹心饼干的结构将它们堆叠在一起，在最大限度下接收光线的同时加快了图像读取及处理的速度，附带的好处是增加了传感器结构的集成度，省出了更多的空间用于增加感光面积。
堆栈式传感器一般常用于高端旗舰机，120fps 以上的高速摄影也是它的功劳。
有部分堆栈式传感器同时还支持硬件 HDR 功能，硬件 HDR 与软件 HDR 通过算法合成照片不一样的是，硬件 HDR 是依靠单独控制 CMOS 上的每一行或者每一列像素区域的独立曝光时间，从而在传感器物理层面上就实现原生的 HDR 渲染。且硬件 HDR 的处理速度一般比软件 HDR 要快，在拍摄 HDR 视频时也毫无压力，而实现硬件 HDR 的代价就是复杂的电路设计以及更高的耗电量。
将这几个结构结合起来我们可以得到不同的设计，而这些设计结构都是已经被成熟生产、广泛采用了的。
总结一下，CMOS 的结构进步还是非常有迹可循的，对于手机来说，目前设计的最优解应该就是背照 + 堆栈式传感器了，既能最大限度的扩大 CMOS 的感光面积，又能使用到硬件 HDR 技术。
大家可能或多或少都听说过这句话：底大一级压死人。
无可否认的事实就是：CMOS 感光面积越大，进光量越多，照片的成像质量也就越好。这也恰好是手机生产厂家一贯以来的宣传以及在手机相机方面的军备竞赛策略，但是仍然有几点需要注意一下。
尽管目前的手机厂商在竭力宣传自己的 CMOS 底面积提升了多少，就算是目前手机传感器最大的、宣传称「传感器尺寸直追微单」 的 1 英寸底，与半画幅的尺寸相比还是相差一大截，而与全画幅更是毫无可比性。无论怎么追，手机传感器直追相机传感器尺寸的这种构想对于目前这个时代来讲还是太过于超前了。
在计算 CMOS 尺寸的时候其实属于历史遗留问题，CMOS 的尺寸其实不是单纯的以对角线的长度来计算，而是以「等效光电显像管」的尺寸进行计算的。
光电显像管是 CCD 和 CMOS 出现以前的光电转换元件，原理是用被偏转的阴极射线扫描受光辐射而成像的目标，最终将光信号转变为与入射光强度相关的电信号。
当时普遍使用的 1 英寸光电显像管有着很厚的玻璃外壳，其中套着一个类似于 CMOS 和 CCD 的矩形感光区域，而除去厚厚的玻璃外壳，这个矩形区域的对角线只有 16mm，而 1 英寸矩形的对角线实际为 25.4mm。
现代的 CMOS 和 CCD 也就延续了这种说法，将对角线只有 16mm 的感光区域称为 1 英寸传感器。
回归正题，在基本层面，传感器的尺寸大小确实决定了相机捕获光线的量，而捕获的光量决定了相机的曝光、动态范围甚至清晰度。但是仅仅考虑传感器的尺寸大小是不太够的，更深层次的是，需要考虑很多厂商不会说明的，CMOS 像素面积利用率和像场的问题。
像场是指光线通过镜头后可以在成像平面上形成的圆形面积。在用半画幅镜头转接全画幅相机时，半画幅镜头设计的像场不足以覆盖全画幅，就会出现以下的情况。
以去年推出 1 英寸大底的索尼 Xperia Pro-I 为例。
索尼 Xperia pro-I：IMX383 1 英寸大小，1200 万像素，单位像素面积 2.4um，型号为 Exmor RS，来自索尼黑卡（RX100 VII）同款 CMOS 传感器。
索尼 Xperia pro-i 原始的这块 CMOS 像素数为 2000 万，但是较小的镜头像场，导致它只能利用其中的 1200 万像素。至于其它的 800 万像素或许被索尼用来做无损 16：9 切换、防抖、稳定裁切了。
对于裁切来说最好的例子是，当我们打开自己手机的摄像头时，发现不同模式下镜头的焦段会出现明显的变化，尤其体现在拍照模式转换为视频模式时，画面会被裁切很大一部分。对于「专业级摄影手机」的索尼 Xperia pro-I，在传感器层面它已经失去焦段、景深、分辨率方面的优势了，相当于开启人像、视频等需要进一步裁切的模式之前就自废武功了，而裁切后的传感器素质基本等效于 1/1.3 英寸的传感器。总体来说，我认为 Xperia pro-i 裁切 1 英寸底的这个操作是弊大于利的。
无法利用整个 CMOS 的面积用于拍照时，可以说与之前小尺寸的 CMOS 的拍照素质基本相同。 大底 CMOS 在暗光环境下的表现更好，后期对图片进行裁剪的优势也很明显，不能完全发挥出 CMOS 的功力真的很可惜。
理论上来讲，每一个感光单元对应一个像素（Pixels），像素越多，代表着它能够感测到更多的物体细节，从而图像就越清晰，像素越高，意味着成像效果越清晰。但是面对手机 CMOS 的有限尺寸，像素排列的增加会导致单个像素的感光面积缩小，造成曝光不足，噪声变大。
像素其数值大小主要由相机传感器中的像素点（即最小感光单位）数量决定图像中最小的的感光单位称为像素，一般以微米（µm）为单位。照片是一个个像素点的集合，在影像没有经过不正确的 / 有损的压缩或相机镜头合适的前提下，单位面积内的像素越多代表分辨率越高，所显示的影像就会接近于真实物体。
简单来说一幅图像的形成原理就是 CMOS 收集了许多点的颜色信息，然后这些颜色信息组成了一幅图像，就好比画画一样。这点在用 PS 修图的时候我们往往会体验的比较深刻，将图片放大之后会看到一块一块的马赛克，每一小块就是单个像素。
而通常所说的 12MP、24MP、48MP 等等，其实都是指相机的分辨率单位，百万像素（Mega Pixels，缩写为 MP）是指有「一百万像素」，通常用于表达相机的分辨率。例如，一个相机可以成像 6000x4000 分辨率的图像，那么通常被称为有「24MP/2400 万像素」（6000*4000=24,000,000，通常只计算前两位作有效数字）。
在理解了单个像素之后，接下来我们要了解的是像素间距会对照片产生什么影响。
像素间距是一个很好理解的概念，像素间距指从 一个像素中心到另一个像素中心的距离 ，以微米（µm）为单位。当单位像素之间的距离越来越小的时候，像素之间会发生串扰 (Crosstalk)。
在电子学中，串扰是在传输系统的一个电路或通道上传输的信号在另一个电路或通道中产生不良影响的任何现象。串扰通常是由从一个电路或通道到另一个电路或通道 的不希望有的电容、电感或传导耦合引起的。串扰是结构化布线、音频电子、集成电路设计、无线通信和其他通信系统中的一个重要问题。
串扰就是当像素间距变小的时候，由于光电效应所激发的电子可能会穿越到临近像素的光电二极管，造成噪点。因为像素感光阵列排布的原因，入射通过绿色滤色镜的光线激发的电子穿越进了相邻的红色像素部分，信号处理器同时得到原本不属于红色的电子，反馈红色的颜色信息，出现噪点。还有一种可能是，当像素间距变小的时候，会有杂散的光线进入相邻像素，最后导致相邻的像素被激发。
当然，造成噪点的方式不止这么两种，当 ISO 设置太高，或者相机传感器过热时也会产生噪点。ISO 的调节可以看做调整放大器的增益，放大信号的同时，也放大了噪声。
长曝光主要是 CMOS 发热导致的，连续长时间曝光热噪会明显变多，但机内降噪一般可以去除，热噪超过一定曝光时间才会出现。
提高图像质量的方向之一就是增加单位像素的数量，也可以说是提高了多少的分辨率。
为了避免噪点的产生，一般有两种办法可选，第一种办法是采用更大的 CMOS 尺寸，让像素间距不那么密集。第二种办法是，利用更加精密的工艺想办法在缩小像素间距的同时，在像素之间加入阻隔光子、电子穿越的材料。
对于手机来讲，便携性还是很重要的，毕竟尺寸摆在那，不可能让半个手机都装进全画幅半画幅那样大的 CMOS。所以各大厂商当然是选择了第二条路，在有限的尺寸内，为提升手机相机的图像画质增加底面积且减小像素间距。
近年，CMOS 电路消噪技术的不断发展，为生产高密度像素的 CMOS 图像传感器提供了良好的条件。
截至 2022 年，目前三星开发出的 ISOCELL HP3 传感器已经实现了 0.56 微米的像素间距、2 亿像素的分辨率、14 位 RAW 输出高动态范围 (HDR) 图像和 Tetra²pixel （十六像素合一技术）等成果，这项超小像素技术将会满足多摄像头移动设备对高分辨率和小像素间距图像传感器日益增长的需求。
随着像素间距的提升，意味着更高的像素密度和更高的分辨率可以被实现了。虽然得到了强大的分辨率，但是问题接踵而至。单个像素尺寸太小，像素数过于密集，不能接收到足够的光了，弱光环境下的表现反而更差了。
另一个方面，像素数也不是越多越好。手机镜头的素质也是另外一个重要的指标，当传感器的像素数已经达到了光学镜头的衍射极限，即使再提高像素数也是没有意义的。
这里就需要说明一下像素密集程度造成的影响。
同等像素下，传感器越大，单一像素的面积也相应越大，其接受光信号的能力越强，捕获的光子越多，于是信噪比提高，得到的画质越出色。
对于手机来说，CMOS 尺寸目前最大也就 1 英寸，在有限的尺寸内塞入更多的像素用于提高分辨率，造成的结果就是单个像素尺寸变小，单个像素接受光的能力变弱。最直观的影响就是，像素数量密集的手机在白天下表现比较好，而一旦到了弱光环境或者夜晚，噪点增多，图片变得无法使用。
对于手机来讲，有什么办法能同时兼顾高分辨率和提高进光的能力呢？由此，像素合并技术出现了。
像素合并（Pixel binning）是指在完成拍摄过程后，组合整个图像中的相邻像素读出值的过程。Binning 是将相邻的、相同颜色的像素的感应电荷相加，以一个模拟像素的模式读出。在环境光照低的情况下，提高摄像头表现力。但是带来的缺陷也很明显，在合并像素后分辨率的损失很严重，而这一点基本无法避免。
目前主要有像素四合一、九合一、十六合一等等像素合并技术。其中像素四合一是最常被采用的像素合并技术。像素合并在本质上还是利用了算法，组合临近的四个或更多单位像素形成一个包围曝光模拟的「大像素」，使这个「大像素」在理论上等效于正常间距、正常大小的单位像素，以便达到增强接收光的能力、降噪等效果。以原理相对来说较简单直接的像素四合一技术举例，四合一又可以称为四拜耳（Quad bayer）技术。
单次感光内，通过对同区域内每个感光单位曝光时长的控制，实现平均单独像素单位 L+L+S+S 的两张包围曝光，这种模式相当于在 CMOS 层面就实现了 HDR。
索尼推出的四拜耳 (Quad Bayer) 彩色滤光片阵列，首次出现在 2018 年 3 月 27 日发布的华为 P20 Pro 中。
四拜耳阵列与拜尔阵列的不同之处在以下这张图看的更为清楚，从宏观看，当我们将四个像素组合为一个「大像素」，其实这些大像素就形成了传统的拜尔阵列。在组合像素后，照片分辨率会牺牲 3/4，如 48MP 变为 12MP。又或者可以说，四拜耳阵列其实狭义来看就是将传统拜耳阵列的每个像素一分为四，更精细化了。
还记得在文章开头的时候说过的，正常的拜尔阵列为 50% 由绿色组成，蓝色和红色则各占 25% 吗？
四拜耳阵列在不进行合并像素操作的时候，在正常光照条件下，如下图所示，通过组合阵列的更精细化的算法读取，最终可以实现在同等大小的区域内与传统拜尔阵列一样的全色采样（50% 绿色，25% 蓝色，25% 红色）。
像素合并是手机影像系统独有的技术，直出和各种功能是手机相对于相机最大的竞争力之一。 四拜耳阵列的不同模式在合适的场景对于分辨率确实有一定的提升，但是对于传统拜尔阵列来说，动态范围的提升还是比较明显的。像素合并实际上是将摄影后期的包围曝光堆栈挪到了前期实现，面对弱光环境甚至还要牺牲分辨率和去弥补进光量不足。 虽然不能同时满足高分辨率和高动态范围的需求，但是像素合并技术也算是手机传感器制造厂商在固定 CMOS 面积的情况下，在高分辨率和高动态范围之间做了一个折中的方案。
在了解像素合并之前，可能大家以前听说过像素摇摇乐——面向相机的像素偏移（Pixel shifit）技术： 通过以一个像素增量精确移动传感器来提供这种像素移位模式，以此每个位置对每种颜色进行采样，从而克服拜耳阵列的像素排列之间有像素间距的缺点。
像素合并与之却完全是两个不同的概念，像素偏移功能是通过超采样保证每个像素点都有完整的 RGB 信息，来提升照片的整体细节和信噪比。
而一部分商家还是选择「硬件并非一切」，保留一千万至两千万像素的 CMOS。比如谷歌和苹果，苹果从 iPhone 6s 到 iPhone 13 一直采用的是 1200 万像素 CMOS，计算摄影和类似像素偏移算法的进化也带来了地球的最强单摄——Google Pixel 3。 这些不以超高像素和超大面积 CMOS 宣传的厂家反而将手机摄影推动到了新的高度。
讲了这么多，究竟什么样的 CMOS 传感器才是一个好传感器？
我的结论是，没有完美的传感器，只有适合自己需求的才是最好的。
如今手机上的摄影功能越来越多，却很少有人能把手机上这些高级拍摄功能发挥出来。一昧的追求升级大底 CMOS、超高像素再加上更大的摄像头模组，参数决定一切和硬堆硬件的这种方式不可取。
消费者也在不断地追求更高的分辨率和像素，厂家对这种需求也是乐此不疲。今天这家开发一亿像素的手机，另一家就要突破两亿像素；这个厂商出了五十倍变焦拍月亮，另一个厂商紧跟着就要出一百倍变焦。百倍的变焦，两亿像素大底，也许最后只是被用来扫健康码而已。
面对各种宣传，思考一下这些功能我们在日常生活真正可以被使用的概率究竟有多少。毕竟摄影功能只占手机全部功能的一部分，如果可以用比相机低几倍的价格买到拍照质量可以与相机媲美的手机，那手机的性价比未免也太高了，相机也可以退休了。
其实想要拍出一张好照片，要关注的问题远远不止这些。除了以上提到的关于 CMOS 传感器的问题以外，想要拍出一张好照片的话背后还有很多东西需要考虑。比如 ISP 芯片与 CMOS 配合的问题、各个厂商计算摄影的算法差距、手机镜组的质量不同等等。这些问题都会在不同层面上决定一张照片质量的好坏，就算几个厂商采用同一种 CMOS，最后产生的照片质量与风格都各不相同。
关联阅读：
在阅读本篇文章之后，希望大家对于相机传感器有了进一步的了解，在了解了传感器的这些所谓的「术语」之后对 CMOS 传感器有一个系统性的、更加理性的认知。
> 暑期征文 数字文具盒 火热征稿中，分享学习方法，拿走现金奖励 🧑🎓
> 实用、好用的 正版软件，少数派为你呈现 🚀
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。