2.3 相机内部图像处理流程

进入相机的场景光线在经过颜色滤波器阵列以及图像传感器模拟前端转化为数字信号之后，称为原始（raw）图像（如图2-9所示）。但原始图像仅为单色图像，且受噪声及马赛克效应影响，每一像素仅存储RGB某一颜色的强度，不适合直接观看，需要经过相机内部图像处理流程（in-camera image processing pipeline，也称Image Signal Processor/Processing，ISP^[1]）才可成像适于人眼观察的图像，也就是通常人们看到的数码相片。

图2-9 经过颜色滤波器阵列的原始图像（使用Sony α6400相机拍摄得到）

如图2-10所示，典型的ISP以10～16位（常见为12位）的马赛克线性原始图像作为输入，依次经过白平衡、去马赛克、去噪、色彩空间转换（图中未标出）、色调再现和图像压缩（图中未标出）等步骤后，形成8位去马赛克非线性RGB图像。本节将重点介绍其中的白平衡、去马赛克、去噪及色调再现部分。关于色彩空间转换与图像压缩部分，由于其涉及内容过广、原理较为复杂，并且许多计算机视觉课程和书籍都有所介绍，本章不再展开详述。感兴趣的读者可以阅读参考文献[2]。

需要注意的一点是，图2-10所展示的是一种典型流程，但并不意味着所有相机内部图像处理流程都严格遵照这种流程，步骤之间的相对顺序以及每个步骤所使用的具体算法都是可以在一定程度上改变的。例如，关于白平衡和去马赛克的先后顺序，许多相机厂商[如佳能（Canon）、索尼（Sony）和富士等]会在去马赛克之前进行白平衡，因为这些公司所使用的较为精细的去马赛克算法能够在白平衡后的图片上表现得更好。但是对于较为简单的去马赛克算法（如逐通道双线性插值），这两者的顺序对于结果并无任何影响，因此也有一些处理原始图像的软件（如RawTherapee^[3]）先进行去马赛克，再进行白平衡。综上，这两种顺序之间的区别较为微妙。也有将去噪放在色调再现之前的例子，此时图像中的噪声（尤其是暗处）强度还未被色调再现时使用的伽马编码放大，在图像上表现得较为统一，适于使用去噪算法。本章介绍的相机内部图像处理流程是一种以演示目的进行简化后的典型流程，实际的流程可能会复杂很多，也可能会做如上所述的一些改动。

图2-10 典型的相机内部图像处理流程