去马赛克混叠现象分析

        彩色图像的获取需要针对不同颜色通道配置对应的感光传感器。厂商为降低成本与硬件复杂度，会在原本为单色成像器件的图像传感器表面加装彩色滤光片阵列（CFA），以此采集真实场景的彩色信息。由于每个感光像素单元仅能采集一种颜色的光信号，缺失的色彩信息需要通过算法补全。彩色插值（也叫去马赛克）算法通过计算缺失的色彩分量，重建传感器输出的全分辨率彩色图像。图像画质与去马赛克算法的特性密切相关。受混叠现象影响，图像会出现伪色、拉链效应等瑕疵，因此彩色插值算法必须实现高质量成像，规避各类伪影。本章梳理了去马赛克与抗混叠的主流实现方案。去马赛克算法大体可分为两大类：空间域算法与频率域算法。现有去马赛克方案往往无法彻底消除伪色与拉链效应，所以图像信号链路通常会配套后处理模块，用于消除残留伪影，本文也会对部分后处理技术进行阐述。

1 引言

        光谱选择滤光片最常用的排布方式为拜耳（Bayer）阵列。每个感光像素单元只能采集单一颜色的光信号，传感器输出原始灰度图像，再经过彩色插值处理，重建得到全分辨率彩色图像。去马赛克是整个图像处理链路中至关重要的环节。

双线性插值是最基础的去马赛克算法：根据像素在拜耳阵列中的位置，对周边像素做加权平均运算。对于某一像素，选取其 8 个相邻像素，通过邻域像素的色彩均值，计算该像素缺失的另外两个颜色分量。算法一共分为四类均值计算场景：红色像素、蓝色像素、红行上的绿色像素、蓝行上的绿色像素，四类场景的均值计算方式略有区别。

图 7.1 拜耳阵列示例

结合图 7.1 的像素标记规则，以像素为例，双线性插值计算过程如下：

红色像素插值，输出该点 RGB 三色值：

式7.1

蓝色像素插值：

式7.2

蓝行上的绿色像素插值：

式7.3

红行上的绿色像素插值：

式7.4

        双线性插值实现简单，但成像效果并不理想。和许多传统彩色插值算法一样，受彩色滤光片阵列非理想采样的影响，容易在图像色彩边缘产生伪影。混叠（Aliasing）指连续信号的采样频率低于信号最高频率两倍时所产生的信号畸变。根据奈奎斯特‑香农采样定理：若采样速率大于2B（B为原始信号最高频率），采样后的模拟信号就可以由采样点完美重建。如果已知原始信号最高频率，该定理给出实现无失真重建所需的最低采样频率；反之，给定采样频率，该定理给出能够实现完美重建的信号最高频率上限，即奈奎斯特频率。

        但实际工程中很难完全满足上述理想条件，该定理要求原始信号为带限信号，信号能量不能超过某一确定带宽B。

图 7.2 带限信号示例

        现实场景中，时间受限或者空间受限的信号不可能做到理想带限。因此数字信号处理系统输入端通常会配置抗混叠滤波器，对信号带宽做限制，近似满足采样定理。对于成像设备，光学低通滤波器在光学空间域对信号做平滑处理，将信号分辨率限制在低于数字传感器的解析上限；该解析上限与像素间距（相邻像素中心间距）直接相关。文献 [2] 指出，传感器采样频率为：

     式7.5

        想要复现某一空间频率，一个完整周期至少需要一对像素：一个像素响应信号的暗半周期，另一个像素响应亮半周期。也就是说单个像素仅能表征半个信号周期，因此阵列能够复现的最高频率为采样频率的一半，即奈奎斯特频率：

     式7.6

        对于横纵像素间距一致的二维像素阵列，X 轴、Y 轴方向的采样频率与奈奎斯特频率完全相同。当传感器表面覆盖拜耳彩色滤光阵列后，绿色通道与红、蓝通道的采样频率、奈奎斯特频率不再一致。红色通道与蓝色通道排布模式一致，二者奈奎斯特频率相同。

        设单色传感器像素物理间距为p，由图 7.3 (a) 可见，红、蓝像素水平、垂直方向等效像素间距：

    式7.7

红、蓝通道水平与垂直方向奈奎斯特频率：

    式7.8

图 7.3 奈奎斯特频率下红色阵列线对

结合图 7.3 (b)，可推导出相邻红 / 蓝像素的对角线方向间距：

        式7.9

对角线方向红、蓝通道奈奎斯特频率：

       式7.10

由此可见，对角线方向奈奎斯特频率比水平、垂直方向高出\\(\\sqrt{2}\\)倍。

对于绿色通道，其水平、垂直方向像素间距等同于单色传感器原生像素间距（见图 7.4），因此绿色通道水平、垂直奈奎斯特频率和单色像素阵列一致：

    式7.11

而绿色通道对角线方向奈奎斯特频率则和红、蓝通道一致，即公式 (7.10)。

图 7.4 奈奎斯特频率下绿色阵列线对

        通过以上分析不难得出：相比绿色通道，红、蓝通道更容易出现混叠失真。即便系统搭载光学抗混叠滤波器，彩色插值的信号重建过程依然会引入混叠伪影。

        彩色插值算法设计必须兼顾传感器带来的各类伪影，以及图像处理链路中其他模块之间的相互影响，文献 [3] 对此做了详尽分析。去马赛克算法需要输出高质量图像，避免产生各类典型伪影；这类伪影会被锐化模块进一步放大，造成图像画质严重劣化。与此同时，去马赛克算法还不能因为降噪模块残留噪声、绿色失衡效应，生成虚假边缘。绿色失衡出现在 GR、GB 像素位置，该现象主要由光电串扰引发 。