关于高分辨率：A7R4的像素设计解析

今天主要聊聊索尼刚发布的A7R4，不过规格分析什么的就不说了，资料一搜一大把，聊点别的干货吧。一直以来，像素多寡都是普通用户常常讨论的话题，其实从数字成像的角度来说，高像素密度最大的优势就是可大可小，而低密度就只能小不能大，所以就纠正一些我近期在A7R4的评论里看到关于高像素密度工艺的错误观点吧：

第一，高像素密度并不意味着像素之间有“串扰”，严格来说可能存在“串扰”的只有光非均匀性响应，但导致它的原因并不单纯是光子逸出，也受复位管/源跟随管阈值电压偏移、增益变化，以及二极管尺寸受工艺影响不可避免的尺寸公差、局部浓度的集中和分散、环境沾污等影响。最重要的是，现代设计的像素阱之间已有做间隔处理，光子逸出已可以有效隔绝，串扰无从说起，而阈值电压变化可以通过相关双采样来消除，列电路开关沟道注射电荷注入效应需要通过改良电路设计来解决，总体来说，在现代传感器噪声体系里这属于相对很小的一个分支，而随着模数转换步骤的逐渐前移，这个问题会越来越小。

第二，量子效率远没有到极限，虽然理论上做背照可以让所有光子完整入射，但光子在半导体表面始终是随机入射，产生带电粒子（也就是光子散粒噪声）。量子效率的进步与CMOS材料、具体工艺以及具体电路设计有密切关系，手机使用的小底背照式量子效率可以超过90%，但相机却还距离尚远。这里可以简单说说如何计算某个机型的量子效率，随便打开一个机型的DxOMark SNR 18% Print模式测试图：

中高感区域会出现一段受散粒噪声影响而逐级3dB匀速下降的区域，在这个区域内随便取一个值，以它的实测信噪比和ISO来进行计算，比如A7R3可取到31.9dB和ISO 2217，代入以下公式：

可以得到A7R3的量子效率约为55%，显然还有明显的进步空间。量子效率与像素面积有一定的关系，面积越大、工艺越先进，量子效率越高，没有彩色滤镜的黑白传感器量子效率也会更高。如果考虑材料的话，采用CMY补色滤镜的量子效率还会更高。同时还有一点：越到像场边缘的主光线角度越大，量子效率也会逐步降低，所以像素设计的提升空间还相当大。

第三，像素面积大小确实影响阱容，但材料工艺的进步可以弥补这个问题，A7R4的IMX551硬件规格与IMX455一致，后者单像素（3.76umX3.76um）满阱就有49000e-且可以做2x2/3x3合并，也就是1500万等效输出单像素196000e-或667万等效输出单像素441000e-。作为对比，19umX19um的佳能35MMFHDXS系列单像素满阱为61000e-，材料和工艺的差距让两个像素面积明显不同型号有着近似的单像素阱容（新的有机薄膜材料甚至可以让单像素阱容增加到450000e-），这意味着A7R4可以在信噪比和分辨率的两极自由游走（而且还能走挺远），要是不嫌麻烦还可以通过均值堆栈的方式来实现两极兼顾。

第四，半导体工艺的进步可以抹平传感器面积差导致的部分性能差距，原生ISO 64的尼康D8XX系列低感动态范围就已经追上了IMX161系列4433中画幅，所以这时候说GFX50R还能吧画幅当优势并不正确（可转接全画幅大像差镜头组神仙等效规格倒是依然无敌）。

当然高像素也算牵一发动全身的变化，需要大容量存储和高性能后期平台，功耗、发热、连拍等也都受影响，但单单就提升成像质量来说，高像素可以说是有利无弊。

不过像素密度的进化速度是相对缓慢的，在这个过程节点之间，我们需要别的方法来“外挂”实现更高分辨率的目的，像素偏移就是一个很好的方案，其实这并不是一个特别新鲜的功能，而且也并不仅仅能用在静态成像上，动态视频同样可以通过次像素级位移+神经网络学习算法来实现更高分辨率。不过收敛度越高的方案，算法自然也就更复杂，这次A7R4直接用上了16张拼合方案，很多人似乎都不明白它究竟是如何工作的，简单来说它拍摄了4组，每组4张，具体是怎样操作的，为什么要这么操作呢？这里面其实有两个像素偏移的基本逻辑。

首先第一步，最常规的单像素移动3次拍摄4张：

这是基本的像素偏移，目的是为了让单一像素位置能针对三原色进行完全采样。红色蓝色在RGBG拜耳阵列中各只占1/4，其余位置的红蓝色分量需要插值计算，而决定明度采样频率的绿色则分配了2个像素。按1个单位像素的幅度来进行3次位移则意味着红蓝色像素可以在整个2x2阵列中取得完整的4次采样，采样精度提升了4倍，而绿色因为两个像素在位移后是重复采样，所以采样精度提升2倍（不过相当于绿色多做了一次均值堆栈，对消除随机噪声有一定帮助）。总体来说这个基础版像素偏移可以提高每个像素的三原色空间采样率，类似于在平面上实现了类似Foveon X3的效果，有利于提高画面细节，更经得起放大。但这个方案没有办法增加物理分辨率，所以这时候就需要后面的三组。

第二步，左移0.5像素后，上左下各移动1个像素；

第三步，还原位置，下移0.5像素后，下左上各移动1个像素。

第四步，还原位置，往左再往下移动0.5像素（也就是左下斜向移动0.7像素）后，下左上各移动1个像素。

很明显这是一个相当复杂的机制，尤其0.5+1的移动方式很特别，而每次第一步都0.5像素的目的就是在原有像素之间，再插入新的像素，类似的概念图如下：

而它的原理可以按下图来拆分解读，假设一个物点正好可以覆盖到一个像素点上，那么采样出来的信息就是这个样子：

此时传感器向上移动半个像素，就能得到这样一个2x2输出效果（请原谅这鬼畜的鼠描数字）：

接着往左移动半个像素，得到这样的2x2输出：

最后往下移动半个像素，2x2输出如下：

然后将这四个输出进行合并，就能获得一个实际像素增加4倍的效果，而且这还是最简单直接合并，事实上通过训练得当的算法完全可以收敛成一个相似度极高的高分辨率值：

而且如果不考虑机械结构限制和处理器算力的话，这个步骤还可以进一步细化，比如移动1/3像素拍摄9张，移动1/4拍摄16张等等，不过这个增益效果近似y=1/x的曲线形式，张数越多，增益幅度越小，0.5个像素的位移在目前来看是收益最均衡的方案。

所以A7R4像素偏移的后三步就直接让所有像素都增加了3倍，输出就变成了6020x4=24080万≈2.4亿像素。而后三步在增加像素后重复了第一步的单个像素位移平面X3采样，所以索尼的这套方案是在4倍像素的基础上各做了红蓝4倍、绿色2倍的采样率增幅，可以说是目前最变态的量产型方案，而且无论IMX551还是IMX455都内置了列并行16bit模数转换器，怼超分辨率的态度已经很明显了，在这种模式下镜头性能将会得到更全面的释放（当然往反了说也会放大缺陷）。

当然，这么多帧的像素偏移在面对动态物体时的补偿算法也会明显更复杂，所以这基本是一个静态应用的功能。可以明显甩开前代4433中画幅，但像同底的GFX100也支持五轴防抖，这意味着后续的升级让它同样可以实现像素偏移功能，4亿像素呼之欲出啊……

与像素偏移相反的方案就是合并像素，高像素密度的好处就是既可以实现高分辨率，同时还可以通过合并像素来提高信噪比，很适合安防监控等领域。而像素合并在手机上更常见，此前看到有人说4000万的Quad-Bayer色彩分量只有1/4，这个说法很直观，但是是片面的，因为忽略了全像素输出时Remosaic的过程。索尼方案的色彩滤镜虽然确实是4+4+4+4的布局，但因为目前的手机ISP不能直接读取Quad-Bayer，所以全像素输出时不能直接输出，而需要DSP内将所有像素通过猜色插值的方式还原为拜耳阵列的形态，这个过程虽然没有公开算法，但从目前已有的公开IP来看，关乎空间采样率的绿色分量占幅会在45%左右，解析力不止1/4那么简单。

基本上关于A7R4目前能写的部分就是这些，理论上我会在第一时间升级这台机器，到时候会给大家带来它的全面解析，可以随便期待一下啦！