智能手机性能过剩？可拍照方面都还不够用

对于国内的大多数消费者而言，谷歌的Pixel系列机型可能较为陌生，但对于所有的手机厂商、以及绝大部分开发者来说，Pixel系列却都有着特别的意义。这不仅是因为它是作为谷歌官方的“亲儿子”出现，本身就预装了最新版的Android系统，十分适合作为软件开发调试的工具；也因为其本身就相当于是谷歌对于“Android手机正确形态”的一种表态，因此在硬件配置、造型风格、功能侧重等多个方面，都对所有的安卓阵营手机厂商有着一定的指导意义。

但也正因为谷歌Pixel系列在整个业界享受着这种独特而“超然”的地位，使得它从某种程度上来说，甚至不需要看相关合作厂商的脸色，而是可以由着谷歌的性子，干出一些给整个行业“揭短”的任性事情来。

谷歌自研拍照芯片再临，折射出对业界的不满

2019年10月15日，也就是几天之后，谷歌就将正式发布新一代的Pixel 4/Pixel 4XL。但感谢消息灵通的外媒，我们得以提前窥见Pixel 4详细的硬件配置，也得以从中更清楚地看到谷歌对当前旗舰Android手机业界的一些意见和不满。

具体来说，本次的Pixel 4在基础平台上当然采用了时下最主流的高通骁龙855主控，在电源管理、音频、射频等关键部分芯片也基本上延续了高通的公版方案——很明显，这些都有利于开发者进行软件适配。但是与此同时，谷歌也往Pixel 4系列中加入了三枚具备不同于市面上任何其他方案的独特功能芯片，正是它们的出现，则透露了谷歌对于当前智能手机设计的一些看（bu）法（man）。

这三枚芯片分别是无需借助前置摄像头就能实现隔空手势操作的Soli雷达芯片，能提供服务器级别安全加密功能、由谷歌自行开发的Titan M加密芯片，以及最重要的，同样源自谷歌自有技术的“Pixel Neural Core”神经网络影像处理器。最后的这枚芯片据称同时整合了影像优化和影像识别功能，既能运用AI算法让Pixel 4的“计算摄影”画质更佳，强化高倍变焦、暗光拍摄等场景的清晰度表现，同时也能快速识别被摄物体，为实时翻译和AI识物功能进行加速。

此前的Pixel Visual Core，架构其实相当复杂

熟悉谷歌Pixel系列的朋友看到“Pixel Neural Core”可能都会觉得有些眼熟，没错，它其实正是此前Pixel 2和Pixel 3系列上的“Pixel Visual Core”的延续。而这也就意味着，这已经是第三代使用谷歌自研影像处理芯片的Pixel系列产品了。那么问题就来了，为何谷歌连续几年都要在自家手机中外挂自研的AI影像芯片，而不肯使用SoC提供的原生解决方案呢？

即便是旗舰手机，拍照处理性能其实也不够用

其实针对这个问题，曾经有两位业界大佬先后从不同角度给出过解答。首先是大家都知道的小米品牌创始人雷军，他在2017年的第四届世界互联网大会上曾经盛赞谷歌Pixel 2，称其只用一个摄像头就能做到完美的拍照虚化效果，就是靠先进的人工智能算法在起作用。而Pixel 2，正是谷歌尝试“外挂”自家AI影像芯片的第一款手机。这就说明谷歌之所以要外挂芯片，就是因为其自研拍照算法严重依赖AI处理，而经过深度优化的自研AI处理器显然可以实现更高的AI计算效率，有利于谷歌在手机里塞进更多的私有算法之故。

自己芯片执行自家代码效率更高，这个理由看似已经很充分了。但实际上,它仅仅只解释了谷歌动机的一半而已，至于另一半原因，直到2019年前段时间才由知名光学巨头蔡司的前CEO Michael Kaschkel揭晓。在一次公开场合中，这位在蔡司服务了20年的老将明确指出，即便是当今最旗舰的智能手机主控，实际上其性能也不足以处理好现在流行的4000万，或更高像素CMOS所产生的图像数据。换句话说，智能手机的性能远不像大家想象的那样过剩，至少在拍照所需的计算性能上，即便是旗舰主控其性能实际上也是严重不足的。

*级的手机处理器在拍照时的计算力依然不够用？要证明这一点其实非常简单：各位如果手边有4000万或以上级别像素的手机，只需要打开相机APP就会发现，所有的这些超高像素手机，无一例外地都将“全像素（即完整用到4000万、4800万或者6400万）”做成一个独立的拍照模式。只要开启这些所谓的“超清模式”，相机的变焦、HDR（多帧合成）、夜景、滤镜等其他功能都会变得不可用。这，其实正是手机此时处理性能跟不上的直接表现。

同为超高像素，相机和手机为何如此不同

有些朋友可能要说了，虽然智能手机现在像素普遍高，但是与单反和微单相比其实也没有离谱到哪里去啊！你看单反4000万像素的不是也有好多吗，微单不是也有1亿像素的富士GFX100吗？凭什么就没听说过相机有处理器跟不上像素数量的现象，手机就能有这个问题呢？

要弄清楚这一点，我们还是得从智能手机和传统数码相机的硬件条件以及成像方式差异上说起。大家应该都知道，即便当今的智能手机CMOS传感器像素总数已经高达6400万甚至1亿，但从实际拍照清晰度、CMOS感光能力、画面宽容度等多方面来说，一万元的智能手机和一万元的单反/微单相机相比，还有着极大的差距。这差距一方面来自于两种设备天差地别的镜头光学素质，另一方面其实也和智能手机CMOS那仅有绿豆大小的面积有着很大的关系。

智能手机上最大的1/1.7“大底”，在相机界只能算低端入门

毕竟不管是怎样的相机，“底大一级压死人”都是符合物理定律的绝对真理。在相同面积的传感器上，像素总数越高则必然单个像素进光量越少。这意味着对于智能手机的CMOS来说，如果不采用特别的设计，则糟糕的画质和巨多的噪点就是必然的结果。因此在默认情况下，如今的智能手机一般都会采用包括多帧降噪、AI智能像素填充、多摄同时采光等一系列手段，对画质进行多重补强，以便让“小绿豆”也能拍出观感不错的大片。

相机甚至可以装多个主控实现多路运算，手机呢？

如此一来，手机和相机在成像过程中的差异就出现了，手机必须要通过高速的多张连拍、自动合成处理来实现强力降噪和提升画质，但相机因为本身底大像素大，无需多帧合成就能有很不错的原生噪点抑制效果。于是乎在相同像素的前提下，智能手机的ISP所面临的计算压力，很显然要比相机的ISP所面对的压力大得多。可是众所周知的是，在智能手机的芯片中，ISP（图像信号处理器）只占用了很小的面积，CPU和GPU才是真正的大头；而相机的主控却刚好相反，用于驱动相机系统本身的处理器不需要很高的性能，芯片里更大的面积、更多的核心可以纯粹被用来处理拍照计算量。

于是乎我们也就不难理解，为什么从来没听说过相机处理器性能不够用，但手机目前却普遍存在着旗舰SoC也“带不动”超清摄像头的现象了。

在性能再次爆发之前，“四合一”只是权宜之计

面对这种状况，智能手机业界当然也不会坐以待毙。像谷歌那样直接在手机里外挂一个处理单元，专门运行自家编写的高效代码当然是理论上最彻底的解决方案，但对于大多数手机品牌来说，他们其实都有一个更为简单的解决办法。

是的，这就是大家可能已经听过很多次的“四像素合一”传感器设计了。以4000万像素的CMOS为例，其在大部分时间其实都是开启了“四像素合一”模式，以1000万有效像素的方式在工作。如此一来，一是可以如厂商宣传般地将等效像素面积扩展为原生的四倍，一定程度上强化感光能力；二就是能够有效降低ISP的计算负担，从而使得多帧降噪、HDR等需要依赖连拍合成的画质改善技术变得可用。

不仅如此，对于某些较新型号的超高像素CMOS来说，它们还能实现一半像素长曝光、一半像素短曝光，在一次拍摄中直接于CMOS上进行片上HDR成像的特殊工作模式。此时ISP收到的图像信息量会变为“四像素合一”模式下的两倍，但依然比全像素时的四倍信息量要少得多，计算压力小得多，而且还避免了连拍合成时的抖动影响，可谓一举多得。