![[arxiv weekly] 分布式，并行计算，集群计算论文速递 [2021.05.31]](https://www.ijkxs.com/wp-content/themes/b2/Assets/fontend/images/default-img.jpg)
在智能手机领域，配备“超高像素摄像头”一直都是厂商用于宣传的不二法门，毕竟在绝大多数普通消费者的潜意识中，像素越高就等于拍照越好。我们暂且不论这个想法正确与否，还是先将目光投向高像素的“真假”之争上吧。
突破4000万像素关口
2012年，诺基亚808 PureView首次配备了高达4100万像素的卡尔蔡司镜头（图1），刷新了手机摄像头领域的像素纪录。可惜，在以Android和iOS系统为主的生态圈中，直到2018年初上市的华为P20 Pro，才再次实现4000万像素的回归。步入2019年后，4800万像素逐渐成为智能手机圈的主流，上到顶级旗舰，下到千元机都纷纷猎装了这种超高像素的摄像头（图2）。
图1 当年相机模组的厚度非常“感人”，再看如今手机的纤薄身材，让人不禁感叹科技的进步
图2 哪怕是千元级别的手机也纷纷用上了4800万像素AI多摄
来自超像素技术的加成
在2014年前后，很多新品在拍照能力上都突破天际，明明标配的是一颗1300万、1600万或2400万像素的摄像头，却可以拍摄像素值数倍于这组数字的照片。比如，OPPO旗下手机利用了“超清画质模式”，让Find 7、R5可以进行5000万像素，N3和R7进行高达6400万像素的拍照体验（图3）。随后，主打拍照体验的金立E8更是通过“超像素模式”带来了一亿两千万像素即1.2亿像素的拍照能力（图4），其创下的拍照像素纪录至今还没有被人打破。
实际上，无论“超清画质模式”还是“超像素模式”，它们的基本原理都是相同的。OPPO采用的超清画质算法是连续拍摄10张照片进行合成，金立的超像素算法则是采用5张连续拍摄的照片进行多帧合成，中间过程生成的照片不会保留到ROM（闪存）之中。在将多张照片进行合成的过程中，涉及到将每张照片中物体边缘、纹理细节最清晰的部分，通过“多帧超分辨率零噪声模式”等技术进行重建，让用户最终看到的只是一张超高像素的完美照片。
然而，这种通过软件手段将拍照分辨率“跃升”的能力存在很多先天不足，比如需要CPU、内存和闪存的处理速度足够快，合成照片的细节是否完美还取决于成像算法的优化。此外，超像素技术会显著提升照片容量，5000万像素的照片大小会从3MB左右一下猛增到8MB至20MB，1.2亿像素在复杂的场景下也有望突破50MB容量大关，从按下快门拍摄一张照片还需要等待5秒以上，并且期间拍照界面按钮都会变成灰色，不再响应其他操作，非常影响实际体验。
可惜，当年的手机无论是存储容量还是处理速度都无法完美驾驭这种超像素技术，而拍摄超高分辨率的照片本身也不是刚需功能，在“随手一拍就是大片”的理念下，这种华而不实的功能逐渐被后续新品所抛弃，而智能手机们也转向了更具实际价值的AI场景的优化算法上（图55）。
图5 端侧AI运算能力，为手机拍照带来了无限的可能
超像素的逆向思维
就在手机总在试图拍摄更高分辨率的照片时，还有一种将像素由多变少的逆向思维也需要引起我们的重视。其中最具代表性的就是Lumia 1020的PureView超采样技术和HTC的UltraPixel超像素技术。
武装4100万像素摄像头的Lumia 1020在拍照时（图6），根据画幅尺寸可以同时拍摄一张3800万像素（4:3画幅）或3400万像素（16:9画幅）的照片，外加一张500万像素的照片。其中，主要用于社交分享的500万像素照片，在细节的表现力上可以秒杀当时一众同像素或更高像素的竞品，原因就是它是通过“超采样”技术，将每7/8个像素合成为一个“超级像素”，相当于系统自动将4100万像素的图像“浓缩”至500万像素，如今4000万/4800万/6400万/1.08亿像素传感器主打的Quad Bayer阵列和四合一像素聚合技术，就与PureView超采样技术有着异曲同工之妙。
HTC的UltraPixel超像素技术特指一种特殊定制的传感器（图7），在竞品纷纷用上800万、1300万和1600万像素时，这款手机的摄像头却仅有408万像素，它的传感器尺寸为1/3.0英寸，但单个像素的感光面积却达到了2μm，远远高于同期手机常见的1.1μm像素尺寸，感光效率高出300%，翻译过来就是夜拍时的细节表现更完美。
可惜，UltraPixel超像素相机的像素太低，并不利于营销，而且正常光线拍照和更细腻的分辨率才是市场的主流。因此，HTC很快也放弃了这种非主流的逆向思维方式。时至今日，已成主流的4800万像素传感器通过四合一像素聚合技术也能获得1.6μm的单个像素感光面积（图8），再加上“手持超级夜景”等拍照模式和AI算法的加持，夜拍表现也逐渐趋于完美（图9）。
真一亿像素时代来临
2019年8月初，小米在北京举行的未来影像技术沟通会中曝光了来自三星旗下，拥有1.08亿像素的传感器——ISOCELL Bright HMX（图10）。至此，智能手机终于用上了在物理层面真正破亿的摄像头，可以拍照分辨率高达12032×9024像素的照片。可以说，ISOCELL Bright HMX是迄今为止像素数量最高的手机传感器，没有之一。
4800万像素索尼称王
智能手机专用的CMOS传感器主要来自索尼（IMX）、豪威（OV）以及三星（ISOCELL），在4800万像素和更早的时代，索尼IMX系列的口碑最好。以主打4800万像素摄像头的Redmi Note 7为例，其标准版就选用了ISOCELL Bright GM1，而Redmi Note 7 Pro却用上了IMX586；黑鲨2采用ISOCELL Bright GM1，黑鲨2 Pro换成IMX586；vivo X27低配版用ISOCELL Bright GM1，高配版换成IMX586......类似的情况数不胜数，但从中我们不难看出，无论是在厂商还是用户眼中，索尼IMX586就是比ISOCELL Bright GM1“更香”（图12）。
原因很简单，这两个传感器虽然都将Quad Bayer阵列扩大到了4×4，并且以2×2的方式将RGB相邻排列，但由于底层的结构不同，三星GM1只能直出1200万像素的照片，4800万像素模式需要借助AI软件算法的形式实现；而索尼IMX586则支持4800万像素照片的直出，这就是它们之间的最大差异（图13）。
和三星GM1通过AI软件算法输出4800万像素照片相比，索尼IMX586硬件直出4800万像素照片的速度更快。但是，IMX586在4800万像素模式下，单个像素面积只有0.8μm，这意味着只有光线充足的户外场景才能保证成像质量，在光线不足时强制使用该模式拍照会因单像素包含的信息过少而严重影响画质细节。
火速链接
来自超亿像素的诱惑
就在索尼IMX最高像素还停留在4000万和4800万像素之际，三星却抢先一步带来了1.08亿像素的手机专用的CMOS传感器——ISOCELL Bright HMX（图14），而它的具体型号又称“S5KHMX”，如果你想更加直观地了解三星最新ISOCELL传感器的型号和对应规格，可以参考下表的汇总对比（表1）。
ISOCELL Bright HMX最大的特色，就是像素值达到了破天荒的一亿零八百万像素，像素数量比次一级的6400万像素传感器提高了1.6倍，是手机史上图像传感器行业的最高纪录。同时，这颗传感器的尺寸也达到1/1.33英寸，同样是以Android/iOS为代表的智能手机历史上的最大值。作为对比，索尼IMX586的传感器尺寸为1/2.0英寸，更高端的IMX650传感器（主要用于华为P30系列手机）尺寸也不过1/1.7英寸，ISOCELL Bright HMX这次将“底大一级压死人”的优势贯彻到了底（图15）。
经常关注CFan的读者可能还记得，在手机圈中，保持传感器尺寸纪录的手机型号其实是诺基亚808 PureView，其传感器尺寸高达1/1.2英寸。但是，这款手机为了塞下这颗4100万像素的大底镜头，相机模组的厚度非常惊人，放在以纤薄为美的当下，这种设计简直“反人类”。ISOCELL Bright HMX的1/1.33英寸虽然没有打破808 PureView的纪录，但对相机模组的尺寸和厚度要求却大幅放低，可以完美嵌入7mm~10mm左右厚度的手机体内。
我们都知道，单位像素面积的大小决定了传感器的感光能力，单位像素面积越大，可以在相同时间内捕捉到更多的光（图16），在暗光下拍照可以显著降低画面噪点。但是，单位像素面积过大，在白天光线很足时拍照却又容易出现过曝现象，较小的单位像素面积反而可以在白天捕捉更多画面的细节。
ISOCELL Bright HMX和早期的GM1和IMX586一样，都面临着单位像素面积过小的尴尬，0.8μm远远低于传感器领域主流的1.2μm~1.5μm的水准。此时，就轮到一项名为“Tetracell”（对应索尼的Quad-Bayer）的技术登场了。
在光线较好的环境中，0.8μm的单位像素面积拍照效果极佳（图17）；弱光环境下拍照时，无论是三星GM1、GM2、GW1还是HMX，都可以利用Tetracell（索尼系对应Quad-Bayer）技术将四个相邻像素合并成一个等效1.6μm的大像素（图18），再结合智能WDR（宽动态范围）功能，后者在一次拍摄中可进行多次曝光，从而让亮区和暗区都呈现更出色的细节。
在光线好的环境下利用重新拼贴算法可输出1.08亿像素的照片
暗光条件下可提供2700万像素的更亮照片
得益于更高的像素，ISOCELL Bright HMX可以进行分辨率为6K（6016×3384像素）、帧率达到30FPS、同时不影响视角（Field of view）的专业级视频拍摄能力。在海边等强光环境下，该传感器还能利用智能ISO技术自动修正亮度，提高色彩还原能力。此外，ISOCELL Bright HMX还支持Dual Pixel和超级PD对焦技术，即使在弱光环境下也可以识别快速移动物体的距离，从而实现更快速、更准确的自动对焦。同时，3层堆叠的快速读出传感器 (FRS) 可高速捕捉全高清视频画面（图19）。
作为三星旗舰级的传感器，ISOCELL Bright HMX的成本肯定不低，而小米旗下的MIX4则有望成为它的首发机型。按照小米品牌的价格走势，MIX4的起价不会低于3000元，此次甚至可能直接突破3500元大关。这意味着，很多预算有限的用户都无法在第一时间体验到来自超亿像素摄像头的拍照体验。
还是6400万更实际
除了ISOCELL Bright HMX，三星还推出了一颗6400万像素的传感器——ISOCELL Bright GW1（图20），它可以拍摄9248×6936像素的照片，比4800万像素多获得近34%的光学信息。同时，这颗传感器的尺寸进一步提升到了1/1.72英寸（图21），已经达到了索尼旗舰级IMX600和IMX650传感器的水准，结合四合一像素技术带来的等效1.8μm单位像素面积，其夜拍表现得以进一步提升。
最关键的是，ISOCELL Bright GW1支持6400万像素照片的直出，并引入了很多更先进的技术（图22）。从三星官方的资料来看，GW1同样支持智能ISO技术则可根据光照环境智能调整相机状态，以实现最佳光电信号转换。此外，它还采用了更新的材料代替像素间金属屏障的ISOCELL Plus技术，可实现更好的色彩保真，并将感光度提升15%。在拍摄全高清60FPS视频时，能实时处理并预览HDR（高动态范围图像）效果，让录像时也能看得清录的到。作为一款快速读出传感器，GW1还支持大量帧数的快速传输，它可以在4K模式下以60FPS录制视频，或是在全高清制式下完成高达240FPS的录像任务。
令人欣喜的是，ISOCELL Bright GW1并没有成为众多新品用于“提价”的武器，反而成为进一步提升性能价格比的杀手锏。以Redmi Note 8 Pro为代表的新品已经将GW1打入到了1399元价位（图23），realme品牌旗下的高性价比新品也蓄势待发，这颗更高像素的传感器在年底前也许就会成为绝大多数1500元以上价位新品的标准装备。
总之，ISOCELL Bright GW1和HMX的诞生有望让智能手机摄像头进入新一轮的像素竞赛中，当索尼和豪威也杀入这片战场后，手机拍摄的照片将具备秒杀单反相机的分辨率。但是，这又将回到本文初始的问题：对手机而言，更高像素真的代表更好的成像质量吗？
更高像素虽然可以提升画质，但还达不到决定画质的程度。在这个章节中，我们再来聊聊当像素值突破一亿大关后，对手机成像的新影响。
影响成像质量的因素
影响手机拍照性能的“核心参数”是CMOS传感器（涉及像素值、传感器尺寸、单个像素感光面积和对焦技术）、镜头玻璃、ISP性能、光圈大小和软硬结合的后期成像算法优化（图1）。可见，像素值仅仅是影响成像的因素之一。
手机相机中每个模块单元都可能影响最终的画质
以DxOMark手机相机排行榜单为例，截至2019年8月底，TOP10中最抢眼的手机分别来自三星和华为（图2），其中华为入榜的几款手机都是配备索尼IMX600/IMX650或IMX586传感器的机型，也就是高像素的代表；三星入榜的手机（S10和Note 10系列）武装的都是自家的S5K2L4传感器，刚上市不久的Galaxy Note 10+ 5G更是以113的分数位列榜首（图3）。
Galaxy Note 10+ 5G摄像头模组特写
小底低像素也有好画质
问题来了，三星S5K2L4是一颗只有1200万像素的传感器，传感器尺寸也只有1/1.55英寸，属于“小底”+“低像素”的典型代表。然而，就是这么一颗看似不起眼的CMOS，却可以带来媲美4000万像素IMX650传感器的实力。
究其原因，是三星为S5K2L4额外搭配了F1.5/F2.4双光圈，可以根据环境光线强弱切换到不同的光圈模式，比如夜晚就以F1.5超大光圈运行来获取更多光线。同时，S5K2L4的单位像素面积达到了1.4μm，只比通过四像素合一的IMX586和GM1等小0.2μm。当然，S10和Note 10系列拍照效果出色还离不开三星相机成像算法的加持，但这一切的一切，似乎都能说明一个问题——底大不一定就强，像素高的不一定好，最终还是要看相机模组和软件算法的综合技术（图4）。
除了三星，索尼传感器同样存在类似的问题。以IMX586为例，它除了1/2.0英寸大底和4800万超高像素以外，没有DRAM缓存，没有双核对焦，也不支持DTI像素隔离，综合性能远不如同期的IMX380（用于华为P20标准版等手机），至多是IMX363的水平。但是，超高像素毕竟是一个宣传上的引爆点，再加上高像素传感器带来了全新工作逻辑的加持，让它迅速将低像素的前辈们踢出局，成为2019年几乎所有中高端新品的标配。
高像素传感器的逻辑
凡是用过超高像素新款手机的用户不难发现一个问题，无论你手机的传感器型号是IMX586、IMX600、IMX650、GM1还是刚刚上市的6400万像素GW1，默认的拍照模式都是1200万像素或1600万像素，标称的4000万、4800万和6400万像素都是一个可选的拍照模式，而且在超高清拍照模式下，变焦、美颜、人像等特殊功能都会失效，而相机界面也会提示仅适用于光线充足的环境（图5）。
原因很简单，这些传感器的单位像素面积过小，暗光下拍照的表现很难令人满意。因此，无论是最早的IMX586、GM1还是最新的ISOCELL Bright GW1和HMX，它们超高的像素单位，最终都要服务于四合一像素技术，在低位像素的默认模式下实现更好的细节表现。
实际上，四合一像素技术非常像诺基亚808 PureView和Lumia 1020时期的PureView超采样技术，将4800万/6400万/1.08亿像素的图像“浓缩”至1200万/1600万/2700万像素，可有效降低单像素的噪点，让画面显得更加纯净。换句话说，这些超高像素的传感器在最高像素下拍照只能保证留下更多画面细节，但要想得到最佳的画质，或是体验多摄联动和各种软件算法带来的拍照功能，就必须以四合一像素之后的单位进行拍照。
此外，像素越高，可以拍摄分辨率更高的照片（图6），在一张照片内保留更多信息，能为相机软件提供更多后期处理的素材，从而充分发挥ISP单元和AI算法的潜力。
对分辨率为2340×1080像素的主流级手机屏幕来说，4800万、6400万像素摄像头所拍摄的照片分别相当于手机屏幕大小的19倍和25倍，1.08亿像素摄像头的照片甚至可以在手机屏幕上放大43倍，超高解析力带来了前所未有的画面精度，秒杀早前低像素传感器+超像素技术的多照片合成效果。
更高的解析力和画面细节的信息，还让超高像素摄像头拍摄的照片可以通过截幅的方式实现“变焦”的能力。以6400万像素的ISOCELL Bright GW1为例，其像素数量是主流1200万像素传感器的5倍之多，在2倍变焦时仍可提供1600万像素的图像，即使在5倍变焦后照片仍可达256万像素。当然，这种全靠裁切的手法在细节上可能还达不到真正长焦镜头的光学变焦效果，但也绝对属于“无损变焦”的范畴了（图7）。
realme新品在6400万像素模式下的拍摄样张以及放大后的细节表现
这意味着什么？
在过去，多摄手机要想拍清楚远处的风景，必须搭配一颗长焦镜头。当6400万或1.08亿摄像头普及后，2X和3X长焦镜头将再无用武之地，可以省下来一个位置用于安置超微距镜头、支持5X光学变焦的潜望式长焦镜头、ToF镜头或第二颗主摄，让手机的拍照功能可以覆盖更多焦段，或实现更多功能和更好的品质（图8）。
AI四摄会成为下一个趋势
那么，更高像素摄像头对变焦拍摄的增益能有多大？下面，我们就通过realme旗下两款分别配备4800万像素（IMX586）和6400万像素（ISOCELL Bright GW1）的新品，进行一番变焦拍摄的对比。两款手机分别在1X正常拍摄和5X无损变焦模式下进行拍照，可以明显看出4800万像素在5X时涂抹感比较严重（图9），而6400万像素在5X时对细节和层次的还原度更高（图10）。
09（1X）
09（5X）
4800万像素手机拍摄照片
10（1X）
10（5X）
6400万像素手机拍摄照片
由于更高像素需要更大传感器的支撑，而更大的“底”结合四合一像素技术还能进一步提升夜拍潜力，所以6400万像素手机在超级夜景模式下对光晕的控制更好，照片显得更干净，噪点和细节表现同样更好（图11）（图12）。
4800万像素手机拍摄照片
6400万像素手机拍摄照片
通过对比，我们可以提出一个结论——更高像素摄像头的出现，的确有利于提升智能手机的平均画质，并对软件后期带来更多的可能。但是，这并不代表它可以实现超越上代顶级传感器（如IMX650）的实力，至少ISOCELL Bright GW1还做不到，至于1.08亿像素的ISOCELL Bright HMX能否实现这个梦想，还得等时间来验证。
高像素倒逼硬件提速
前文我们提过，一张6400万像素的照片容量可达20MB，1.08亿像素照片甚至可以逼近50MB，这些都对手机SoC集成的ISP图像处理器单元的计算能力、内存速度和带宽、NAND闪存的读取和写入速度提出了更高的要求。因此，你会发现凡是搭配这些全新超高像素传感器的手机，都会选择高通骁龙7系或更高档的移动平台，闪存版本也全面从eMMC5.1过渡到了UFS2.1甚至UFS3.0。Redmi Note 8 Pro搭载的联发科Helio G90T，就主打“原生支持6400万像素摄像头直出”，让从相机软件中按下快门到可以预览刚刚拍摄图片的等待时间趋近于零。
多摄和单摄的未来探讨
目前智能手机的多摄阵列，已经从早期的黑白+彩色，主摄+景深升级到了主摄+超广角+长焦（还包括潜望式）+超级微距+TOF的任意组合，可以带来更丰富的拍照模式，AI算法也让多摄参与成像变成了现实，超过5X的无损变焦极具实际意义。
然而，摄像头越多，传感器越高端，整套相机模组的成本也就越高，对手机内部空间的占用问题也将更为严峻（图13 图注：Nokia 9 PureView，这款手机内置5个摄像头，它们都是来自索尼旗下的IMX386传感器）。以华为P30 Pro为例，通过拆机分析，它的三摄模组成本已经达到了56美元，约合人民币376元。当多摄模组遇到了潜望式长焦或升降式摄像头这种物理结构，对手机内部结构的优化就提出了更为苛刻的挑战（图14）。
摄像头模组就已经占用了一半的主板空间
那么，手机就必须通过多摄来提升拍照潜力吗？
谷歌Pixel系列曾经就发表过不同的看法，依靠单摄+优化HDR算法，其日间和夜间的拍照水平也能处于一流水准。理论上，通过更先进的传感器和镜头工艺，能在一颗摄像头上实现正常拍照、超微距、超长焦，并通过算法带来广角，似乎也是一套不错的解决方案。至少，当6400万像素和1.08亿像素传感器出现后，2X和3X长焦镜头的地位就已经岌岌可危了，而它们所提供的“大底”、四合一像素以及更加成熟的AI算法，也足以胜任不同光线的拍摄环境。
据悉，亚光公司正在开发潜望式的单镜头模块，它以GM非球面玻璃镜头为基础，只需单镜头就能实现6X到8X的光学变焦，光变能力比目前三摄手机的5X还要强悍。如果未来真的出现“多合一”的全能型镜头，让手机重归“单摄”，并能同时实现多摄才能具备的拍照模式，无疑可以节省大量的内部空间，用来安置更大的电池、进一步降低厚度重量，想想就非常美妙。
来源：CFAN
