双摄像头都是噱头吗？聊聊 iPhone 的双摄 by DxOMark
本文转自周三科技，编译作者欧阳洋葱，原文链接：双摄像头都是噱头吗？聊聊 iPhone 的双摄 by DxOMark。
说真的，在编译 DxOMark 的这篇文章之前，我还是想说一说。虽然双摄被很多不明所以的人称作是营销产物，但实际上双摄，乃至多摄仍在新生阶段，所以并未产生应有的收效。而在此之前，对于关注移动成像领域的爱好者而言，我们应该去了解如今的手机制造商，和双摄方案提供商在前期做 “奠基人” 的问题上究竟扮演了什么样的角色。
普通消费用户知道双摄解决方案的突破口应该是前不久魅蓝 Note 6 发布的时候，魅蓝告诉各位，其双摄解决方案来自虹软。实际上为国内手机制造商提供双摄解决方案更有名的是 Corephotonics，这家来自以色列的 vendor 为小米、OPPO、一加都提供过 ISP 算法方案（包括今年 MWC 大会上 OPPO 的 5 倍变焦相机）。对双摄图像融合算法的一些理论常识感兴趣的同学可以去看看他们前不久公布的图像融合白皮书：IMAGE FUSION – Corephotonics
（Light L16）
其实无论是深度地图（depth map）的构建，还是焦外弥散圆的表现方式，抑或双摄所做的抑噪和消除视差的 “遮蔽” 修正等等，双摄现如今的发展都还的确比较初期。多摄方案上的极致应该是 2015 年名为 Light L16 的相机（呃… 话说光场相机不能算多摄吧），那款相机有 16 颗镜头，总共分成三组（35mm、70mm 和 150mm 焦距），合成 5200 万像素照片，拍完的照片可调整景深、焦点，拍摄也支持变焦——变焦方案其实和现如今很多手机地广角 + 长焦双摄方案是差不多的，只不过在图像融合算法上可能会更复杂。
这类形态相机的本质，包括双摄手机，都是为了在保持机身轻薄的基础上，提升画质，甚至模拟单反能够做到的某些特性，比如浅景深、变焦。我觉得就算很多人看不起双摄，或认为它就是个噱头，也不应该否认双摄的这种目标，也不要因为市场上存在一些劣质的双摄手机就对其失去信心——双摄市场的每个参与者其实都在积极地进行技术改良，不光是图像传感器制造商、算法解决方案，还包括芯片制造商其实也越来越倾向于集成双摄方案支持，高通和联发科都已经这么做了。现在连影像评测机构也开始这么做了，比如 DxOMark，所以双摄的这种趋势几乎已经板上钉钉。
下面这篇文章实际上是 DxOMark 为了阐述自己针对 Mobile 类设备做评测和打分的新标准而写的。这次新标准的出现其实就是为了适应现如今的双摄手机，所以 DxOMark Mobile 评分的子项多了 “变焦（Zoom）” 和 “焦外（Bokeh）” 两项。而对双摄的评判标准也不像很多人想象得那么简单。
其实如果你对成像比较了解的话，那么这篇文章能够给出的干货不算多，
- 比如说 iPhone 对焦外高光位置的虚化呈现方式还不够真（或者说模拟得不够传神）；
- 比如 iPhone 7 Plus 双摄模拟的虚化程度大约相当于全幅单反之上的 f/3.5 光圈；
- 再比如你可能不知道，在 100 lux 略暗但不是很暗的照度下，如果用 iPhone 7 Plus 进行 2 倍变焦，则手机会对两颗摄像头拍下的照片进行融合；
- 还有，你可能知道暗光环境下用人像模式拍照，噪点多到无法接受，但更不能接受的是照片前后景的噪声分布是不均的；
- 双摄模拟的虚化效果，只虚化了后景，却并未虚化前景。
- 一个冷知识：808Pureview 在 DxOMark Mobile 评分中，“变焦” 项目的得分为 42 分，只比 iPhone 7 Plus 低了 4 分，却比 iPhone 7 高了 7 分。
以下是此文的全文编译，所有图片均可点击放大查看。原文题为 《Shoot-out: Apple iPhone 7 versus the Apple iPhone 7 Plus using our new test protocol – DxOMark》
我们现在已经开始采用最新的 DxOMark Mobile 协议。新版评测标准可用于测试苹果 iPhone 7 Plus 的双摄像头系统，并将之与 iPhone 7 和其他旗舰机型进行更为公平的比较。我们先前已经采用新标准对 iPhone 7 Plus 进行了评测，并且也对 iPhone 7 进行了重新测试。这篇文章将展示，我们是如何测试 iPhone 7 Plus 的长焦摄像头和人像拍摄功能的，以及这些项目对于总分的影响。
iPhone 7 家族：两款机型的共性
相较前代产品，iPhone 7 和 iPhone 7 Plus 对摄像头进行了又一次提升，而且还增加了一些新特性——苹果期望以这种方式让 iPhone 再度成为最受欢迎的拍照设备。虽然部分新特性仅针对 iPhone 7 Plus，但两款设备的升级都是比较充足的——包括更大的光圈、更出色的图像处理能力、四颗闪光灯，以及光学防抖（OIS）。iPhone 7 和 7 Plus 的主摄像头都采用 1/3 英寸 1200 万像素图像传感器、广角（等效 28mm）f/1.8 镜头——支持光学防抖。两款机型拍照时都支持全新的广色域，用苹果或者其他支持 DCI-P3 色域的高端显示器查看照片，可以获得更丰富的色彩。苹果在新版图像处理器上还采用全新的算法，以每次按下快门拍摄多张照片的方式来获得最佳成像。在我们的测试中，我们将展示这些新技术是怎么发挥作用的。
在室外明亮日光条件下，iPhone 7 和 7 Plus 拍照不仅曝光准确，而且动态范围广、自动白平衡表现出众、色彩渲染和细节呈现都不错。所以两款设备的子项评分都很棒，暗光环境拍摄是唯一短板——相对精细的细节存在缺失，在各种光照条件下对焦都不算太稳定，另外还有些可见的明度噪点。
视频拍摄时稳定性表现佳，快速平稳的自动对焦、出色的细节呈现、光照充足时色彩生动，所以两款机型的视频拍摄子项得分也都达到了 76 分。
iPhone 7 Plus：双摄是差异所在
iPhone 7 Plus 由于采用双摄结构，所以增加了一些新特性。其第二颗摄像头支持 2 倍光学变焦，可用于计算深度信息。所谓的人像模式，就是通过分析两颗摄像头来获取深度信息，以此进行背景虚化，并保持被摄主体清晰锐利。人像模式实际上就是为了模拟浅景深，一般浓重的背景虚化效果需要高端相机才能做到。
iPhone 7 和 7 Plus 摄像头的主要差异就在于后者有颗长焦摄像头（译者注：长焦原则上只可用于形容镜头，但本文不对 “长焦摄像头” 和 “长焦镜头” 两个词作区分），这颗摄像头不仅可用于远摄（变焦），还能用于获得背景虚化效果。所以我们的评测也会对这颗长焦摄像头做研究，包括其优势和缺点。
iPhone 7 Plus 的双摄规格
iPhone 7 Plus 的第二颗摄像头和主摄像头还是存在较大区别的，虽然分辨率都是 1200 万像素，但这颗摄像头的镜头采用更长的焦距（等效 56mm 焦距），因此光圈也相对更小（f/2.8），并且为了让 iPhone 7 Plus 与 iPhone 7 保持差不多的厚度，这颗长焦摄像头的图像传感器也更小。更小的图像传感器尺寸也就意味着其单个像素尺寸也更小（1μm，主摄像头的单个像素尺寸为 1.22μm），信噪比可能会更低。
这样一来，iPhone 7 Plus 有了第二颗摄像头，不仅可以做到 2 倍焦距拍摄（光学变焦的依据），而且在采用人像模式拍摄的时候，相机还能模拟浅景深，也就是背景虚化效果。
理解 iPhone 7 Plus 的光学变焦
手机摄像头的一大短板在于无法实现真正的光学变焦，几乎所有智能手机摄像头都采用定焦广角镜头，也就是说如果你要拍个特写，唯有改变拍摄距离，即与被摄对象靠得更近才行，或者也可以用数码变焦。而 iPhone 7 Plus 采用一种合理的方式，用户就能在不影响体验的情况下，从广角镜头无缝切换到长焦镜头，实现所谓的变焦。
虽然这颗长焦镜头也不支持变焦，但更长的焦距令 iPhone 7 Plus 可以拍摄相较主摄像头放大 2 倍的画面。这种方案有几个好处。长焦镜头拍摄到放大 2 倍的画面（译者注：实际上是被摄物放大两倍，而视野变窄）比数字变焦更清晰，细节也明显更多，后者其实只是截取画面的一部分暴力放大而已。另外，有了更长的焦距，摄影师就可以离被摄对象更远，拍摄画面的透视效果也不会太夸张——比如用广角镜头拍人像，如果靠的太近，人像的鼻子可能就会看起来很大。
（译者注：所以说 35-50mm 是拍摄人像的黄金焦距，太短或太长的焦距拍人像都充满了恶意。）
下面这两张照片就是用 iPhone 7 Plus 拍摄的，分别是 1 倍焦距和 2 倍焦距（译者注：也就是分别用主摄像头和第二颗摄像头拍的）：
如果采用 2 倍数码变焦（比如 iPhone 7 如果像上面这么拍，第二张就只能数码变焦了），那么效果肯定不会像 iPhone 7 Plus 的长焦镜头拍的那么锐利。在光照充足的环境下，采用 iPhone 7 Plus 的 2 倍变焦拍照，拍到的画面细节都比 iPhone 7 或者 Google Pixel 更为丰富。
给 iPhone 7 和 7 Plus 的变焦打分
上面已经谈到，在光照条件比较好的情况下，iPhone 7 Plus 的长焦镜头在拍照的时候，相比一般手机摄像头的数码变焦效果更好。不过苹果的双摄方案也存在局限性，由于第二颗摄像头相比主摄像头，图像传感器更小，而且采用更慢的镜头（也就是更小的光圈），镜头也不支持光学防抖——这些妥协实际上也是为了配合 iPhone 的机身厚度。
在暗光环境下，即便用 2 倍焦距拍摄，iPhone 7 Plus 仍然只用主摄像头，所以暗光环境下 2 倍焦距拍摄的照片和 iPhone 7 是差不多的。
（译者注：上图横轴是照度，纵轴是锐度；浅蓝色柱状条代表数码变焦，深蓝色柱状条代表光学 + 数码变焦；柱状条上方标注的 W 代表采用广角摄像头拍摄；T 代表采用长焦摄像头拍摄；三组柱状图分别列出 20 lux、100 lux 和 700 lux 照度下 iPhone 7 和 iPhone 7 Plus 拍摄照片的锐度情况。）
为了评估这种妥协究竟带来了什么样的后果，我们采用全新的 “变焦（Zoom）” 评测方式，来测试两台设备。我们的测试模拟了各种光照条件，从极低照度到明亮光照环境，以此来了解这些拍照设备的实际表现究竟如何。我们发现，在光照条件充足的情况下，iPhone 7 Plus 摄像头有较大的领先优势；而在稍暗的光照条件下（如上图中的 100 lux 照度下），iPhone 7 Plus 在细节呈现方面的领衔优势就变小了；在暗光环境下（如上图的 20 lux 照度），双摄的优势就不复存在了。这是因为在暗光环境下，iPhone 7 Plus 会完全采用广角摄像头（而不再启用长焦摄像头），所以其成像素质就和 iPhone 7 差不多了，此时 Google Pixel 拍到的细节更多。
（点击放大，观察原图的解析力表现）
光学变焦带来更多的噪点
长焦镜头虽然带来更多的细节，但由于单个像素尺寸更小，所以成像噪声有所增加。
（2 倍焦距下拍到的噪点稍多，仔细看天空部分就能够发现）
我们对比摄像头变焦表现的方法，是将摄像头调整到等效 50mm 和 85mm 两个焦距之上拍摄样张，不管摄像头的变焦机制是怎么做的（包括光学、数码和混合式）。随后我们再评估画面的特定区域表现如何，以锐度为衡量标准。摄影师是站在固定距离下拍摄的，我们对拍摄对象细节进行评估。
不难想见，iPhone 7 Plus 的双摄方案由于带一颗长焦镜头，所以在 “变焦” 这个项目上会有更高的得分。不过因为在较暗的光照条件下，iPhone 7 Plus 会对两颗摄像头拍下的画面进行合成，或者只采用主摄像头进行数码变焦，所以 iPhone 7 Plus 在这一项的得分也只比 iPhone 7 高出 9 分，前者与后者的得分分别为 46 分和 35 分。虽然还是存在一定优势，但和某些机型比起来就毫无优势了，比如诺基亚 808Pureview “变焦” 项目的得分是 42 分，而 808Pureview 采用的无损变焦方案，实际是对 4100 万像素图像传感器资源做充分利用，这台设备也是不支持光学变焦的。
所以如果和相机比起来，手机摄像头的 “变焦” 能力还是有很大的提升空间，如下图这三张从 “变焦” 测试样张中截取的画面对比。
给 iPhone 7 Plus 的虚化打分（人像模式）
现如今像单反一类高端相机，和手机摄像头之间的最大差异即在于，前者很容易创作出被摄主体清晰锐利，而背景则像奶油般模糊的照片，也就是所谓的 “刀锐奶化”。唯有较大的图像传感器，配合大光圈镜头才能营造出这种浅景深效果。
而手机的图像传感器要小得多，所以即便光圈 f 值看起来比较大，也是不大可能创作出 “刀锐奶化” 的作品的。某些后期桌面软件可用于模拟这种效果，不过还是需要较多的手动操作，去选中被摄对象，并确定背景的模糊程度。而苹果的 “人像模式”，就是以自动的方式来达到这样的背景虚化效果，向单反看齐。
虚化效果：部分模拟了浅景深
以 iPhone 7 Plus 的光学设计和条件，要真的拍出景深比较浅的照片是不现实的，因为其图像传感器较小，且镜头焦距也短。不过利用双摄拍下的照片，却能实时模拟出这样的效果。iPhone 首先会预估场景中每个被摄物的距离，并计算图像每部分要进行何种程度的虚化，越远的地方虚化越多，同时保证被摄主体及靠近被摄主体的部分是清晰锐利的。苹果似乎刻意减少了对前景的虚化，可能是为了防止穿帮和不自然。
（译者注：这段话需要对 “景深” 这个概念有一定的理解才能明白，如果你对于为何越远的位置虚化越多，以及为何前景也需要虚化感到困惑，欢迎看我的另一篇回答：欧阳洋葱：用算法合成的背景虚化效果与用大光圈镜头拍出的效果相比差距有多大，主要区别在哪里？
译者注：另外提一点，国内很多泛科技媒体早在 HTC One M8 时代就说，这款手机的第二颗摄像头 “用于记录景深信息”，这是种完全错误的表达，这里的 “景深信息” 指的应该是深度信息，而且也没有单颗摄像头能 “记录” 深度信息这样的黑科技存在，双摄虚化的根本就是通过两颗摄像头拍摄照片的视差——或者可能应该说成是位差，来大致推断被摄主体的边界，现在可能还会配合深度学习（Deep Learning）算法来识别被摄物，以最终构建的 depth map 深度地图为依据进行不同程度的虚化。）
注解：软件模拟浅景深的方法有很多种，有些软件是通过估算场景中被摄物的距离来构建深度地图。由于两颗摄像头的位置是不一样的，每颗摄像头拍到的场景视角会有差异，iPhone 7 Plus 也就能够利用两者间的差异来估算摄像头和场景中被摄物的远近。iPhone 7 Plus 开启人像模式时，就会模拟背景虚化效果。
iPhone 7 Plus 的背景模糊程度，大约相当于全画幅单反，配合 f/3.5 光圈镜头拍摄，如下图所示：
（左图 iPhone 7 Plus 拍摄，右图全画幅单反 + 50mm f/3.5 镜头拍摄）
虚化的短板：噪声分布不一、前后景过渡不自然
因为深度地图实际上并不精准，所以画面不同区域的过渡很多时候还是不自然的，下面这张图就是全画幅单反真正的背景虚化，和 iPhone 7 Plus 模拟背景虚化效果的差异：
全画幅单反采用 50mm 镜头，f/3.5 光圈拍摄；中间这张图是单反及其镜头呈现出的效果，而第三张图则是 iPhone 7 Plus 拍摄的，注意观察两张图小星星边缘位置与背景过渡时的差别，iPhone 7 Plus 拍下的画面存在一定程度的边界误判和过渡不自然。
iPhone 7 Plus 采用人像模式拍摄，在暗光环境下也会有问题。iPhone 7 Plus 第二颗摄像头的光圈相比主摄像头更小，这就需要更慢的快门速度作为补偿，但问题是这颗摄像头不支持光学防抖，所以又无法采用太慢的快门，这样一来在暗光场景下，iPhone 7 Plus 的长焦摄像头很难获得充足的曝光量。
所以如果在暗光环境下使用人像模式拍摄，画面被摄主体的噪声会显得比较严重，而焦外部分的噪点控制相对更好，因为虚化相对降低了这部分的噪声——这让整个画面看起来不够自然。
和单反真正拍到的浅景深不一样，iPhone 的人像模式拍下的照片，前后景的信噪比水平存在差异。在光照充足时，噪声没这么明显，但暗光时这种噪声分布的不均衡，实际上是比较诡异的，如下图所示。
衡量 “焦外” 的准确性
评估虚化表现的另一个要点在于被摄主体是否突出。真正的浅景深是光学属性使然，而不是模拟出来的。iPhone 7 Plus 在开启人像模式之后可以模拟浅景深。但问题在于，iPhone 7 Plus 对前景的虚化程度，比背景弱得多。苹果这么做可能是有原因的，可能是为了避免前景看起来不够自然。
为了表现这一点，下面这张测试板和相机采用 45° 角放置。测试板右边离相机更近，对焦位置选择在测试板中央。不难发现，下面这张图，全画幅单反 + 50mm 焦距镜头拍下的照片，近处和远处都有虚化；而 iPhone 7 Plus 只虚化了远处。
蓝色部分表示焦内区域（译者注：也就是景深范围）。iPhone 7 Plus 只虚化了后景，而蔡司镜头拍下的照片前后景都有虚化。如果要让 iPhone 7 Plus 也对前景做虚化，则需要前景离被摄主体非常远才行。
测试虚化表现
除了需要评判照片背景虚化程度，焦外高光部分的形状、亮度其实都有讲究（这些也是评测标准）。相机镜头拍下的照片，如果虚化的部分是讨喜的，我们就说其焦外成像很出色。如果用软件来模拟虚化效果，像 iPhone 7 Plus 这样，我们就需要评估其模拟虚化的表现如何了，毕竟相机镜头是靠真正的浅景深呈现出的虚化，那才是真是的虚化。我们在实验室里也对比了 iPhone 7 Plus 和全画幅单反 + 高端镜头的焦外成像，如下图所示：
全画幅单反加镜头，呈现出了更为传统和自然的焦外成像，即便采用 f/4 光圈也是如此。
焦外高光处的形状，看起来是否讨喜对摄影师来讲很重要，轮廓内部呈现也很重要。出色的焦外虚化应该是边缘一圈稍亮，同时边缘较锐。
（译者注：维基百科针对 Bokeh 的描述中有这样两段话：
Bokeh is often most visible around small background highlights, such as specular reflections and light sources, which is why it is often associated with such areas. However, bokeh is not limited to highlights; blur occurs in all out-of-focus regions of the image.
……
Bokeh characteristics may be quantified by examining the image’s circle of confusion. In out-of-focus areas, each point of light becomes an image of the aperture, generally a more or less round disc. Depending on how a lens is corrected for spherical aberration, the disc may be uniformly illuminated, brighter near the edge, or brighter near the center.
供对焦外成像感兴趣的同学参考，至少反射高光部分，以及小光源的焦外成像，会是 Bokeh 好或不好的重要评价标准。这里的 circle of confusion 就是弥散圆的意思。依据镜头对于相差的修正，焦外小光点可能在亮度上并不均匀，或光点边缘位置会更亮。
我感觉 DxOMark 最后评价焦外的这个说法还是值得商榷的，但鉴于 DxOMark 在镜头评测方面宗师级的地位，可能是我对焦外的理解太肤浅造成的。不过在我先前那篇回答中也谈到过，镜头的焦外虚化往往是不完美的，或者虚化的好看与否是很主观的，比如光圈收缩后弥散圆形状就不会是个圆形——不过这也不会成为影响焦外好看与否判断的标准，且镜头由于工艺限制在焦外呈现上也会表现出不同的特性。而双摄模拟的背景虚化则很单一，让画面看起来很假。）
iPhone 7 Plus 的虚化表现
iPhone 7 Plus 虚化平滑，这和光学虚化更锐的边缘相比，就不大符合预期。而且如果要产生虚化效果，苹果建议用户保持被摄主体离手机 2.5 米以内，在此范围之外，两颗摄像头无法识别出足够的位差，也就不能进行相对准确的虚化了。
iPhone 7 Plus 的长焦镜头能帮助减少畸变
更长的焦距有个优势，就是能够减少畸变（foreshortening distortion，译者注：这里主要应该就是指桶形畸变，另外也有夸张的透视关系），在比较近的距离，以广角镜头拍摄的时候就会有这个问题——比如拍人像特写。下面的样张就表现出了广角镜头呈现出的脸部变形，是用 iPhone 7 之上的广角镜头拍摄的大头照（或者一般传统手机拍出来的也是这样）。
把手机拿的离人脸远一点，那么就能缓解这个问题——但拿远的话拍不了特写——如果同时又期望拍摄脸部特写，对一般的手机摄像头来说就只能用数码变焦了。就像前文所说的那样，数码变焦对画质是有损的。所以 iPhone 7 Plus 的长焦镜头就不存在这一问题：一方面基本能够解决变形的问题，同时细节捕捉也到位。结合上述原因，iPhone 7 Plus 在 “焦外（Bokeh）” 项目的得分为 50 分，是我们测试过移动设备中的最高分——iPhone 7 在这一项的得分是 25 分。
对背景的虚化能力、焦外成像表现、被摄主体轮廓的合理呈现，这几点综合构成了 “焦外（Bokeh）” 评分项。
总结：iPhone 7 Plus 的双摄物有所值，尤其是人像拍摄
虽然在照片和视频拍摄的 “曝光与对比度”“色彩”“自动对焦”“Texture”“抑噪”“Artifacts” 和 “闪光灯” 各项目的得分方面，iPhone 7 和 iPhone 7 Plus 差不多，但在最新的 “变焦（Zoom）” 和 “焦外（Bokeh）” 两个项目上，iPhone 7 Plus 却领衔很多。亮光环境下长焦镜头更好的成像质量，加上减少即便、产生虚化效果，都让 iPhone 7 Plus 在人像、微距和运动摄影等维度上领先 iPhone 7。下表就是两款手机 DxOMark Mobile 得分的差异。
