偶遇白宫首席摄影师,他这样评价 iPhone XS 的拍照效果
编者按:苹果为最新的成像系统倾注了颇多心血,需要硬件、软件、神经引擎和数以万亿计的处理器计算,才能生成与单反效果相当的照片。
▲ 除特别说明外,所有照片均为 Pete Souza(白宫首席摄影师)拍摄。
就在苹果发布了一大堆新款 iPhone 和令人印象深刻的拍照功能后几分钟,我偶然发现著名摄影师 Pete Souza 在苹果公园游客中心外面。
看到他身边没有粉丝簇拥着,我还真有点诧异。我是相当欣赏 Souza 的摄影技巧和智慧的,见到他只身一人,我决定试探性地接近这位曾为两位总统——罗纳德 • 里根(Ronald Reagan)和巴拉克 • 奥巴马(Barack Obama)——任上拍过照的人。
「对不起,请问你是 Pete Souza 吗?」
Souza 正盯着他的 iPhone,想弄清楚 Lyft 司机在哪儿接他。他抬头看了看,在午后明媚的阳光下眯着眼睛说:「是的。」
Souza 后来在电话中告诉我,他是被苹果公司邀请参加 iPhone XS 发布会的,但不知道发布会内容。「我想,管他呢,我还是去吧,」他说。
在游客中心外,Souza 和我开始就苹果公司推出的 iPhone XS、XS Max 和 XR 的新拍照功能交换意见。
iPhone XS、XS Max 的双摄像头与 iPhone X 的配置基本相同:双 1200 万像素摄像头垂直排列,主镜头为 F/1.8 的广角镜头,副镜头为 F/2.4 的长焦镜头;还有一颗 700 万像素前置原深感摄像头。但这些配置都基于新的图像传感器、镜头和全新的图像信号处理器——所有这些,都是全新 A12 仿生芯片组的一部分。
和我一样,Souza 也对最新的人像模式感到惊讶,这种功能可以让你在拍照后,无论是前置还是后置摄像头,都能调整焦外成像效果(即背景虚化)。他告诉我,他认为消费者不会注意到界面上的光圈数。
▲苹果居然会在深度编辑中加入光圈数
后来,在电话里,Souza 说:「我想大家可能会用它,但不可能真正理解。」他补充道,消费者会在使用中理解其结果。
苹果全球营销高级副总裁 Phil Schiller 在被我问及为何决定在深度编辑界面中加入光圈数时表示:「我喜欢这个决定,这是团队上下对摄影艺术表示的一份尊敬。」
消费者在手机和照片编辑 app 中看到的数字,将不仅仅是老式的、单反相机式的光圈调节,Schiller 告诉我,苹果设计了一个精确的模型来模拟光圈数下物理镜头的行为。
▲ 注意背景虚化
在物理相机中,较大的光圈系数表示较小的进光量,也就意味着较小的景深。换句话说,F/1.4 光圈会把焦聚在人脸部,而模糊掉背景。F/16 光圈则几乎没有景深。
最早能拍摄出这种照片的智能手机出现在 2016 年,当时 iPhone 7 Plus 的人像模式利用其双镜头系统捕捉到的两张照片,创造出一种背景虚化的效果。对于 iPhone 业余摄影师来说,这本身就是一项突破性的创新,它将普通的人像照片转换成高画质的工作室照片,使前景物体清晰并模糊了后景。
精益求精
新的 iPhone XS 和 XS Max 功能更为强大。苹果软件副总裁 Marineau-Mes 解释说:「我们把透镜模型转化成数学模型,并将其应用到图像上。除了我们没人做这件事儿,其他人只是想办法模糊背景。无论你是用 iPhone XS 的 700 万像素前置摄像头自拍,还是用 iPhone XS 或 XS Max 双镜头系统拍照,还是用 iPhone XR 的 1200 万像素后置摄像头拍照,处理效果都相当不错。」
▲ 使用 iPhone XS Max 拍摄
苹果的深度编辑更加引人注目,在传统和单反摄影中,光圈的每一次调整都必须与曝光设置的相关调整相适应,而如今,苹果可以做到让你在不接触曝光的情况下调整拍摄后的光圈。
Souza 在华盛顿特区的自然历史博物馆试过 iPhone XS。当他对博物馆的早期人类头颅进行拍摄时——通过玻璃进行拍摄——结果令人印象深刻。他告诉我说我说,深度编辑功能「非常好,非常好」。
「我会把它和我用的佳能相提并论,效果真的棒极了。」他补充说。
Souza 是 iPhone 的粉丝,除了早年的翻盖机之外,从没用过其他品牌的手机。他表示自己在拍摄奥巴马虽然几乎总是用单反相机,但他总是用 iPhone 拍摄更随意的照片。他说:「我拍了几百张雪景,没有拍人,都是用 iPhone 拍的。」
显然,专业摄影师知道智能手机摄影的局限性。即使有了多镜头、远摄功能和后处理功能,也很难取代 35mm 全画幅传感器和 55mm 的镜头。
▲ 使用 iPhone XS Max 拍摄,无滤镜,无修图
但这并没有阻止苹果的努力。苹果公司多管齐下,力图让数以百万计的用户都能拥有专业水平的摄影能力。
「我们不像一家硬件公司,也不像软件公司,而是一家系统公司,」苹果相机硬件高级总监 Townsend 说,并强调了苹果在众多消费电子产品领域取得成功的标志:从设计到开发,从硬件到软件,几乎所有的事情都可以掌控,「我们有能力设计所有的东西。」
▲使用 iPhone XS Max 前置摄像头拍摄
协同与创新
苹果之所以能做到这一点——尤其是在成像这样复杂的系统中——部分原因在于,运行良好的组件并不总是能够很好地协同工作,而苹果对第三方合作伙伴定制零部件的偏好是众所周知的,但它还不止于此。如果合作伙伴表示自己无法达到苹果的要求,苹果就会聘请相机制造工艺的专家。而且苹果的硬件和软件团队一直定期开会,就是为了保证 iPhone XS 等新硬件能有过硬的摄像功能。
「我们的要求不是一般的高,」Schiller 笑着说。
事实证明,这种跨部门的协调对 Smart HDR——苹果图像处理皇冠上的又一颗宝石——的开发至关重要。
在传统的 HDR 中,曝光不同的两张图像分辨用来在暗区和亮区捕捉细节。即使在最好的 HDR 图像中,也会有一些细节(或者很多)丢失,或者最终合并的图像效果大打折扣,尤其是在动作照片中。此外,HDR 可能会带来一些快门延迟,这意味着运动摄影几乎是不可能的。
在我用 iPhone XS 和 XS Max 进行的测试中,Smart HDR 在具有挑战性的情况下拍出了高质量的图像。
▲Phil Schiller 在发布会. 图片来自:Justin Sullivan/Getty
正如 Schiller 在演讲中所说的,每一张照片都有数万亿次的运算,使得这一切成为可能,主要靠的还是 ISP 和它的高处理能力。
Marineau-Mes 向我解释道,相机在三十分之一秒内,在不同的曝光条件下捕捉一对图像。这些信息被传到 A12 的引擎中,后者迅速开始分析图像。
Smart HDR 不会就此止步。Marineau-Mes 说:「一切都是在几百毫秒内发生的。」
在 A12 芯片内部有一个引擎,它不仅可以分析图像的曝光,还可以分析离散的图像元素,也可以识别面部特征。如果系统检测到运动,它会查找具有运动最清晰图像的那一帧画面,并将其添加到图像中。
当天早些时候,苹果公司给我看了一张照片,照片上是一个人站在湖里。他背光,只能看到剪影。他在甩头发,水花四溅,飞向空中。如果我想用单反相机拍出这么一张照片,快门速度至少要设置到 500fps,然后把光圈稍稍调小保持一些景深,还要提高 ISO 来加大进光量,这可能会形成很多颗粒。
▲苹果公司的样张
然而,这张照片是用 iPhone x 拍摄的。
「我们设置了一个参考帧,并融合了来自多个帧的信息,」Marineau-Mes 说。我看到的图像是多帧合成的。其中一些帧包含了最终图像的片段,比如完美的头发和水。
他解释说:「如果你有一大堆差不多的图像时,你可以把它们逐渐叠加起来,慢慢就会得到效果越来越棒、细节越来越好的照片了。」
Marineau-Mes 说,要想获得这样的效果,就需要非常强大的图像信号处理器和神经网络引擎,以及一个能够保证进行所有这些处理功能的强大 GPU 和 CPU。
在你按下 iPhone 相机应用程序的虚拟快门按钮之前,所有这些繁重的工作就开始了。Schiller 说,用户在 iPhone XS、XS Max 和 XR 屏幕上看到的与最终图像没有太大区别。
当我问道收集这么多信息对最终照片的大小意味着什么时,他们告诉我,苹果的 HEIF 格式会提供更高的图片质量,但文件大小会更小。
有时,苹果公司的工程师们几乎是偶然地获得了更好的图像技术。去年,苹果公司推出了「闪烁检测」(flicker detection),它可以寻找光源刷新频率,并试图减少静态和视频图像中的闪烁。Townsend 说,虽然白炽灯和荧光灯的刷新频率是一致的——这使得计算曝光时间变得很容易,但是现代的节能灯可以在所有不同的频率下工作,尤其是那些改变颜色的频率。
今年,苹果工程师扩大了识别频率范围,进一步减少了闪烁。然而,在这样做的同时,他们意识到现在也可以立即识别出太阳在照片中的位置(汤森指出,「太阳不会闪烁」),并立即调整自然光线的白平衡。
「我们的工程师们正在研究这个,他们发现了额外的信息。所以,这是我们从闪烁检测中得到的好处,」Townsend 说。
视频和未来
所有这些图像捕捉努力也延伸到了视频领域,在拍摄中,系统会对每一帧进行分析,输出高光和暗部细节更优的视频。
我突然想到,如此集思广益之下,苹果可能会把深度编辑器应用到视频上。但当我问 Schiller 这个问题时,他只会说,苹果不会对未来的计划发表评论。
无论是视频还是照片,最终的结果都是苹果,或许还有智能手机相机摄影的一个新高潮。Townsend 告诉我说,公司收到了电子邮件,人们表示「不敢相信能拍出这样的照片。」
Townsend 说:「我们为生活在真实中的人制作相机。他们希望自己的照片是一幅美丽的画,仅此而已。」
▲Pete Souza 和我
Souza 的作品《Shade》讲述了奥巴马和特朗普政府之间的拍照对比,该书将于今年 10 月开始发售。「我一直都惊讶于用 iPhone 你能离你的拍摄对象多么近。就最小对焦距离而言,iPhone 比单反要好,除非你随身带着单反的微距镜头。」
那天早上,Souza 打印了两张他用 iPhone X 拍摄的照片。他说他认为这两张照片看起来像是用单反拍出来的。
我问了 Souza 最后一个问题:如果未来哪个总统继续钦定他来拍照,他是会用 iPhone 拍官方照片,还是继续用单反拍?
「单反,」他回复我说——也许打破了苹果公司的期待,「不过我还是会跟过去一样,在 Instagram 上发一些用 iPhone 拍的照片。」
从单反换到 iPhone,再从 iPhone 换到单反,苹果公司也一定不希望看到 Souza 和其他摄影师总是这么手忙脚乱。
本文转载自 36 氪,作者为 Lance Ulanoff,编辑为郝鹏程,原文标题 Inside Apple’s iPhone XS Camera Technology。爱范儿经授权发布。