Magic Leap One 上手体验:虽然令人失望,但依然是最好的?
本文来自雷锋网,作者为李诗,爱范儿经授权发布。
美东时间 8 月 8 日,Magic Leap One 创造者版本正式在美国地区发货,售价 2295 美元起(HoloLens 的开发者版本 3000 美元)。
▲ 图片来自:CNBC
早已经习惯了 Magic Leap 的拖延癌,好不容易等到他们发货了,雷锋网编辑已经没有激动的感觉。可能是此前的 “概念视频” 以及 CEO 阿伯维茨的推特让人平白激动了好多次吧。
现在,ML One 的硬件参数终于整整齐齐地出现了,同时,已经在一个周之前体验过 ML One 的几家外媒记者都不约而同发了测评。
外媒大多都表示不如预期、不如视频效果、不如推特上的吹嘘,但是,几乎都认定 ML One 是现在最好的 AR 眼镜。
硬件
再重复一下基本信息,ML One 的外形是蒸汽朋克风,采用了分体式的设计,包含 AR 眼镜 Lightwear,一个 6Dof 手柄和一个可以别在腰间的处理器 Lightpack。
在上个月的 twith 直播我们已经知道了 ML One 采用英伟达 Tegra X2 多核处理器,包含四核 ARM A57 CPU,双核 Denver 2 CPU 和基于 NVIDIA Pascal 的 GPU,具有 256 个 CUDA 核心。硬件配置看起来很强大,更具体参数放文末了,取需。
动态聚焦 &光场
谈起 Magic Leap 的内容和交互体验,体育馆里一跃而起水花四溅的大鲸鱼、手掌里栩栩如生的大象、办公室里可以躲在桌子腿后面的机器人,这些 “概念视频” 里的画面能一下子跃然眼前。然而,上个月 Magic Leap 在直播里展示了 ML One 开发者套件的第一个教学内容 Dodg,这个看起来不那么真实的小怪兽只会拿着石块砸人。
▲ 图片来自:MIT 科技评论
因此,MIT 科技评论记者写到, “所以当我今年夏天被要求回到佛罗里达州尝试 ML One 之前,我已经准备好要签署保密协议以及混淆和非常蹩脚的视觉效果。”
The Verge 记者开篇就陈述了自己的失望。当你要描述 AR,你首先需要描述一些现实中不可能存在的事物,比如说在一个现代化的办公室中出现一个迷你的小恐龙。Magic Leap One 似乎就是要完成这样的使命:让他相信这个不可能存在的东西。然而当上个月当 Magic Leap 邀请他去总部时,一切并不像他所期望的。
虽然 MIT 科技评论记者和 The Verge 记者都认为 ML One 是目前最好的 AR 眼镜,但是 The Verge 记者表达的失望看起来要多一些。
Magic Leap 一直以自己逼真的光学效果著称,希望能还原现实物体的光线,带给人眼自然的感受。当大家批评直播中的 Dodg 看起来不逼真时,CEO 阿伯维茨还特意发推特说,2D 的视频展现不了光场效果,只有佩戴上眼镜才能感受到,那么实际表现如何呢?
MIT 科技评论记者描述到,当她佩戴上 ML One,她看到海龟在房间里飞来飞去,戳它们的时候还留下了小小的气泡,她还开枪射击了从墙上出来的机器人。总的而言,视觉效果清晰生动,在某些情况下,我能够同时看到几个位于不同深度的数字图像。
Magic Leap 没有向 MIT 科技评论记者解释其光学原理,只说了个大概,“基本上,光线通过 AR 头显内置的波导片,波导片将光线引向人眼,以这样的方式创造了一个光场的数字模拟 ——所有光在一定体积的每个方向上传播。Abovitz 说,使用 ML One,用户应该能够从近距离清晰地看到三维图像 ,在远处也一样。”
Magic Leap 的光学是其最为晦涩的部分,也是最核心的部分。在此前的光波导文章中 ,雷锋网曾解释,人眼能看到物体是因为接收了物体从各个角度发射的光,人眼会根据物体的远近来调节焦距,产生深度信息,形成 3D 立体效果。现在的 VR/AR 大多数采用的左右屏幕提供不同的像,利用双目视差形成 3D 效果,这样会产生视觉辐辏调节冲突(VAC 现象),带来眩晕的感觉,同时,虚拟的像是没有深度信息的。
灵犀微光高级光学工程师小康曾解释 Magic Leap 利用六层光波导实现了两个距离的动态聚焦,能在 1 米和 3 米处显示不同深度的像。
▲ 图片来自:Magic Leap 专利文件
从 MIT 科技评论记者的描述看来,确实有不同的深度,但是她添加了限定词,“在某些情况下”,也就是说这个效果目前还不稳定。The Verge 的记者也谈到了这一点,“Magic Leap 理论上具有多个焦平面,使得眼睛观看虚拟物体的方式比其他 MR 眼镜都更自然舒适,但是由于这些图像对我来说不够现实,无法判断它的效果如何。”
Magic Leap 的光学部分还有一点值得注意就是,其如何还原物体表面各个方向的光线?这一点,雷锋网咨询了上海科技大学虚拟现实与视觉计算中心(VRVC)曹煊博士,在他看来,如果是多层光波导是可以实现这个效果的。但是,具体的技术依然不得而知。
Magic Leap 称其光波导为 “光子芯片(photonics chip)”。这些芯片是在位于弗罗里达的 Magic Leap 总部,前摩托罗拉工厂生产的, Abovitz 表示,Magic Leap 可以在现场舒适地生产数以千万计的芯片。光波导镜片以难以量产号称,看来,Magic Leap 也攻克了这个问题。
Magic Leap 放弃其宣称可以实现强大光场效果的光纤扫描成像技术是最大的失望点,多层光波导目前虽然领先,却似乎不是一个足够 “未来感” 的技术方案。Magic Leap 的视场角也让人不够满意,在上周,工程师文件透露,Magic Leap 的水平视场角为 40 度,垂直 30 度,比 HoloLens 大一点,却完全无法达到虚拟与现实融合所要求的大视角沉浸。
CNBC 的记者谈到,“戴着 ML One 有点像透过你视野内的窗户去看,它并不会将视野放在视线内的所有物体之上,这意味着很难看到与你非常接近的物体或者对于头显的视野而言太大的物体。 Magic Leap 首席执行官 Rony Abovitz 告诉我,未来的版本将开始解决这个问题,但很难覆盖人眼的整个视野。”
环境理解 &物体遮挡
光学之外,最值得关注的是 Magic Leap 对环境的感知和理解。
大部分的 AR 都只像是一个透明的像,不像实际的物体能相互遮挡,还难以固定在一个平面。Magic Leap 的办公室的机器人视频让大家印象深刻,这个机器人能躲在桌子腿后面!这首先需要环境感知,头显要知道自己的周围有什么物体,才能实现遮挡效果。
MIT 科技评论记者写到,她体验了一个名为 “Dr. Grordbort’s Invaders” 的游戏,她可以朝着机器人开火,也可以运动来躲开他们的射击,然后她的子弹打到家具或者墙壁上时,会出现闷烧的黑色标记。
从这个体验来看,Magic Leap 具备不过的环境感知,之前的直播展示出来其实通过平面识别来确定虚 Dodg 出现的位置,看起来不如 HoloLens 直接理解空间,不过据专业人士告诉雷锋网,识别平面和识别空间的难度是差不多的,由于其头显上有多个摄像头和深度摄像头,其实现环境感知的方式应该与 HoloLens 类似。只是这次的测评里面,大家都没有提到,环境监测是如何实现的。只能看此后更详细的体验报道。
MIT 科技评论记者还谈到,当这些机器人被击毙后会掉落到地板上,她仔细观察,觉得这些机器人看起来还挺坚固的。但她也谈到,“有时,机器人从房间里的沙发后面出现(耳机内置扬声器的音频提示我它们在哪里)。然而,当我试着蹲在椅子后面看它们是否会消失的时候,机器人的形象有点弯曲并且跟着我变动,而不是被家具正确遮挡。”
在去年 12 月时,滚石的记者的测评里写到,“我走过去绕着 Gimble,从不同的角度观察它,但它仍然静静地徘徊在我的视野中,周围的世界也依然存在,但我无法透过它看到周围,这就好像它的确有实质的重量一样,完全不是一个平面的图像。”
在滚石记者的描述下,ML One 的虚拟内容 Gimble 是不透明的。
The Verge 的记者称, “当佩戴上 Magic Leap 后,我看到了一只 3D 的恐龙,但当我靠近时,虚拟恐龙的图像会被切割,当有人经过时,可以透过虚拟的恐龙隐约看到人像。头显也并不能感受相对距离,并不会出现恐龙被一个人遮挡在后面的效果”, “边缘略微发光,文字有点模糊,有些物体显得略微透明。跟踪通常很好,但物体偶尔会移动或抖动。”
物体究竟能看起来多有质感?或许由于这个体验或许过于新颖,大家评价标准不一。要亲自带过后才知道。
MIT 科技评论记者还写到,“还有一些小问题。当我快速摇头时,视觉效果往往看起来很清晰并且保持不动,但当我四处走动时,它们有时会分裂成红色,绿色和蓝色。 Sam Miller 是系统工程团队的创始人和领导者之一,他告诉我这是一个调整不同部分的硬件和软件的问题。”
界面 &交互
Magic Leap 的定位是打造消费级的 AR 眼镜,尽管现在先一步推出的是只有开发者能申请的创造者版本,主要的目的是为了丰富应用,也是为了打磨界面和交互。
AR 眼镜如果想要替代手机,轻松直观的界面和交互必不可少。
Magic Leap 以其硬件而闻名,但是其 1,500 人的公司中也拥有大型软件团队,Magic Leap One 拥有功能性操作系统和启动应用程序套件。
其操作系统是基于 Linux 的 Lumen,看起来像一系列漂浮在半空中的球,附带一个名为 Helio 的网络浏览器; 带有全息聊天系统的 “社交套房”; 一个名为 Magic Leap World 的应用商店; 图库; 用于固定和观看虚拟屏幕的系统; 以及来自新西兰特效工作室 Weta Workshop 的蒸汽朋克射击游戏 “Dr. Grordbort’s Invaders” 的演示视频。
如果可以把所有信息直接显示在你眼前,你还会冒着颈椎病的风险选择低头刷手机吗?手机的大屏和触屏是一个伟大的发明,AR 眼镜的交互则是手势、语音等方式。
从直播的 Dodg 内容来看,Magic Leap 可以识别多种手势姿势,在交互上面下了不少功夫。
还有一些细节。Magic Leap 有两个不同大小不同瞳距的版本,没法直接带着近视眼镜,但是佩戴起来很舒适。像所有混合现实公司一样,Magic Leap 最终希望制作一副可以随处佩戴的普通眼镜。目前,耳机只能保证在室内工作,它包括蓝牙和 Wi-Fi 天线,但没有移动数据选项。 AT&T 已经承诺出售具有无线数据计划的未来版本,而 Abovitz 表示您可以在外面使用当前版本 “风险自负”。 “我们想教人们如何开始过这样的生活。你不会突然想让人们穿过街道,“他说。
最大挑战:内容
雷锋网编辑设想,如果此前 Magic Leap 不画下那么多的大饼,他们现在会不会更被看好?但是,转念一想,如果他们当时不画大饼,哪儿来钱从零开始做起?没有钱如何赶超比他们领先几年的 HoloLens,吹牛逼说要实现大的飞跃,最后做出一个只比 HoloLens 好一点的产品。
The Verge 的记者写到,“虽然说,从其他各个方面,Magic Leap 已经是我体验过的 AR 头显中最好的一个,也比透过苹果手机的屏幕去看 AR 模型的效果强很多,但是这绝对不是 Magic Leap 所吹捧多年的重大飞跃,它只是比现有的产品好一些而已。Magic Leap 所获得的资源明显与其所产生的产品不相符。”
她也谈到,Magic Leap 现在最大的限制可能是其内容。很多 ML One 中的内容都在不断揭露技术的局限,比如,一些内容是关于水下体验,可由于视场角不够大,无法得到这种体验。到目前为止,也没有任何内容真正达到科幻场景级别。
苹果发布 ARKit 时,也发布了一系列的操作说明,给出了很多的限制。在这些限制之后,开发者已经很难开发者爆款 AR 应用,这是 ARKit 发布接近一年还没有普及的原因。
Magic Leap 亦然。内容和硬件的结合是 Magic Leap 和开发者要共同探索的事情。但是,MIT 的记者写到,“Magic Leap 现在面临着巨大的挑战:说服开发人员为一种新的计算方式制作引人注目的内容,而如何去实现这一点,我的感觉是公司本身并不知道答案。”
目前,Magic Leap 官方放出了几款内容:《Invader》就是射击机器人的游戏;《Tonandi》中有大量奇异视听内容,可以根据音乐来创造视觉效果;《Create》是一款创作类内容,用户自定义虚拟场景和物体;《Social》是社交应用,可以自定义头像,支持多人交互。
继续画大饼
在邀请媒体体验时,CEO 阿伯维茨又接着画了一些大饼。比如,Magic Leap 以后会有 “生物指标”(biomarkers)功能,AR 头显能感知你的呼吸、心跳、叹气以及其他生命特征。
其次,Magic Leap 还想以一些非常奇怪的方式改变我们与计算机的整个关系。他们正在致力于双 AI 助手,一个用于执行低级任务,一个与人类平等相处。阿伯维茨介绍到,“如果你违反了条款和条件,而且你对 AI 非常粗鲁,我们的一般思维过程就是你可能会失去访问权限而你可能不得不重新获得访问权限。”
显然,Magic Leap 在探索 AR 与 AI 的结合。AR 其实更多的是输出,而 AI 才能解决输入,才有一个完整的交互体验,这也是其他公司正在做的事情。
最后,阿伯维茨认为:“无论如何,Magic Leap 还是会比大多数人想象的要酷”。
附 Magic Leap One 创造者版本详细参数:
Magic Leap One Lightpack
CPU:英伟达 ParkerSOC;2 个 Denver 2.0 64 位内核 + 4 个 ARM Cortex A57 64 位内核 (应用程序可用 2 个 A57 和 1 个 Denver)
GPU:英伟达帕斯卡;256 个 CUDA 内核;
图形 API:OpenGL 4.5,Vulkan,OpenGL ES 3.3+
内存 :8 GB
存储容量 :128 GB(实际可用存储容量 95GB)
功率 :内置可充电锂离子电池;连续使用长达 3 小时;续航能力根据使用情况而有所不同;45 瓦 USB-C PD 充电器
连接:蓝牙 4.2, WiFi 802.11ac/b/g/n, USB-C
Magic Leap One Lightwear
音频输出 :板载扬声器和 3.5mm 插孔,带音频空间化处理
音频输入 :语音(语音到文本)+ 现实世界音频(环境)
Magic Leap One Control
触觉 :LRA 触觉设备
追踪 :6DoF(位置和方向)
触控板 :触摸敏感
LED:带扩散器的 12-LED(RGB)环
功率 :内置可充电锂离子电池;连续使用长达 7.5 小时;15 瓦 USB-C 充电器
其他输入:8 位分辨率 Trigger Button;Digital Bumper Button;Digital Home Button