特效靠边站，把妹不用愁！让你一秒变动画人物的 AR 应用

公司创始人 Li 表示，一秒变脸只是其 AR 社交平台的小功能，终极目标是让大家自由制作 AR 内容。

随着 Facebook 收购 MSQRD 和 Snapchat 收购 Looksery，AR 和换脸将成为移动应用的下一个方向。但是一家名叫 Pinscreen 的 AR 创业公司想在这个领域玩点新鲜的。

Pinscreen 成立于 2015 年，已经获得了拉克斯资本和 Colopl VR 基金的 1800 万美元的投资。创始人兼 CEO 是 Hao Li，虽然名不见经传，但他曾担任美国南加州大学助教，参与了几部卖座电影的动作研究。

在视觉工作室 Industrial Light & Magic 工作时，Li 开发了一些方便实时动作捕捉工具。他当时的想法是，当演员在电脑摄像头前表演，场景将实时转化成 CGI 角色。

（腾讯视频）

Li 也在其他领域展开过广泛的研究，包括实时制作真人三维模型、真人肖像重点部位捕捉，特别是脸部和头发。最近，Li 和其他研究者一起展示了一个新的研究成果：仅用一个镜头捕捉人的动作，就可以转化成动画角色。

这并不是一个新的概念，有许多其他公司也在做类似的移动应用，甚至更复杂的系统，如 2015 年被苹果收购的 Faceshift（一款运动捕捉工具，它主要用来复制人类面部动作）。

但这些产品大多依赖深度传感器，而 Li 的技术不需要。

（腾讯视频）

“如果有一个深度传感器，你就只需要优化人脸模型参数，使其尽可能接近 3D 输入”，Li 说，“但在纯 RGB（记录及显示彩色图像的一种方式）输入的情况下，整个世界被投影到二维图像中，无法确定焦距。因此，想要得到精确的 3D 面部模型，不仅需要投影图像，还需要处理照明条件、不同主体外观等一系列问题。”

因此，Li 的研究重点在于 3D 化身。当映射人类面孔，处理如头发和眼镜等视觉障碍时，映像程序往往会陷入困境。为了避免这类问题，Pinscreen“建立了一个深层的卷积神经网络，可以不受约束的学习如何分割面部区域”。

所以，Pinscreen 用这种技术做出了哪些成果呢？

“我们将成为一个新型的社交媒体 / 沟通的平台，具有一些有趣的 AR 功能”，李说，“与 Snapchat 的 lenses 功能或 MSQRD 的应用程序有所不同。”

所以，Pinscreen 的 AR 社交平台不只是一个概念而已。Li 希望能够捕捉人的面部表情，而无需考虑眼镜、头发等可能阻碍摄像机拍摄的问题。在他看来，AR 能够扩展电影、社交和游戏的边界。

（腾讯视频）

这听起来相当具有开创意义，但要注意的是，并不仅仅只有 Li 和他的团队研究这一领域。迪士尼联合一些开发者推出了一个实时面部捕捉工具 Face2Face。前文提到过的 Faceshift、Facebook 和 Snapchat 也开始在这一领域展开研究。

那么，Pinscreen 的技术有什么不同？Li 表示，他们解决方案更强大，可以推断更精确的三维模型，因为他们可以明确地处理遮挡的问题。

“我们最重要的创新之处在于我们能够建立一个完整的 3D 头部模型，能够自动生成包括头发在内的所有图像”，Li 说，“一般来说，这项工作需要一个熟练的 CGI 建模师和装配师合作完成，但我们能完全自动生成”。

“最近在 SIGGRAPH 会议上展示的成果仍然需要输入很多图像，但我们的目标是尽可能减少对图像的输入，最好只输入一个单一的 2D 图像。”

Li 对于 Pinscreen 在社交媒体空间的潜力非常有信心，他说：“我们的技术能普及 3D 化身，必将被用在游戏、VR/AR 沉浸式沟通和 AI 代理。但我认为我们正在开发的社交媒体平台最酷的应用。”

“最重要的是”，他补充说，“我们要让人们制造出非常有趣的内容，并可以使用真正有趣的 AR 内容相互连接，而不需要昂贵的视觉特效。”

Li 表示，这一技术只是他们整个计划的一部分，这个技术 demo 只是他们想要采用的一个小功能。“Pinscreen 将包含更多有趣的功能，与其他的社交媒体平台很不一样。”

现在，Pinscreen 仍然有点神秘，让我们期待它登陆应用商店吧！

本文编译自 Inverse，原文标题为 This Augmented Reality App Could Make Instant CGI a Reality 。

题图来源：pinscreen