WWDC 2019：Apple公布ARKit 3支持实时身体跟踪

在WWDC开发者大会上，Apple公布了ARKit 3，它是用于在iOS上创建AR应用程序的最新开发 工具 集。ARKit 3现在提供对场景中人物的实时身体跟踪以及人体遮挡功能。Apple还推出了Reality Composer和RealityKit，使开发人员可以更轻松地开发增强现实应用程序。

从一开始，ARKit就提供了计算机视觉跟踪功能，支持iOS设备跟踪位置，以及检测地面或平台等平面，可用于将虚拟物体放入场景中。使用ARKit 3，该系统现在支持动作捕捉和人员遮挡。

使用计算机视觉，ARKit 3了解人们在场景中的位置，知道当前所在位置可以让系统相对于场景中的真实人物更加正确地合成虚拟对象。

通过知道人们在场景中的位置以及他们的身体如何移动，可以通过ARKit 3制作跟踪身体的虚拟版本，该虚拟版本又可以用作AR输入应用程序。身体跟踪可用于将人的动作转换为化身的动画，或用于与场景中的物体交互等。

当前该应用程序可以让孩子们玩木偶字符并用AR头像记录故事。随着时间的推移而改进，应用程序将变得更准确以实现更多用途。这可能是一个使用原始跟踪信息的简单“hello world”类型的演示，可以巧妙地将运动输入和物理结合在一起，以创建更逼真，程序生成的动画。

身体跟踪对于AR的未来将是重要的，尤其是头戴式设备将“始终开启”以保持全天沉浸式体验。Apple很有可能会在预期的时间内推出AR头显并开发部署这些功能。

ARKit 3中列出了一些其他改进：

动作捕捉

更快的参考图像加载

自动检测图像大小

视觉连贯性

更强大的3D物体检测

AR Quick Look中的视频录制

AR Quick Look中的Apple Pay

多面追踪

协作会议

AR Quick Look中的音频支持

检测到最多100张图像

HDR环境纹理

AR Quick Look中的多模型支持

RealityKit

通过ARKit 3，Apple还推出了RealityKit，旨在让开发人员更容易在iOS上构建增强现实应用。

构建增强版应用程序需要对3D应用程序开发，工具和工作流程有深刻的理解。

根据Apple的描述，RealityKit几乎听起来像一个微型游戏引擎，包括“照片般逼真的渲染，相机效果，动画，物理等等。”而不是要求iOS开发人员学习Unity或虚幻引擎等游戏引擎工具，RealityKit将是Apple希望开发人员更容易和更熟悉的选项。

使用RealityKit，Apple也很有希望获得顶级渲染。该公司正在调整渲染允许虚拟对象通过iOS设备的相机尽可能令人信服地融入现实世界，方法是将效果分层到虚拟对象上。

“RealityKit使用逼真的基于物理的材料，环境反射，接地阴影，相机噪声，运动模糊等将虚拟内容与现实世界无缝融合，使虚拟内容几乎与现实无法区分。”

RealityKit使用Swift API，还支持在iOS上创建共享AR体验，提供开箱即用的网络解决方案。

与RealityKit一样，Reality Composer旨在为没有游戏引擎的开发人员提供便利。Apple表示Reality Composer提供了一个现有3D模型和动画库，具有拖放功能，允许创建简单的AR体验，可以使用Xcode集成到应用程序中或导出到AR Quick Look（允许内置的iOS应用程序，如Safari，消息，邮件等，使用增强现实快速可视化3D对象）。

除了内置的对象库，Reality Composer还允许以USDZ格式导入3D文件，并提供空间音频解决方案。