Getting Started Developing for Apple Vision Pro with Unity by Dan Miller

Summary

Dan Miller 介绍了Unity Technologies如何支持开发者为Apple Vision Pro构建应用。他提到了Unity的poly spatial团队，解释了Vision OS的共享空间和沉浸式空间概念，并讨论了Unity如何通过poly spatial input技术来支持VR和MR应用。Dan还提到了Unity 2022 LTS支持Vision OS，以及如何利用现有的Unity包和功能来开发Vision OS应用。此外，他还提到了开发者可以如何利用Unity的XR交互工具包和模拟工具来测试和开发应用，以及提供了一些针对Vision OS开发的一般性建议。

Takeaways

• 😀 演讲者Dan Miller来自Unity Technologies，他介绍了如何使用Unity为Apple Vision Pro构建应用。
• 🔧 Unity目前无法提供Apple Vision Pro的访问权限，推荐开发者通过unity.com/spatial申请参与封闭测试。
• 📱 要获取Apple Vision Pro开发者套件，需要通过Apple的开发者网站申请，Apple在全球特定地点设有实验室，供开发者测试应用。
• 🛠️ 演讲中提到Unity对Vision OS的支持正在不断增强，未来会支持更多特性。
• 🌐 介绍了Vision OS的两个上下文：共享空间（多应用窗口）和沉浸空间（单一应用全屏）。
• 🎮 在共享空间中，应用无法获取ARKit数据，不支持直接与用户交互，只能使用空间轻拍输入。
• 🕹️ Unity支持虚拟现实（VR）应用开发，使用Metal Compositor服务，并保持对ARKit特性的访问。
• 🖼️ 为支持混合现实（MR）和共享空间，Unity开发了新技术Poly Spatial，所有内容通过Reality Kit进行渲染。
• 🛍️ Poly Spatial允许Unity应用构建模拟层，将游戏逻辑、物理、资产数据等传输到Vision OS平台。
• 📚 提供了Poly Spatial的模板和示例，帮助开发者快速开始开发，并介绍了如何使用输入系统包和XR交互工具包。

Q & A

Unity Technologies 团队在 Apple Vision Pro 上的工作重点是什么？

Unity Technologies 的团队专注于为 Apple Vision Pro 构建支持，特别是通过 Unity 引擎实现。他们正在开发名为 Poly Spatial 的技术，以支持 Vision OS 的核心特性，并努力扩展对 Vision OS 上可用功能的支持。

如何申请加入 Unity 的 Apple Vision Pro 封闭测试版程序？

要申请加入 Unity 的 Apple Vision Pro 封闭测试版程序，需要访问 unity.com/spatial 网站并提交申请。目前该程序是封闭的，但 Unity 正在逐步增加参与者数量。

Apple Vision Pro 开发者套件是如何管理的？

Apple Vision Pro 开发者套件的访问权限完全由 Apple 管理。开发者可以通过 Apple 开发者网站上的特定门户申请，与 Apple 合作并获得开发者套件。

在 Unity 中，如何支持 Vision OS 上的虚拟现实（VR）应用？

Unity 支持使用 Metal Compositor Services 在 Vision OS 上的虚拟现实应用。这涉及到以立体声方式渲染 Metal 纹理，并保留对 ARKit 功能（如手部追踪、设备位置、平面检测等）的访问。

Poly Spatial 是什么，它在 Unity 中扮演什么角色？

Poly Spatial 是 Unity 构建的一项新技术，用于支持混合现实（MR）或共享空间中的应用程序。它允许 Unity 应用程序构建一个模拟层，包括游戏逻辑、物理、资产数据等，然后将这些数据传输到 Vision OS 平台，并利用 Reality Kit 和 ARKit 来消费这些数据并构建内容。

在 Unity 中，如何实现对 Vision OS 上的沉浸式空间（Immersive Space）的支持？

Unity 通过 Poly Spatial 技术实现对沉浸式空间的支持，这包括全风格（Full Style，类似 VR）、混合风格（Mixed Style，允许现实世界交互）和渐进风格（Progressive，用户可以控制沉浸级别的混合现实体验）。

在 Unity 中，如何使用自定义着色器与 Poly Spatial 技术？

Unity 支持使用 Shader Graph 来创建自定义着色器，并通过 MaterialX 与 Reality Kit 集成。MaterialX 是一种开放标准，用于基于节点的 Shader 创建，Reality Kit 能够使用这些 MaterialX 图表来渲染自定义着色器。

在 Unity 中，如何使用 AR Foundation 来支持 Vision OS 上的 ARKit 功能？

Unity 通过 AR Foundation 提供对 ARKit 的支持，AR Foundation 是一个抽象层，位于多个不同的 AR 平台之上，为开发者提供了一个单一的 API 来构建应用程序。对于 Vision OS，需要通过权限启用 ARKit 功能，包括平面检测、场景几何（网格化）、图像跟踪和手部追踪。

在 Unity 中，如何实现 Vision OS 的空间输入（Spatial Tap Input）？

Unity 通过 Spatial Pointer Device 来实现 Vision OS 的空间输入，这允许用户通过凝视和捏合手势与内容进行交互。Unity 的输入系统包支持这种输入方式，并提供了交互位置、设备位置、旋转和目标对象等数据。

在 Unity 中，如何利用 XR Interaction Toolkit 来增强 Vision OS 应用的交互性？

Unity 正在开发 XR Spatial Pointer Interactor，这是一个自定义交互器，利用空间捏合（Spatial Tap）来定位并与用户交互的对象相对应。此外，Unity 还支持按钮控制，并尝试将现有的 XR 应用和 XR Interaction Toolkit 集成，以便利用现有的控制状态和输入绑定。

如果我想为 Vision OS 开发应用，Unity 提供了哪些资源和工具？

Unity 提供了 Unity 2022 LTS 版本，其中包括 Vision OS 构建目标，允许开发者构建现有的 Unity 应用程序并针对 Vision OS 平台。此外，还有 Poly Spatial 包（目前处于封闭测试阶段），提供了模板和示例，帮助开发者快速开始开发并展示如何使用输入、特性和最佳实践。

在 Unity 中，如何测试和模拟 Vision OS 上的 AR 功能？

Unity 提供了 XR Simulation 功能，允许开发者在 Unity 编辑器内测试 AR 功能，如动态平面构建、网格化等。此外，还有 XR Device Simulator，支持不同的手部手势，允许开发者在编辑器内模拟和测试手部交互。