XR（Extended Reality，扩展现实）渲染技术分析（二）
XR概念
XR涉及的概念及关系如下两图：
AR、VR的技术对比如下：
1 VR
什么是虚拟现实？让电子世界看起来真实且互动，非静态3D图像，不是电影，可以在3D世界中移动，可以在3D世界中操纵对象。虚拟现实体验包含浸入式空间和沉浸式体验两种模式。其中浸入式空间具有360度全景图像/视频、高视觉质量、有限的互动性、改变视点方向、用户可以转头看到不同的视图、固定位置等特点。沉浸式体验具有三维图形、低视觉质量、高交互性、太空运动、与虚拟对象交互等特点。VR设备包含基于PC和基于移动端两种方式。
虚拟现实硬件包含头戴式显示器、运动跟踪、头部追踪、控制器等硬件部件。
早期的VR设备包含Desktop VR、立体拷贝（Stereoscopy）、头部耦合透视（HCP）、头盔显示器（Head-mounted display，HMD等几种模式，它们的技术对比如下：
虚拟现实硬件类型有PC HMD、移动HMD（一体机）、手机嵌入设备三种类型。
PC HMD指的是作为外部显示器的桌面外围设备，提供最深度、最沉浸式的虚拟现实，跟踪位置和方向，使用一条或多条电缆连接到计算机，用于跟踪位置。
移动HMD一般是定制Android build/Oculus mobile SDK，仅限方位跟踪，支持即将到来的S6–三星Gear VR，支持LG G5（LG VR），110对角视野（Gear VR），1000hz刷新率（Gear VR）。
手机嵌套设备是移动虚拟现实开放规范，仅限方位跟踪，标准Android、iOS支持，使用简单的立体渲染和加速度计跟踪，只需添加智能手机，90度视场（硬纸板），200hz刷新率。
可扩展3D（X3D）图形是在Web上发布、查看、打印和存档交互式3D模型的免版税开放标准，X3D和HAnim标准由Web3D联盟开发和维护。使用X3D的HMD虚拟现实服务如下图：
衡量VR设备的基本参数包含立体绘制、6DOF（6自由度，包含位置和朝向）、视场（FOV）等，下表是2017年前后的VR设备的基本参数：
VR设备的经典代表Quest 2的参数如下：
- 面板类型：快速开关LCD。
- 显示分辨率：每只眼睛1832x1920。
- 支持刷新率：60Hz、72Hz、80Hz、90Hz。
- 默认SDK颜色空间：Rec.2020 gamut，2 gamma，D65 white point。
- USB接口：1x USB 3.0。
- 跟踪：由内向外，6自由度。
- 音频：集成，内置。
- SoC：高通®Snapdragon™ XR2平台。
- 内存：总计6GB。
- 镜头距离：可调IAD，有58、63和68mm三种设置。
2 AR
增强现实（AR）通过将虚拟对象叠加到真实世界中，无缝地融合了真实世界和虚拟世界，与用计算机模拟的虚拟世界代替真实世界的VR不同，AR改变了人们对真实世界的持续感知，Pokémon Go和Snapchat过滤器是AR的两个示例。AR通过将我们所看到的与计算机生成的信息叠加，增强了我们对现实世界的看法。如今，这项技术在智能手机AR应用程序中非常流行，这些应用程序要求用户将手机放在面前。通过从相机中拍摄图像并实时处理，该应用程序能够显示上下文信息或提供似乎植根于现实世界的游戏和社交体验。
虽然智能手机AR在过去十年中有了显著改善，但其应用仍然有限。人们越来越关注通过可穿戴智能眼镜提供更全面的AR体验。这些设备必须将超低功耗处理器与包括深度感知和跟踪在内的多个传感器结合在一起，所有这些都必须在一个足够轻和舒适的外形范围内，以便长时间佩戴。
AR智能眼镜需要在用户移动时始终开启、直观且安全的导航。这需要在深度、遮挡（当三维空间中的一个对象挡住另一个对象的视线时）、语义、位置、方向、位置、姿势、手势和眼睛跟踪等功能方面取得关键进展。
2021，许多新型智能眼镜上市，包括Snap的眼镜智能眼镜、联想ThinkReality A3和Vuzix的下一代智能眼镜。AR智能眼镜旨在改善我们未来的生活，如以下视频所述。它们还可能扮演通向虚拟元素和现实相交的元宇宙的门户的角色。
3 MR
混合现实（MR）是VR和AR技术的混合体，MR有时被称为混合现实，它将真实世界与虚拟世界融合在一起，在虚拟世界中，真实和数字对象可以共存并实时交互。与AR类似，MR将虚拟对象叠加在真实世界的顶部。与VR类似，这些叠加的虚拟对象是交互式的，使用户能够操纵虚拟对象。微软HoloLens就是MR的一个很好的例子。MR位于AR和VR之间，因为它融合了真实世界和虚拟世界。这种类型的XR技术有三个关键场景。第一种是通过智能手机或AR可穿戴设备，将虚拟对象和角色叠加到真实环境中，或者可能反过来。
2016年风靡全球的Pokémon Go手机游戏通过智能手机摄像头在现实世界中覆盖虚拟的神奇宝贝），它经常被吹捧为革命性的AR游戏，但实际上它是MR的一个很好的例子——将真实世界的环境与计算机生成的对象混合在一起。混合现实技术也开始被用于将VR真实世界的玩家叠加到视频游戏中，从而将真实世界的个性带入Twitch或YouTube等游戏流媒体平台。
4 XR
扩展现实（eXtended Reality，XR）是一个“包罗万象”的术语，指增强或取代我们世界观的技术，通常通过将计算机文本和图形叠加或浸入到真实世界和虚拟环境中，甚至是两者的组合。XR包括增强现实（AR）、虚拟现实（VR）和混合现实（MR），虽然这三种“现实”都有共同的重叠特性和需求，但每种都有不同的目的和底层技术。
XR被设定为在元宇宙（metaverse）中发挥基本作用。“互联网的下一次进化”将把真实、数字和虚拟世界融合到新的现实中，通过一个Arm驱动的“网关”设备（如VR设备或一副AR智能眼镜）进行访问。XR技术有一些基本的相似之处：所有XR可穿戴设备的核心部分是能够使用视觉输入方法，如对象、手势和注视跟踪，来导航世界和显示上下文相关信息，深度感知和映射也可以通过深度和位置功能实现。然而，XR设备根据AR、MR和VR体验的类型以及它们设计用于启用的用例的复杂性而有所不同。
3 XR综述
虚拟现实的历史通常可以追溯到20世纪60年代，这个概念甚至可以追溯到1938年以后。也就是说，当时的虚拟现实与我们现在的虚拟现实非常不同。第一款广为人知的虚拟现实头戴式显示器（HMD）是达摩克利之剑，由计算机科学家伊万·萨瑟兰（Ivan Sutherland）和他的学生鲍勃·斯普鲁尔（Bob Sproull）、奎汀·福斯特（Quitin Foster）和丹尼·科恩（Danny Cohen）发明。虚拟现实系统要求用户戴上安全带，因为整个设备对用户来说太重了，这种不可行性使得达摩克利之剑的使用仅限于实验室。
从那时起，VR HMD就开始发展。2019年，Facebook发布了其独立无线虚拟现实HMD Oculus Quest，用户不再需要PC或手机来操作和使用基于摄像头的位置跟踪（Oculus Insight）。这款内置电脑单元的新型设备为虚拟现实带来了一个移动和自由的新时代，Oculus Quest设备在一周内就在多家零售店售罄，在前两周，VR内容销售额达到500万美元。
2020年，近50%的AR/VR支出用于商业用例，其中26亿美元用于培训，9.14亿美元用于工业维护。消费者支出占AR/VR总支出的三分之一，VR游戏和VR功能观看分别为33亿美元和14亿美元。关于全球AR和VR支出的预测，2019年至2023年，前三位最快的支出增长率分别为大专实验室和现场，复合年增长率（CAGR）为190.1%，K-12实验室和现场，复合年增长率为168.7%，现场组装和安全，复合年增长率为129.5%。培训用例将是2023年最大的预测支出。
鉴于虚拟现实技术的发展潜力，苹果、谷歌、微软、Facebook、三星、IBM和其他主要公司在2020年对虚拟现实技术进行了大量投资。虚拟现实肯定有很有前途的支持者和信徒。将虚拟现实用于商业，主要是通过增强购物者的体验，也是一种趋势。通常，虚拟工具用于增强现实世界的环境，帮助购物者在实体商店中定位商品。虚拟现实技术还允许购物者定制他们感兴趣的产品。更有趣的是，购物者现在可以像在现实生活中一样，远程、虚拟地浏览商店的数字孪生兄弟，购买产品。
近年来，虚拟现实技术的全球增长势头强劲，部分原因是其迅速被消费者市场接受，其主要需求来自游戏、娱乐和体验活动行业。虚拟现实改变了我们消费内容的方式，给用户带来了更具互动性和沉浸式的体验。预计到2022年，全球虚拟现实产业预计将达到2092亿美元。随着入门成本的下降和全面部署带来的好处变得更加明显，AR/VR的商业应用将继续扩大。重点正在从谈论技术好处转向展示真实和可衡量的业务成果，包括生产力和效率的提高、知识转移、员工的安全，以及更具吸引力的客户体验。
XR的简要历史。
VR好的用户体验体现在吸引人、参与感和值得纪念的时刻等三方面。其中参与感包含了在场、联系、记忆三方面，这也是使用VR的良好理由。而反面的例子是阅读、键入和精准操作。
好的VR应用应当选择正确的技术，满足在达成和质量、续航、内容发布、备份、后勤等方面的需求。
此外，需要遵循VR最佳实践，具体如下：
保持玩法短暂且清晰：
还是有很多用户对VR不甚了解，是新手，需要对其进行测试，使得模拟负面影响尽量真实，进行跨年龄和视力测试，没有明确的用户体验范例。对于移动端VR，由于开发新硬件，但用户有旧硬件，延迟令人眩晕，设备、型号、版本之间存在差异。对于房间规模VR（room-scale VR），进行压力测试、跨GPU测试及存储、内存测试等。
假设每个人都是VR新手，需要耐心、温柔，解释会发生什么，告诉他们工作原理，和他们呆一分钟，监控其进度，获取反馈，短信提醒，建议转换。VR并不是即时直观的，需要引导他们。品牌需要注意10个VR提示：
为了最小化VR的负面影响（眩晕），需要快速帧速率（90以上最佳），当头部移动（20ms或更短）时，将延迟降至最低，正确获取所有视觉线索，最小化加速度，基于我们的视野和前庭系统如何相互作用的创造性解决方案。其中避免加速度尽量使用恒定速度，即时更改，如果是曲线，则提前显示，显示轨迹，减速，尽量远程传输，但显示地标，让玩家控制。注视点视野中心2度视野，周边视觉是运动的关键，快速移动时模糊或消除周边视觉。
眼睛追踪使注视点渲染成为可能，来到VR以及最终的移动领域，关键是学习我们的视觉系统/大脑如何相互作用，最起码需要什么？VR需要很多因素来保证正确和良好的体验，如帧速率、头部跟踪、视野范围、收敛性（Vergence）、3D渲染、透视、视差、距离雾、纹理、大小、遮挡…以及更多。下图是VR设备在显示、光学等方面的趋势预测：
渲染技术的预测如下：
制约VR体验的因素包含以下几方面：
谨防使用浮动图标、界面破坏存在感，将界面放入3D世界数字界面，研究我们的视觉系统，少即是多保持高帧率，不需要真实感。2017到2019年的VR设备市场份额的变化趋势如下图：
Oculus售出了150万台Rift，拥有12款100万美元以上的OCULUS游戏，OCULUS QUEST发布且售价在399美元。现象级的游戏代表是节奏光剑（Beat Saber）：
对于Oculus而言，未来的目标是达到十亿级的VR用户：
4 XR生态
VR/AR行业覆盖了硬件、系统、平台、开发工具、应用以及消费内容等诸多方面。作为一个还未成熟的产业，VR/AR行业的产业链还比较单薄，参与厂商（尤其是内容提供方）比较少，投入力度不是太大。核心内容生产工具面临较大的研发制作瓶颈，如360°全景拍摄相机，市面上的产品屈指可数。
当前XR涉及了硬件、OS、引擎、设备制造等等产业，涉及的公司和品牌数不胜数：
随着近年来，投资圈在XR圈的活跃，相信生态圈会越来越完善，正如2010年前后的智能移动设备。
5 XR应用
当前，由于Covid -19大流行，世界其范围正面临危机，例如，中国的在家工作场景要求新的工作或协作方式。VR为传统工作模式提供了另一种解决方案，可以实现虚拟会议、化身、面对面等办公和沟通需求。
自互联网诞生以来，信息通信和媒体技术一直呈指数级增长，虚拟现实技术创新发挥着重要作用。过去，虚拟现实主要是在消费游戏领域。虽然这一趋势将继续下去，但我们看到虚拟现实商业应用的快速增长。这主要是由于消费者习惯的改变以及虚拟现实硬件成本的大幅降低。与几十年前相比，虚拟现实的进入门槛相对较低，这使得虚拟现实成为了一个可行的解决方案，并增强了多个用例段。
为了提高生产力、提高效率和降低运营成本，新加坡的许多企业都在将最新的虚拟现实技术应用于从培训到工作的各种应用中。另一方面，普通消费者，尤其是年轻人，越来越愿意使用虚拟现实以增强他们不同的消费体验，如购物和娱乐。
政府机构也在将虚拟现实技术纳入其一些关键业务中。例如，警察和民防部门在培训中采用了虚拟现实技术。VR是某些政府建筑项目的强制要求。我们将进一步阐述这些应用在以下领域的沟通、协作与协调、培训以及可视化。
XR应用领域主要体现在（但不限于）：
- 沟通、协作与协调。有了互联网，可以实时与不同地理位置的人合作。然而，虚拟现实带来了一种新的沟通和协作方式。它通过让人们更加接近彼此，为虚拟现实视频会议创造了沉浸式的互动体验。沉浸在虚拟现实环境中，人们可以在没有身体干扰的情况下更加专注于会议。研究表明，与传统视频会议相比，虚拟现实沉浸式会议的注意力预计会增加25%。在旅行成本和物理会议空间方面，还有其他可观的节约。鉴于新冠肺炎的流行和社会疏远措施，许多社会和社区功能和活动已被完全取消。其中一些活动对参与者来说非常重要，诸如集会仪式之类的活动可以在虚拟现实空间中进行，毕业生和活动参与者可以使用手机和虚拟现实设备参加来自世界各地的虚拟毕业典礼。
- 培训。虚拟现实经常用于培训，因为它允许学员在沉浸式安全环境中体验真实情况。传统的动手培训通常需要物理设备、空间和操作停机时间。在某些情况下，受训人员可能会接触到他们没有准备好的工作场所危险。有了虚拟现实，培训可以随时随地进行，减少了资源成本和等待时间。培训师还可以定制虚拟现实环境，对员工进行不同场景的培训，让学员掌握大量知识，以解决各种问题。例如，犯罪现场的第一反应人员可以接受培训，以处理大量模拟场景，并反复磨练他们的决策技能。与传统场景模型相比，这种实现还允许主队更有效地使用物理存储和空间，允许更多的人更频繁地接受培训，而传统场景模型需要物理道具、模型和昂贵的空间。
- 可视化。在AEC业务中，虚拟现实帮助用户在网站建设之前将其设计可视化，从而节省成本并产生更好的效果。从2017年到2019年，虚拟现实在虚拟设计与施工（VDC）领域的招标要求有所增加。如果没有完全排除在此类项目竞争之外，没有VDC能力的公司将处于巨大劣势。在建筑设计师开始使用虚拟现实技术之前，他们可以先验证虚拟现实技术的优势，这一过程可以节省大量成本，并在建筑建成前缓解安全问题。
- 游戏和娱乐。VR游戏、影视等方面的应用是推动VR发展的主要动力之一，以节奏光剑等游戏的流行也推广了VR设备的普及。随着VR技术最初在游戏行业的兴起，VR将对游戏产生巨大影响也就不足为奇了。XR为玩家提供富有吸引力的虚拟对象，丰富游戏环境，允许远程玩家在同一游戏环境中实时游戏和交互，允许玩家通过身体运动改变游戏中的位置，允许游戏从二维空间移动到三维空间。
- 流媒体。XR带来身临其境的体验，并通过6个自由度（6DoF）的能力增强媒体流媒体体验。这允许用户在虚拟现实环境或体育赛事或音乐会中移动并与之交互。
如今的XR仍处于起步阶段，类似于10年前的智能手机，XR的发展将需要数年时间……但机会将是巨大的。
总之，随着国家向数字经济迈进，虚拟现实技术已经在多个行业被广泛采用和使用。商业和消费市场对虚拟现实技术的需求将继续增长。在未来的几年里，虚拟现实将被广泛应用于每一个国人的日常生活和公司的运营中，因为它变得更容易获得和负担得起。出于这个原因，预计商业市场会发生轻微变化，因为一些人可能会开始从虚拟现实转向AR，或者未来的两年肯定是虚拟现实的关键时期，因为科技巨头正在努力为现有的虚拟现实应用带来新的增强，并进一步提高沉浸式技术的技术上限。