“ ‘眼前’的XR后，AI和5G正在耕种元宇宙的‘远方’。 ”
作者 | 姚勇喆
编辑 | 包永刚
2016年也被称为XR元年。这一年XR赛道风起云涌，面向个人用户的XR设备如雨后春笋般涌现。
元年之后的XR几经浮沉，终于在元宇宙概念的助力下再次爆发。
经过数年发展，XR 设备已经迈过了元宇宙大爆炸的“ 奇点” ，足够承载元宇宙宏大构想的落地。
但元宇宙远不仅仅是XR，“奇点”之后，元宇宙还在继续生长。
2022世界人工智能大会（WAIC2022）上，高通展示的最新无界XR技术和产品被评为镇馆之宝，三名玩家能够同时在5G连接的无线条件下以1832×1920@90Hz的显示效果实现沉浸式游戏体验。
使高通的无界XR技术成为“镇馆之宝”的不仅是XR终端设备的性能，还有人工智能和5G连接的“助攻”。
01
XR 设备跨过元宇宙大门
在诞生元宇宙概念的小说《雪崩》中，人们使用虚拟现实设备连入元宇宙世界，并在其间生活。而在现实中，XR设备也是真实世界通往元宇宙世界的大门。
在元宇宙的概念掀起热潮后，许多厂商纷纷制定了自己的元宇宙战略。许多厂商的路径选择中，极重要的一步就是XR 设备。
早在被称作“VR元年”的2016年，虚拟现实设备就曾火热一时。Oculus、HTC、索尼等品牌都在那时发布了消费级VR设备。资本也纷纷入场，2016年招商证券研报预计2020年全球VR/AR市场规模将超过1500亿美元。
但很长一段时间内，XR设备的发展并不顺利。
根据IDC数据，2016年全球XR设备出货量曾一度同比增长383%，达到904万部。但这股XR热潮也迅速消退，2018年全球VR头显出货量由375万台下滑至350万台，AR眼镜的出货量则由45万台暴跌至26万台，几乎腰斩，2020年XR市场规模千亿美元的目标也没有达成。
造成这种现象的一部分原因是这些XR设备昂贵且笨重，续航能力不足，加上显示效果不能令人满意，内容也十分匮乏，最终导致初代XR设备们昙花一现。
在这诸多的挑战之中，芯片是一个核心的问题。当时的XR设备只能“蹭”手机芯片用，但手机与XR设备在使用场景存在着比较大的差别，手机芯片并不能很好的覆盖XR芯片的使用场景。
作为移动领域的芯片龙头，高通2015 年便在XR 领域布局，2018 年推出了首款专用于XR 领域的芯片XR1 ，随后又推出了首款支持5G 的XR 芯片XR2 。
图 搭载了骁龙XR2平台的Quest2头显
骁龙XR2方案支持七路并行摄像头并且具备计算机视觉专用处理器的XR平台，显示单元支持3k×3k@90Hz的单眼分辨率，并支持流传输或本地播放8k@60Hz的360度视频或4K@120Hz视频，且支持HDR10/HDR10+。
骁龙XR2平台解决了之前XR设备延迟高、移动性差、分辨率差等问题，使得XR设备性能跨过了元宇宙的准入门槛，并引领了XR设备的普及化。
2020 年FaceBook 发布基于骁龙XR2 平台的OculusQuest2 ，成为了XR 领域第一款现象级的爆品，该设备在2021 年的销量超过了Xbox ，XR 设备再次迎来快速增长。
目前Pico、Meta等元宇宙头部玩家都已经在XR设备均采用了骁龙XR2芯片。HTC也被爆料即将推出基于骁龙XR2平台的Vive头显。高通基于XR2芯片的参考设计，也让更多厂商能够更轻松地基于XR2芯片打造自己的XR设备。
随着XR设备的进步和普及，我们已经跨过了元宇宙的准入门槛。但这对于元宇宙来说，仅仅是大爆炸的“奇点”，要实现元宇宙最终的宏大愿景，还需要在内容和交互上继续建设。
02
“奇点”之后， AI 播种生机
高通公司总裁兼CEO 安蒙曾在WAIC 2022 的主题演讲上表示，元宇宙是互联网的未来，即空间互联网。
空间互联网与当前的互联网最大的不同是能够提供更具沉浸感的体验。在当前的2D互联网时代主要的互动方式是2D平面的文字、图片和视频内容，而元宇宙则能让人们亲身参与其中。
元宇宙将视觉体验从第三人称平面升级到第一人称3D 视角，让人们获得更丰富的信息，并且扩宽了交互的边界，提供了触觉等新的交互方式。
为了支撑新的交互方式，更高精度的环境模型，更逼真的虚拟形象，更真实的互动反馈都必不可少。
为了让更多的开发者参与进来，利用人工智能构建场景更丰富，让用户体验更好的元宇宙世界，高通已经建立了Snapdragon Spaces XR开发者平台。
Snapdragon SpacesXR开发者平台为开发者提供了一套独立于设备制造商的AR功能规范，并且与2017年制定的Khronos OpenXR标准兼容，让开发者能够轻松完成可移植性应用程序开发。
除此之外，在创造元宇宙内容的过程中，人工智能在多个领域发挥着重要作用： 元宇宙需要学习并适应不断变化的环境和用户偏好，以提高用户在元宇宙虚拟环境中的体验感；支持深度感知的计算摄影和计算机视觉技术将完成对手部、眼球和位置的追踪，并拥有理解和感知情境的能力，为虚拟形象与环境的互动提供技术支持。
如今，已经跨过元宇宙XR设备门槛的厂商们也已经将注意力放到了人工智能上。但要想在元宇宙中利用人工智能，开发者们需要投入更多精力。
对AI开发者们来说，元宇宙是一个全新的场景。
不同场景下，人工智能设备的功耗需求、人工智能模型类型、模型部署方式都有所不同。对模型的准确性、功耗和延时的要求也不尽相同，在某个领域中人工智能的部署经验并不能简单复用到另一领域。元宇宙中大量新场景的出现，对开发者来说意味着更加繁杂的工作。
高通在手机芯片领域深耕多年，历经十多年研究并不断开发人工智能相关产品，已经成为了终端智能领域的领军者。
为了将开发者从反复的适配工作中解放出来，高通建立了让人工智能开发工作“ 书同轨，车同文” 的AI 软件栈。
基于高通的AI软件栈，开发者们不再需要为不同场景“量体裁衣”，而是只需要一次开发，就可以将成果部署到各个领域，这大大减少了开发者的工作量，加速人工智能在元宇宙新场景中的部署。
为了推进元宇宙的发展，高通还设立了1亿美元骁龙元宇宙基金，用于投资打造与XR体验相关AI核心技术的开发者和企业。
人工智能要在元宇宙中落地，还需要一座连接用户、边缘和云端的桥梁。
03
5G 建起“数字高架”，
AI 从云端走向万物
AI 的作用在元宇宙中，不止于“ 无所不能” ，还要“无处不在”。
一方面，元宇宙运行中会产生海量数据，而云端则无法承受如此庞大的数据量。依赖部署在云端的人工智能处理这些数据的方案可行性不高。
另一方面，元宇宙作为交互程度更高的下一代互联网，人们在元宇宙中遨游的同时，个人隐私和信息安全也十分重要。
端、边云协同的分布式结构能够解决元宇宙当前面临的这些痛点。
首先，在元宇宙中，大量情境丰富的数据由边缘产生，扩展至边缘的AI能够在边缘“就近处理”，无需将数据集中至云端，这大大减轻了云端的压力。
图 5G支持下实现的分布式智能
其次，在终端侧部署人工智能可以让用户在终端处理敏感数据，而不必将这些数据发送至云端，从而更好地保护使用者隐私。并且部署在终端的人工智能还能够侦测恶意软件和可疑行为，为用户的信息安全提供保障。
部署在终端的人工智能还能够利用联邦学习等新技术更高效地利用有限的网络资源和带宽，提高数据处理的效果。
分布式AI对元宇宙来说必不可少，而5G则是其不可缺少的助推器。
一份来自Gartner的报告曾指出，5G是推动分布式人工智能发展的重要因素。
5G与分布式部署的人工智能、功能强大的XR设备结合，诞生了目前XR用户体验的无界XR。
无界XR 的头显终端执行节能的优化时延算法以及眼球追踪、手势追踪、头部追踪等工作，更复杂的工作通过5G 网络传输至边缘处理。
这让XR设备的设计不再受功耗、散热等方面的限制，设计者可以将XR设备设计的更加轻便易用，边缘比终端更强大的算力也能够为更丰富的内容提供算力支持。
实现无界XR运行的难点在于延时和吞吐量这两个关键性能指标。
基于目前的VR头显硬件能力，要实现单目2Kx2K@90fps的VR头显实现5G无界XR的规模化部署，“动作-渲染-显示”的延时需要低于70毫秒，其中5G在终端和边缘端的往返时延需低于20毫秒。吞吐量上，则需要网络连接支持70~90Mbs的稳定下行吞吐量。
高通作为5G的领军企业之一，已经成功将自身在5G方案上的经验与XR设备、AI上的优势相结合，实现了无界XR优质的用户体验。
而WAIC 2022期间，高通公司、中国移动和中赫集团合作展示的无界XR技术被评为镇馆之宝。
图 WAIC上高通演示现场，三名玩家体验无界XR
演示现场用当红齐天提供的互动内容展示了在端到端的分离渲染架构下，无界XR利用5G提供的高速率低延时传输协同边缘云侧进行实时渲染，并结合XR终端侧的本地优化渲染来提供低延时的沉浸体验。
该演示采用了基于高通骁龙VR2平台的爱奇艺奇遇 DreamPro VR一体机，在演示中支持了三名体验者同时以1832×1920@90Hz的显示效果进行体验，细腻流畅的显示效果已经可以达到人们对元宇宙体验的想象。
世炬研发的基于高通FSM100 5GRAN平台的5G家庭小基站则为该VR头显提供了强大的网络保障。在演示中，三名玩家所佩戴设备的5G RTT时延都保持在20毫秒左右，已经能够元宇宙场景下日常使用。
图 基于5G切片的端边协同分离渲染技术能够实现下行速率吞吐量均在100Mbps左右
如今，XR设备已经跨过了元宇宙的门槛，而在头部玩家的推动下，人工智能和5G连接 进一步的融合发展使元宇宙也不断生长，我们距离元宇宙的未来，已经愈来愈近。
//
近期热门文章