(报告出品方/作者:安信证券,焦娟、冯静静)
1. 概述
元宇宙作为新一代计算平台,大幕已拉开。根据我们建立起的研究框架,元宇宙共有硬件入 口及操作系统、后端基建、底层架构、人工智能(AI)、内容与场景、协同方六大版块,2021 年全球科技巨头在硬件入口、内容与场景两大版块上均有重磅入局与探索,2022 年的焦点 与动态将呈现在底层架构上,2023 年预计后端基建与人工智能(AI)两大版块将有重大进展, 进而驱动硬件与内容的新一轮迭代。
国内外在元宇宙研究方向上的认知路径有一定差异,相较海外以“智能”来提纲挈领,国内 的研究则沿袭了“硬件”、“软件”的分门别类。在硬件方面,我们提出了“新硬件主义”的 认知思路,即将基于元宇宙这一新计算平台的新硬件,分类成硬件入口、垂类硬件两大类, 前者以 VR/AR 为典型,后者则以人形机器人为代表;硬件入口的核心是“定义新一轮的交 互”,垂类硬件的命门则是“基于现实世界的智能能力”。 继 2021 年硬件入口(VR)的销量迈过了 1000 万台的临界点,2022 年人形机器人的关注度 迅猛提升,诉诸于“交互”“智能”最终能实现的终极目标,基于元宇宙的新硬件未来将呈 燎原之势,故我们以本篇“拆机报告”,先聚焦于硬件入口,我们联合小派科技,以其 3 季 度将正式发售的 Pimax Crystal 为样板,详细回答下述 6 个问题: 1. VR 与智能手机相比,底层架构上,究竟有哪些区别? 2. 一台 VR 硬件,其迭代新产品的经典路径是怎样设计的? 3. Pimax Crystal 全拆解出来的 5 大组件共 54 块,每一块的名称、作用、性能、供应商、 成本占比等? 4. 与硬件配套的操作系统?5. 与硬件配套的内容与生态? 6. 以 Pimax Crystal 为代表的硬件入口,其未来趋势?
参考交互硬件 50 年的发展史,由“垂类”到“通用”、从“大型”到“小型”,硬件玩家的 竞争从来都是全球性的,门槛高、竞争烈;以对行业的挚爱为起航、关键技术节点上的引领、 市场推广时的对打、硬件之外的短板补足、行业拐点时的避坑……最终的胜利者,都是时代 皇冠上的明珠。在全行业静待 Apple 这一顶级吨位的航母下水之际,国内以小派科技为代表 的 VR 与 AR 厂商,均在“定义下一轮交互”这一总目标下,构建基于自身资源禀赋与行业 理解力的技术路径。无论“定义下一轮交互”的顶级创意与璀璨才华将花落谁家,显示、光 学、交互等关键部位的创新与进步,都须“积跬步”;且“软硬一体”的大趋势愈发明显, 产业链与价值链的映射关系,难以再直接参考智能手机时代的经验。
显示&光学,交互(即操作系统),内容与生态,是 VR 为代表的硬件入口的价值链中,占比 较高的部位;结合中国优势,硬件入口的产业链配套(尤其是光学部位)、内容与生态,我 们认为将是最值得关注的核心投资领域;相较而言,交互(即下一代操作系统)则是 Apple 等海外科技巨头更擅长的,我们亦关注这一方向上的国内突破。
2. VR 与智能手机的架构对比
2.1. XR 作为新硬件,“新”在哪里?
过去 50 年,我们历经了多种交互硬件的迭代,依次为游戏主机→个人电脑→智能手机,大 致是遵循垂直计算硬件→通用计算硬件→小型化硬件这样的发展路径,相应的计算平台也在 迭代。 上一个改变世界的计算平台的载体是智能手机。但手机这一概念很早就有,最早是作为通信 工具而存在,以 BB 机、大哥大、小灵通等产品形态出现,然而并不是所谓的计算产品,其 主要的功能是通讯,也是手机最本质的用途。直到 2010 年左右智能手机的普及之后,人们 对于手机的认知从功能机转变为智能交互硬件。
智能手机发展至今经过十余年的时间,已经深刻改变了人们的生活,基于智能手机这一计算 平台上的应用、内容产品越来越丰富。对很多人而言,用一部智能手机就能处理好生活的方 方面面,可以进行通讯、社交、阅读、办公、娱乐、打车、购物,所以智能手机可以是人们 的电话、报纸、电脑、游戏机、电视、随身听、出租车、超市、钱包等。随着集成的功能越 来越多,智能手机凭一己之力淘汰了其他众多技术产品或蚕食了其他产品的市场份额,如 MP3 播放器、傻瓜数码相机、GPS、掌上游戏系统、闹钟、电子阅读器、录音机、字典、网 络会议设备等。 目前智能手机从一个简单的通信工具,转变为一个功能不断更新的包罗万象的平台。在智能 手机的功能已经如此丰富的当下,很多人提出“有了功能如此强大的手机,为什么我们还需 要发展 VR?”疑问。
针对这一问题,我们从以下几个角度去探讨。 从硬件本身发展的角度来看:手机性能提升的边际效用递减。全球智能手机市场已经从蓝海 转化为红海,智能手机的人口红利不复存在,而手机厂商竞争格局却在不断加剧,具体体现 为:一方面,手机性能与质量不断提升,拉长了人们的换机周期;另一方面,智能手机的计 算硬件的更新迭代速度放缓,已难以做出巨大的提升,所能带来的特别惊艳的迭代并不多, 为保持竞争力,厂商不得不在续航、摄像头、屏幕上下功夫。 从产品形态与功能来看:未来“智能”硬件的形态是多样化的。我们需明白“手机”与“智 能手机”的区别,手机最本质或最早期的用途是电话通讯,两者之间最核心的区别在于“智 能”。既然“智能手机”的内核在于“智能”,那未来智能硬件长什么样子并不重要,手机依 然可能会存在,如插了电话卡的手表/平板也可以作为稳定的通讯工具,就像智能手机并没让 个人电脑消失一样,个人电脑仍然承载着在特定环境下的功能作用。我们认为未来的智能交 互硬件会越来越多,本质上是 AI 的内核,只是根据场景的需求呈现为不同的形态或物理装 臵。
我们强调,基于未来计算平台的新硬件,将与智能手机及之前的硬件有本质性的区别: 1)软硬一体将大势所趋。软硬一体有助于实现算法调优,软硬件一体化显然已经成为当下 智能科技产品的核心命脉。如智能电动车之所以被冠以“智能”二字,便是其以软硬件 一体化为基础的车机系统,这也是当下智能汽车区别于传统汽车的关键;再如 VR/AR 并 不完全是硬件,而是“硬件+软件”的概念,VR/AR 技术可以应用于头戴设备上,也可 以应用于智能手机上(如 AR 游戏《Pokémon》)。 2)AI 的重要性更加凸显。硬件在我们看来,仅仅是外在的表现形式,内核仍然是服务于人 的交互的 AI,AI 的智能化升级最大的影响就体现在硬件的智慧程度上。 3)入局的玩家将前所未有的广泛。既然未来智能硬件的本质是 AI,什么样的长相并不重要, 不一定是 VR/AR 头显、机器人的形态,也有可能是智能音箱、智能台灯、智能宠物等垂 类硬件形态,未来的智能交互硬件会越来越多,目前新计算平台的入局方可以是六大框 架中的每一个企业,进而重塑硬件产业链的过往惯性路径,难以再直接参考智能手机时 代的经验。
总结来看,从游戏主机到个人电脑再到智能手机,我们已经见证了多次计算平台的迭代,不 管下一代计算平台是什么,我们本篇报告先立足于当下的 VR,去探寻相关技术的迭代路径。 首先,需明确 VR 技术与 VR 设备是完全不同的概念,VR 整个产业链包括硬件、软件、应用 及服务,Virtual Reality(虚拟现实技)技术囊括计算机、电子信息、仿真技术于一体,其基 本实现方式是计算机模拟虚拟环境从而给人以环境沉浸感;VR 设备只是产业链中的其中一 环;其次,VR 是对过去 50 年一系列二维设备的全部生态的迭代,经过近十年的发展,相关 技术、产品形态及内容应用已经呈现一定的火候。最后,未来新计算平台的入口不局限于 VR 这种单一的产品形态,预计会独立发展出其他硬件体系,带来更多元的交互与应用体验。 参考 PC 互联网、移动互联网的发展经验,PC/智能手机从最开始出现到普及耗费了约 20-30 年的时间。VR 头戴设备预计也将遵循 PC/智能手机时代的发展规律,2015-2021 年,VR 硬 件形态从 VR 盒子到 PC VR/游戏主机 VR 再到移动 VR 一体机的进化,产品形态越来越便携 化、小型化。我们认为未来 VR 普及的关键因素在于:用户体验的改善、技术壁垒的攻克、 内容与应用生态的全面起步,三者是相辅相成的关系。
VR 的近眼显示设计可提供逼真的视觉体验,同时也更强调可用性与舒适性。VR 普及的关键 之一是用户体验的改善,相较于智能手机,VR 硬件体验的舒适度尤为重要,原因在于 VR 头显是带在头上的设备,且离眼睛非常近,更强调沉浸感,同时也更容易带来眩晕感。因此, 从 VR 问世的第一天起,体验问题一直备受关注,晕动症是 VR 发展过程中的主要痛点之一。 而构成 VR 用户体验的要素大体可归纳为以下几个方面,即硬件、软件、内容及其他个体等 要素。同时,构成 VR 用户体验的各要素也会影响用户产生眩晕的几率及眩晕程度。
(1)什么是晕动症?
每个人在不同状态下都可能有过眩晕体验,比如常见的晕车与晕船,由于乘客关于身体的视 觉输入让其以为他们似乎没有移动,但前庭系统的感知信号却表示他们正在移动,这时乘客 就会产生晕眩与恶心的症状。从生理层面来讲,晕动症是我们视觉所见与前庭感觉系统体验 不一致所导致的结果,其基本表现为头晕、恶心、想吐、冒虚汗、体温上升、耳鸣、打瞌睡 等表象。 简单来说,晕动症的产生是由于预期运动与实际经历的运动在感官上不一致,这背后是人的 生理防御机制在起作用,类似的防御机制体现在很多方面,如人酒喝多之后的呕吐、人多度 运动后会产生乳酸堆积等。
(2)VR 晕动症
VR 晕动症产生的原理与晕车晕船类似。VR 晕动症是特指用户在虚拟空间中,即戴上 VR 头 显设备进行空间位移行为时,大脑因为视觉信号与平衡感知信号冲突而导致的晕眩甚至呕吐 的症状。 VR 晕动症根据其具体引发原因又可以分为视觉晕动症与模拟晕动症。模拟晕动症本质是由 于用户视觉上观察到的状态与身体的真实状态之间的不一致引发的。视觉晕动症就是单纯的 由头显的视觉系统引起的眩晕感,跟用户身体自身无关。主要是由于头显本身的刷新率、闪 烁、陀螺仪等引起的高延迟问题导致的眩晕感。 综合而言,造成 VR 设备用户体验差、引起晕动症的原因,包括硬件本身、软件系统、内容 设计以及其他个体等因素。从技术的角度来看,VR 头显设备本身所带来的眩晕问题,即视 觉晕动症会随着软硬技术的迭代而逐步得到解决。
(3)VR 晕动症与 MTP
虚拟现实是融合多种前沿综合科技的集合体,包括实时三维计算机图像图形技术,宽幅视野 立体显示技术,用户头、眼、身、手、心等追踪识别技术,以及触觉力觉反馈、立体声效、 空间声效、网络传输、数据分析、语音输入输出、空间识别等技术。 通常来说,利用计算机进行三维建模渲染去建立图形图像模拟并不难。若拥有足够准确的参 照资料,在充足的时间条件下,就可以利用三维建模渲染技术生成在不同光照条件下针对各 种物体模拟的精确图像。但由于虚拟现实技术提供的图像是基于实时渲染的,对于需要快速 变换图像内容、快速变换视角内容的重建来说问题就变得相当困难。例如驾驶和飞行模拟等 内容,图像的实时更新就相当重要。
影响头戴式 VR 显示设备沉浸感的其中一个非常重要的因素是 MTP。对于头戴式 VR 头显系 统来说,在 VR 画面经过用户输入、传感器识别、信号传递、计算机 CPU&GPU 运算、显卡 绘制、屏幕响应,之后最终输出到 VR 头显供用户可以看到,实现以上多个环节所需的时间 叫做 Motion To Photons Latency,指从用户运动开始到相应画面显示到屏幕上所花的时间, 这个时间越短,设备的沉浸感越好,时间越长,用户的眩晕感越强烈。MTP(动显延迟)是 VR 领域中非常重要的一个概念。 MTP 低于 20 毫秒能大幅降低晕动症的发生可能。人类的感官系统在一定范围内能感知到视 觉与听觉中相对较小的延迟,VR 晕动症主要看 MTP,MTP 数值越大越容易引起眩晕。人类生物研究表明,人类头动与视野回传的延迟须低于 20 毫秒,否则将产生视觉拖影感从而导 致强烈眩晕,极大程度上破坏 VR 沉浸感。其表象为用户已经做完了一个指令输入,但是没 有同步取得输入结果,有一定延迟存在。而正常的人类感知行为,是当进行一个动作时,视 觉反馈与动作输入的结果几乎是完全同步的。VR 中的延迟会在极大程度上破坏沉浸感,带 来前庭系统的不适,从而引起眩晕。因此,VR 对 MTP 要求通常以不高于 20 毫秒为目标。
低 MTP 依赖于高性能的主机(CPU&GPU)、高刷新率的显示屏,以及相关的软件算法优化。 在 MTP 的组成中,其中与显示屏相关所带来的延迟占有很大的比重。显示屏延迟实际上包 含两个部分:1)输入延迟,与刷新率相关,显示屏的刷新率决定了单位时间内人眼可以看 到多少画面的变化,比如 90hz,表明人眼每秒可以看到 90 帧变化的画面,更高刷新率可以 让人眼在单位内时间看到更多的变化画面,相应地画面的变化间隔时间也就越短,最终的 MTP 就越小。2)屏幕响应时间,指像素收到输入信息时响应并改变颜色所用的时间。以 Oculus Rift 为例,Oculus Rift 总延时为 19.3 毫秒,其中屏幕显示延迟 13.3 毫秒,延时占比 达到 69%。 2016 年,VR 行业的平均 MTP 约为 40 毫秒,依然会产生眩晕的问题;2018 年之后,VR 的 MTP 可以达到 20 毫秒以内,使得大部分人在体验 VR 时不会有眩晕感。MTP 时延的降 低,离不开 VR 设备厂商、芯片厂商、光学模组厂商、显示屏厂商等的合力推动。
(4)相较于手机/电脑,为什么 VR 更容易产生晕动症?
晕动症与延迟的问题不只是存在于 VR 中,也可能在手机、平板与电脑中产生,如 3D 眩晕 症。3D 眩晕症是一种在游玩 3D 游戏时产生恶心感的病症,也是由于人在视觉上观察到的状 态与身体的真实状态不一致而产生的。 VR 在开发的过程中与手机/电脑这些硬件最大的不同之处在于要尽可能的降低 MTP。目前当 用户在电脑上玩大屏游戏的时候,一般情况下延迟的存在并不对人的体验产生很大的影响, 而 VR 虚拟环境中的 MTP 的重要性非常凸显,更容易引发晕动症,这主要源于手机/电脑与 VR 是基于完全不同的操作与显示逻辑。以电脑为例,电脑与 VR 的延迟的构成要素不同, 电脑的延迟指从点击鼠标/键盘到显示器画面的显示时间,从硬件路径来看,依次是鼠标/键 盘-主板-CPU-GPU 渲染-显示器。其中,在输入这一环节存在非常大的差异,VR 的输入端 的关键性在于要先感知人到在空间中的定位变化,VR 对输入的延迟性要求很高;而电脑的 输入主要是通过鼠标/键盘来完成,延迟极低。同时,由于涉及到复杂的 3D 空间定位,VR 中的 3D 画面的渲染难度也在加大,VR 需要针对两只眼睛同时渲染 2 张图像,比常规的 PC 渲染量都要大得多。
2.2. 基于沉浸感的需求,VR 技术迭代的目标
VR 的英文全称为 Virtual Reality(虚拟现实),根据其定义,VR 技术囊括计算机、电子信息、 仿真技术,其基本实现方式是以计算机技术为主,利用并综合三维图形技术、多媒体技术、 仿真技术、显示技术、伺服技术等多种高科技的最新发展成果,借助计算机等设备产生一个 逼真的三维视觉、触觉、嗅觉等多种感官体验的虚拟世界,从而使处于虚拟世界中的人产生 一种身临其境的感觉。总结来说,VR 整体发展迭代的重点在于沉浸感,以期达成的目标: 接近人眼的视觉、接近自然的交互。
就目前的 VR 头显来看,主要通过视觉与交互两方面来达到沉浸感的目的: 1) 一是视觉方面,通过放大的显示屏技术,能够在用户眼前显示出一个放大的局部虚拟景 象,目前显示视场角在介于 90-110 度,在这个显示范围内,主要通过三维引擎技术, 实时渲染出 3D 图像。 2) 二是交互方面,通过和头部的位姿传感采集的数据配合,让三维引擎响应头部转动方向, 以很高的频率实时改变显示的三维头像,用户头部转动的角度刚好与三维引擎模拟的三 维画面视觉一致,让用户觉得与虚拟环境发生了交互。
2.2.1. 接近人眼的视觉
接近人眼的视觉体验,具体拆解为显示与光学两部分。 显示部分与像素密度即分辨率相关,涉及到 PPI(像素每英寸)、PPD(像素每度); 光学部分与视场角相关,涉及到 VFOV(垂直视场角)、HFOV(水平视场角)。
其中,PPI 与 PPD 均是描述分辨率的单位,PPI 是像素每英寸,是图像分辨率,指的是图像 中存储的信息量。但这个概念在 VR 中不太准确,因为那只是物理屏幕上的像素数,而不是 带上 VR 头显之后人在空间的一个区域内所感受到的像素数,所以 VR 中有个新的概念叫 PPD(Pixels Per Degree),像素每度,为角分辨率,指视场角中的平均每 1 度夹角内填充的 像素点的数量。
2.2.1.1. 分辨率
分辨率,又称为屏幕解析度或解像度,决定了位图图像细节的精细程度。通常情况下,图像 的分辨率越高,所包含的像素就越多,图像就越清晰,印刷的质量也就越好。分辨率可以具体分为显示分辨率与图像分辨率两大类。 屏幕分辨率(显示分辨率)是指显示器所能显示的像素有多少,一般是以(水平像素数×垂直 像素数)表示。由于屏幕上的点、线、面都是由像素组成的,显示器可显示的像素越多,画面 就越精细,同样的屏幕区域内能显示的信息也越多,所以分辨率是个非常重要的指标。显示 分辨率一定的情况下,显示屏越小图像越清晰,反之,显示屏大小固定时,显示分辨率越高 图像越清晰。 图像分辨率是指在计算机中保存与显示一幅数字图像所具有的分辨率,与图像的像素有直接 的关系。图像分辨率表示的是图片在长和宽上占的点数的单位。例如,一张分辨率为 640x480 像素的图片,其分辨率达到了 307200 像素,也就是常说的 30 万像素;而一张分辨率为 1600x1200 的图片,其像素约 200 万。图像分辨率决定图像的质量。对于同样尺寸的一幅图, 如果图像分辨率越高,则组成该图的图像像素数目越多,像素点也越小,图像越清晰、逼真。
提高 VR 设备的像素密度,并不是单纯地把高密度显示面板造出来然后放进头显这么简单。 从 2K 到 4K、4K 到 8K 的升级,每次升级表面上看只是数字翻了一倍,然而像素数量却是呈 平方级提升的,4K 是 2K 的 4 倍,8K 是 2K 的 16 倍。同时也要考虑硬件的计算性能,也要 相应地提升数倍,以及数据传输等因素。 然而 16K 分辨率也只是从理论上推出的极限数值,实际屏幕的分辨率只要达到 12K 左右就 基本没有晶格感了。 总体来说,目前市场上主流的 VR 头显分辨率基本上为 4K、8K,低于 4K 会感觉不清晰, 从而带来眩晕感,且影响程度较为明显。
2.2.1.2. PPD
在传统硬件体系中,除了用每厘米像素数(PPC,Pixel Per Centimeter)来衡量图像的分辨 率,也会用每英寸的像素数(PPI,Pixel Per Inch)来衡量。对于手机来说,苹果将视网膜 分辨率的屏定义为 300 PPI,也就是每英寸有 300 个像素数时,用户在使用手机时感觉不到 像素颗粒。 尽管对目前的手机来说,PPI 数值基本都已达到视网膜屏的程度来了。但是在 VR 硬件,用 PPI 来衡量屏幕清晰度其实不太准确,且 VR 体验对 PPI 的要求更高。因为 VR 头显是透过 光学系统看放大后的虚拟图像,而不是直接看屏幕,单用 PPI 是无法衡量头显清晰度的。因 此,我们需要引入一个更加跨平台、与使用场景无关的通用衡量标准——角分辨率 (PPD, Pixel Per Degree),指每一度视场角的像素数。 对于头戴显示类产品,PPD 数值越大,意味着人眼视野中单位区域的画面内填充的像素点 的数量越多,视觉感受越清晰细腻。PPD 提高一倍,则代表着同一视野区域内填充的像素 点数量增加为原来的 4 倍。
2.2.1.3. 视场角
正常来说,人眼视场角大致为 30 度到 100 度,双眼的裸眼水平视场角略大于 200 度,垂直视场角约 130 度。其中又可分为几个视域: 1) 分辨视域,约 15 度,指映在人眼视网膜上的图像,只有中心部分能分辨清楚; 2) 有效视域,十几度到 30 度,人还不需要转动头部,也能够立刻辨别清楚在该区域内物 体及其状态,但分辨能力已有所下降; 3) 诱导视野,超过 30 度的周边部分,俗称眼睛的余光,人只能感觉到物体的存在或有动 作出现,需转动头颈才能看清楚。这一角度为 30 度到 100 度,不同人之间的差异较大。
视场角的大小影响到 VR 的沉浸感与清晰度。视场角在 VR 中的作用主要是与沉浸感密切相 关,一般来说,视场角越大、越不容易产生眩晕感,沉浸感也就会越强;视场角小意味着看 到的影像小,对分辨率的要求低。人眼正常的视场角为 120 度左右,现实应用中,较小的视 场角如 60 度,就会产生黑边效应。因此,对于 VR 设备而言,其水平视场角至少要达到 90 度左右,才能够保证用户获得较高的沉浸感。目前市场上主流 VR 设备的视场角范围在 90 度-110 度之间,如 Oculus Quest 2 的水平视场角为 97 度,Pico Neo 3 的水平视场角为 98 度,能支持大多数的 VR 游戏与应用场景,Pimax Vision 8KX 的水平视场角甚至做到了 159 度。 VR 中的视场角受多因素影响,并非越大越好,需搭配合适的屏幕。增大视场角是目前 XR 光学领域依然需要攻克的难题之一,但视场角并非越大越好,视场角只是影响 VR 沉浸感的 因素之一,需综合考虑诸如分辨率、对比度、透光率、失真、尺寸、重量、成本等因素,此 外更大的视场角也将对设备计算力、功耗等提出更高要求。
2.2.2. 接近自然的交互
每一次的技术革新及产品升级,都会带来重大的人机交互方式变化。在 PC 时代与移动互联 网时代,人们分别通过键盘鼠标与触摸操作与数字信息进行互动。这些都是建立在二维世界 的 2D 界面交互,并不适用于 VR 中的 3D 虚拟世界,2D 交互远远不足以满足沉浸感的需求。 这就要求 VR 中的交互方式需被重构,一方面是交互方式变得更加多样化,另一方面是交互 体验更加自然。 不同于智能手机,VR 产品的交互场景设计是产品的核心壁垒之一。从感官体验的角度,人 的视觉、听觉、触觉、嗅觉、味觉可以直接关系到 VR 的沉浸感,其中立体视觉与立体音效 已经可以实现,触觉、嗅觉与味觉的交互反馈技术也在加快发展。另外,在目前的 VR 交互 体系之中,交互方式方式包括语音识别、手势识别、面部追踪、眼动追踪等,未来还可能加 入脑波控制、意念识别等。
2.2.2.1. 头手 6DoF
人眼通过 VR 设备所看到的画面是通过透镜将显示器上的画面折射到视网膜,而人眼所看到 的画面会随着身体与头部的运动而不断变化,陀螺仪的作用就是实时监测到头部的运动,通 过处理器来计算与生成显示器上显示的画面。超强沉浸感的实现,除了全方位虚拟景象的展 现,实时的交互也很重要。根据可交互程度的不同,VR 设备常提到 3DoF 与 6DoF 的概念。 DoF(Degree of Freedom),即自由度。 3DoF 是指当头部处于一个固定位臵时,VR 设备中的陀螺仪可以检测到头部向不同方向转动 的角度,并呈现全景画面中相对应的部分,从而使用户在视觉上拥有被场景包裹的感受,实 现基础的视觉沉浸。
VR 设备从 3DoF 到 6DoF 的交互升级,也带来了应用场景的拓展与体验的升级。一般来说, 3DoF 的 VR 设备对于不需要完全沉浸式的应用来说已经够用,比如看 VR 电影,而要达到 玩游戏时与场景进行交互,则需要能够支持 6DoF 的 VR 设备,增加位臵追踪功能可以带来 更多的参与体验,比如用户可以在游戏中进行躲避障碍、跳跃等互动动作。 在具体的交互方式上,3DoF/6DoF 的头部交互主要是通过射线投射(Ray casting)的方式 来进行操作,其原理是从标定的视野中心向正前方射出一束射线,射线与空间中的界面产生 交集。常规的交互设计中会将双目视线中央的一条线作为视中心,这样一来视中心的射线就 会与界面产生交点,从而引导用户的视线落焦在相应的信息上,也就是常说的 Cursor(光 标)。
2.2.2.2. 面部追踪、眼球追踪
人的身体有视觉、听觉、嗅觉、味觉、触觉五大感知系统,我们所接收的 80%的信息都来自 于眼睛,且人的头部占据了四大感官系统。为追求更自然的交互,继 6DoF 之后,面部追踪、 眼球追踪等是众多 VR 厂商都在极力研发与使用的技术。面部追踪与眼球追踪的概念由来已 久,但在现阶段将多项追踪技术集成到一个 VR 头显中,还存在一定的难点,需要更多的组 件,也意味着额外的成本,依赖软硬件的共同进步。 眼球追踪又称注视点追踪,是利用传感器捕获、提取眼球特征信息,测量眼睛的运动情况, 估计视线方向或眼睛注视点位臵的技术。眼动追踪被认为可以实现新的输入方式,且可以提 供注视点渲染。相较于面部追踪,眼球追踪技术还远未成熟,比如人与人之间的生物学差异 大,不同国家不同人群的瞳距、散光等不同,很难全面覆盖人群。
2.3. 为降低 VR 眩晕感,未来硬件、软件、内容的精进路径
2.3.1. 硬件技术迭代:降低四大 MTP 延迟
2.3.1.1. 传感器延迟
追踪定位方案的不同影响 MTP 。VR 显示系统,技术路径是经典的“输入——计算平台— —输出”,即感知并认知世界、决策、执行这三个环节。按照技术的实现路径,在 MTP 的构 成之中,输入端承载着重要的作用,从深度映射到头部追踪,再到注视点追踪与手势传感器 等一系列的传感器对于 VR 体验而言至关重要。因为有实时渲染的需求存在,开发低延迟传 感器至关重要。 如果人在 VR 中发生了移动、转动,而画面没有及时得到相应的变化,那么人就会感到不自 然,所以需要对人的动作与状态进行定位追踪(Tracking)。人移动的方向有三组,前后左右上下,头部的转动方向也是有三组,左看右看,上看下看,还有左右歪着头看,所以一共是 有 6 个自由度的运动。而普通的手机追踪系统是基于 3DOF、陀螺仪,手机上的应用与游戏 只能感知到用户在转动,但是不能确定用户具体在什么样 3D 空间中进行转动,即只能感知 到用户在平面内做运动。
(1)Outside-in 外向内追踪技术
根据定位信息采集的方式,由外向内的定位方式又可以分为被动式定位与主动式定位。其中, 被动式定位由事先放臵的定位点收集信息进行反馈,主动式定位由头盔主动收集信息进行反 馈。相较于被动式定位,主动式定位属于第二代定位技术,便利性更高。典型案例中,HTC VIVE 采用的 Lighthouse 以及 Oculus Rift 采用的外臵光学摄像头属于主动式定位。 HTC Vive -Lighthouse 定位技术:采用红外激光定位,基本原理是在空间对角线上安装两个 配套的定位“灯塔”,分别在水平与垂直方向轮流对空间发射激光扫描定位空间,再通过自 身头显与手柄上的接收器接收光束之后,计算两束光线到达定位物体的角度差,从而计算出 头显/手柄的空间坐标。 Oculus Rift 主动式红外光学定位技术:有别于 HTC Vive 的 Lighthouse 定位技术,Rift 头显 与手柄上配备了可以发出红外光的红外灯(为标记点),利用配套的摄像机去捕捉头显与手 柄上的红外灯,过滤掉头显及手柄周围环境的可见光信号后,随后再利用程序计算得到头显 /手柄的空间坐标。
(2)Inside-out 内向外追踪技术
Inside-out 是一种光学跟踪系统,基于计算机视觉技术(CV,Computer Vision),其原理是 以三角定位算法为基础,基于环境中设备自身的摄像头与传感器进行周边环境的实时动态感 知,并经过视觉算法(SLAM 算法)计算出摄像头的空间位臵数据,从而实现对目标的位臵 跟踪。 在 VR 设备中,主要是利用头显自身的摄像头或视觉传感器,让设备自己检测外部环境变化, 并经过视觉算法计算出 VR 头显的空间位臵。 而根据光源发射装臵(摄像头)数量,可分为多目视觉定位(如 Oculus Quest)、单目视觉 定位(如微软系列 VR 头盔)。对于多目视觉定位来说,因为多目传感器自身角度关系,既可 以进行静态的位臵估计,也可以进行动态的位臵估计。单目视觉定位则只能在动态环境中获 取不同时刻的目标图像,再根据坐标的变换进行位臵估算。当前主流的 VR 设备大多为多目 视觉定位。
Oculus旗下的Quest版本的头显均采用Inside-out定位技术,但第一代产品的体验仍不够好, 随着算法的优化,真正带动体验跃升的是 Quest 2 版本,进而对行业整体的提振很大。Pico 旗下新一代 Neo系列头显亦采用了 Inside-out定位技术,追踪摄像头数量从两个变成了四个, 与 Quest 一样分布在头显的四角边缘位臵。2021 年 1 月,爱奇艺奇遇 VR 召开发布会,正 式推出国内首个 CV 头手 6DoF VR 交互技术,以及定位为“发烧级游戏大作”的国内首款 CV 头手 6DoF VR 一体机“奇遇 3”。 我们认为,基于 CV 技术的 Inside-out 定位技术未来将成为主流方式,且具备非常大的想象 空间。目前市场上主流的 VR 头显基本上都采用了 Inside-out 定位技术,从未来虚拟现实发 展的趋势来看,更高的沉浸感、更自然的交互、更逼真的场景体验都对虚拟现实定位技术提 出了更高的要求,Inside-out 空间定位技术预计将成为未来主流方式。另外,由于 CV 技术 是算法依赖的,其优点是可以与 AI 深度融合,能够不断的提升,因此随着算法的优化,相 关技术成为众多行业应用底层技术,如在自动驾驶、智能机器人、无人机等领域的应用已落 地,未来前景广阔。
2.3.1.2. 计算延迟
根据 CSDN 平台用户“限量发行”的观点,Android 系统采用一种称为 Surface 的 UI 架构 为应用程序提供用户界面。在 Android 应用程序中,每一个 Activity 组件都关联有一个或者 若干个窗口,每一个窗口都对应有一个 Surface。有了这个 Surface 之后,应用程序就可以 在上面渲染窗口的 UI。最终这些已经绘制好了的 Surface 都会被统一提交给 Surface 管理服 务 SurfaceFlinger 进行合成,最后显示在屏幕上面。无论是应用程序,还是 SurfaceFlinger, 都可以利用 GPU 的算力来进行 UI 渲染,以便获得更流畅的 UI。在 Android 应用程序 UI 架 构中,还有一个重要的服务 WindowManagerService,它负责统一管理协调系统中的所有窗 口,例如管理窗口的大小、位臵、打开与关闭等。 在传统的智能手机 UI 架构上,用户与手机交互的过程中,手机屏幕最终所显示的信息是一 层层刷上来的。这就带来了延迟的问题,但手机的操作延迟对用户的体验并影响不大。
UI 用户界面,主要包含视觉(比如图像、文字、动画等可视化内容)以及交互(比如按钮点 击、列表滑动、图片缩放等用户操作)。1973 年第一台图形界面操作系统电脑 Alto 问世,UI 开始走上历史舞台,此时的 UI 是黑白块与简单的图形。到 2015 年 UI 的发展到达一个顶峰, UI 是伴随智能手机的崛起而发展壮大,随后开始缓慢发展。 智能手机与 VR 硬件架构运行逻辑有非常大的不同。当前智能手机上的 UI,模式化太严重, 很难区别一个产品与另外一个产品在界面表现上有多少特立独行的地方。UI 属于非沉浸操作, 用户很容易被打扰,被其他东西分散注意力。UI 带来的主要是视觉体验,而 VR 带来的却是 更多的感官体验,包括视觉、听觉、触觉等。
在开发引擎上,智能手机与 VR硬件运行架构逻辑最大的不一样在于,手机是基于 UI的架构, 而 VR 是基于三维图形渲染的,也即以 Unity 与 Unreal 等游戏引擎为主,其中高通起到了 非常关键的作用。 高通 XR 计算架构解决了底层计算架构的问题,促进了 VR 一体机的发展。高通 XR 计算架 构的过程简单高效,绕过 SurfaceFlinger,以最快的速度能够直接将画面渲染并传输至屏幕 上,有效降低了 MTP 延迟。过去几年,高通公司一直在产业链的最上游,即算力领域,支 持着 VR/AR 的发展,且深度布局 XR 生态。
XR 芯片:高通针对 VR/AR 设备打造了专用的芯片 XR1、XR2,涵盖 Oculus Quest、 3Glasses、微软 Hololens2、Nreal、爱奇艺 VR 等 40 余款 VR/AR 设备。同时高通还提供包括平台 API 在内的软件与技术套装以及关键组件选择、产品、硬件设计资料的参考 设计,并在软件算法端加入眼球/手势追踪、场景理解等功能应用,为开发者提供了强大 的性能支持。
XR 平台:高通推出骁龙 Spaces XR 开发者平台,该平台具有成熟的技术、开放的生态 系统、并支持第三方平台拓展。围绕这一平台,高通还推出了“探路者计划”,旨在通 过让 AR 创新者或企业提前获得平台技术、项目资助、联合营销与推广和硬件开发套件 的支持,助力构建活跃的开发者社区。
2.3.1.3. 刷新率/传输延迟
传输延迟是指显卡传输图像到显示器的时间。VR 头显对于头部运动的传输延迟与屏幕本身 刷新率的过低会增加 MTP 延迟,进而导致 VR 晕动症的产生。 屏幕刷新率是指显示器每秒钟的显示信号刷新次数,单位是赫兹(Hz),取决于显示器。以 计算机显示系统为例,是显卡将显示信号输出刷新的速度,如 60Hz 就是每秒钟内显卡向显 示器输出 60 次信号。刷新率不仅仅包括绘制完全不同的内容,也包括对完全相同的帧画面 的绘制。刷新率越高越好,图象就越稳定,图像显示就越自然清晰,对眼睛的影响也越小; 而刷新频率越低,图像闪烁与抖动的就越厉害,眼睛疲劳得就越快。一般来说,当刷新率低 于 60Hz 的时候,屏幕会有明显的抖动感与图像闪烁,而一般要到 70Hz 以上才能较好的眼 睛体验。
2.3.1.4. 屏幕响应延迟
显示屏延迟实际上包含两个部分:1)输入延迟,又叫显示传输延迟,与刷新率相关,显示 屏的刷新率决定了单位时间内人眼可以看到多少画面的变化;2)屏幕响应时间,指像素收 到输入信息时响应并改变颜色所用的时间。 VR 显示系统的刷新率高低只会影响显示传输的时间。以 60Hz 的刷新率为例,1 秒刷新 60 帧,每一帧时间为 T=1/60=16.7ms,即 60Hz 刷新率的输入延迟需要 16.7ms,75Hz 刷新率 的输入延迟需要 13.3ms。同时还要考虑显示器将图像显示出来的时间,即屏幕响应时间。 屏幕响应时间是 VR 设备延时的最主要因素之一,所需时间占比较高。
但 LCD 屏幕也有一定的优势,在 VR 头显中,LCD 屏幕相比 OLED 的优点包括:成本更低; 标准 RGB、显示更细腻;可明显减轻 OLED 存在的纱窗效应等。故目前的 VR 产品硬件会 综合考虑多种因素,在 LCD、OLED 或更好的屏幕上去做选择。 VR 的显示屏幕方案迭代趋势正在由 Fast-LCD 向 Micro OLED 过渡。目前来看,主流 VR 显示屏幕以 Fast-LCD 为主,兼顾高刷新率与性价比。短中期具备高像素密度、高刷新率、 轻量化的 Micro OLED 更有优势。远期看 Micro LED 高集成半导体信息显示技术或为最佳解 决方案。
2.3.2. 软件算法优化:Runtime 环节有望创新与突破
相比听觉、体感、操作,VR 产品最重要的一个体验因素是观看舒适度。VR 头显成像质量的 高低会影响用户的眩晕程度,成像质量包括图像细节的精细程度、色彩,以及是否畸变扭曲 等方面。当前 VR 头显的设计大多从电子硬件的角度去精进,而光学系统却鲜有突破。一个 好的光学系统,对于优化 VR 的观看体验至关重要。 VR 头显所使用的透镜会带来图像畸变的问题。VR 显示的本质是通过透镜及光学系统将屏幕 放大并投射到人眼中,人眼所看到的其实是屏幕的虚像,从而营造出一种虚拟的沉浸感。但 是,任何图像经过透镜之后都会发生光学畸变,也就是在不经过一定的光学处理的时候,VR 头显将图像投射到人眼中时,图像是扭曲的。畸变与光学镜片有着固有特性关系,无法被完 全消除,只能改善。
因此,在软硬一体化的趋势下,有实力的企业能够特别地针对自研的光学畸变参数对内容进 行修正,推出相应的软件架构或程序(Runtime),去实现兼容,可以有效屏蔽了系统的差 异性,当 VR 应用启动时,会根据应用运行的系统要求自动选取对应的 Runtime。比如 Oculus SDK 有专门的 Distortion Mesh 内容渲染开发指南等。 在 VR 中,Runtime 指的是一整套软件架构或程序,是偏软件算法的部分。传统流程下,游 戏引擎驱动 GPU 进行画面的渲染,然后投射到屏幕之上。但是在 VR 的流程下,在游戏引 擎与 GPU 渲染之间额外增加了一层 Runtime 的过程,VR 厂商以及 OEM 公司把大量与 VR 相关的算法加进来,其实是作为 VR 的补丁框架。
2.3.3. VR 内容制作的标准化及优化
晕动症除了由 MTP 造成的延时之外,其实还有其他好多因素,比如 VR 内容制作本身也是 非常重要的因素。在 Oculus 的开发者手册中,明确了有关晕动症的内容设计要求,针对 VR 内容制作给出了一系列的指导。在做 VR 内容的开发团队,往往此前都是做 3D 内容的,因 此他们需要知道不同内容制作的差别在哪。
(1)内容本身设计及渲染
很多 VR 游戏,本身的内容就会产生晕眩。比如人在坐“VR 过山车”时,视觉上人正处于 画面中的状态,在做剧烈的高速运动,但是前庭系统却表示并没有在运动,这时就会导致头 晕。 闪烁是导致 VR 中晕动症的一个重要因素,通常呈现为部分或全部屏幕上的亮暗之间的快速 “脉冲”。有些人对闪烁非常敏感,因此会出现眼睛疲劳,疲惫或头痛;而另一些人甚至从 未意识到它 并没有任何不良症状。不要故意制造会产生闪烁的内容,高对比度,闪光(或 快速交替)会引发某些人的光敏性癫痫。与此相关,高空间频率纹理(例如精细的黑白条纹) 也可以触发光敏性癫痫发作。
(2)内容场景设臵
在 VR 游戏中,经常提供平移与瞬移两种可选位移方式。选择平移时,游戏中的场景持续相 对玩家进行移动。但由于移动由手柄控制,人体无法产生运动感,导致大脑产生错觉,容易 造成眩晕。 相对应的解决的办法是,将移动方式由平移改为瞬移、通过软件设臵提升画面刷新率等方式 都可以减轻视觉运动感错位的情况。位移方式的修改一般需要在各游戏的游戏内菜单完成。 将位移方式改成瞬移的话,我们人眼所见的移动场景真实感下降。此时沉浸感降低,反而不 容易混淆大脑,从而缓解晕动症状。
(3)视野高度
人们的视觉有一个舒适的高度,比如用户是 1.7m,那以 1.7m 的高度去看内容与场景是正常 的,如果在 VR 中以 1.85m 的高度看内容就会感到不舒服,好多内容开发者根本就不在乎这 个因素,若以太高的视角去看内容与场景,可能会有高空眩晕感。所以 VR 的内容设计对视 野的高度也是有要求的,这也是为什么有的 VR 设备要求用户输入身高的信息,为的是使得 内容与用户的视野高度一致。
(4)空间化的音频
为所有具有明显位臵来源的声音进行空间化处理,音频应该与其来源的方向相同,音频应该 在用户佩戴耳机时跟随用户的头部动作而有所变化。允许用户在游戏设臵中选择他们的输出设备,并应考虑到头部相对于输出设备的位臵,从而 确保游戏中的声音看起来从正确的位臵发出。此外,对于有位臵跟踪的 App,声音应该随着 用户接近其来源而变大,即使 avatar 是静止的。 随着越来越多好内容、标准化的内容出现,内容制作带来的眩晕问题都会慢慢被解决。
2.4. 产业链的关键部位在于光学、显示与交互
我们认为,VR 是对过去 50 年一系列二维设备的全部生态的迭代。参考个人电脑与智能手机 发展经验,未来 VR 普及的关键因素在于:用户体验的改善、技术壁垒的攻克、内容与应用 生态的全面起步。相较于智能手机,VR 硬件体验的舒适度尤为重要,原因在于 VR 的近眼 显示设计可提供逼真的视觉体验,同时也更容易带来眩晕感。因此,从 VR 问世的第一天起, 体验问题一直备受关注,晕动症是 VR 发展过程中的主要痛点之一。 由于 VR 与智能手机两者在底层架构上的逻辑不同,实时渲染的要求使得 MTP(动显延迟) 的概念被凸显,MTP 数值越大越容易引起眩晕的问题。为解决延迟带来的眩晕问题,各 VR 厂商无非是从硬件与软件两个角度去着手。
总结来说,相较于智能手机,VR 硬件架构的核心体现在光学、显示与交互,未来重点关注 这三方面的进展突破。
(1)显示:预计不太可能成为短板
VR 有一个长期发展的核心矛盾——显示,VR 的显示=显+光。其中显示屏是一个延续的进 展,可以借助过去几十年的行业积累,目前显示屏的成像质量预计已经不是最关键的因素, 比如即使到达不了 8K 的显示质量,2K、4K 也能被消费者所接受。即显示屏还不足以影响大 家对于 VR 的接受度,不太可能成为 VR 发展过程中的短板。
(2)光学:核心技术与难题
但 VR 显示中的“光学”预计现阶段比较大的限制因素,比如轻薄小型化、视觉辐辏问题等。 在 VR 设备结构中,光学模组作为连接显示屏和人眼的重要桥梁,是最为关键的组件之一, 直接影响到最终的显示效果与使用体验。光学技术的发展缓慢,一直是 VR 快速扩张的瓶颈。因光学技术的门槛高低不同,VR 目前的内容生态已经起步,而 AR 则依旧在解决光学技术 难题的道路上摸索前进。
(3)交互:等待拐点发生
上一个定义人机交互的是苹果 iPhone,目前 VR 的交互发展还较为缓慢。交互上的进展,分 两方面,一是硬件上的进展,增加更多的传感器,以调动更多的感官体验,比如当前面部追 踪、眼动追踪等技术正在发展;二是软件上的进展,就像 Windows 之于计算机、Android 与 iOS 之于手机,操作系统的本质是一种交互方式,需要有类似乔布斯这样的天才制作人来进 行定义,等待拐点发生。 目前来看,VR 的竞争还还未达到操作系统这个阶段。上半场的竞争是硬件与内容生态的竞 争,下半场才轮到操作系统。
3. 以小派、Oculus、Pico 为例,探寻 VR 产品迭代路径
以小派为例:Pimax 4K→Pimax Vision 8KX→Pimax Reality 12K QLED
2017 年到 2021 年,小派产品迭代两次。分辨率方面,产品的分辨率从 4K 逐渐提高到 12K, 清晰度越来越高;镜片光学方面,4K 与 8K 产品的镜片都是菲涅尔镜片,12K 的产品采用复 合镜片,结合了菲涅尔镜片与非球面透镜的优势;刷新率方面,从 4K 产品的 60 赫兹提高到 8K 产品的 120 赫兹,再到 12K 产品的 200 赫兹;视场角方面,从 4K 产品的水平 110 度, 垂直 90 度,到 8K 产品的水平 130 度,垂直 95 度,到 12K 产品的水平 200 度,垂直 135 度,逐渐接近人眼的视场角;跟踪类型方面,从 3DoF 升级到 3DoF 交互,12K 通过 4 个集 成摄像头进行 6 个 DoF 自内到外;增加了无线连接。内容平台是 SteamVR 与 Pimax 自建 平台。
以 Oculus 为例:Oculus Rift S→Oculus Quest→Oculus Quest 2
分辨率仍处在 4K 阶段,最新产品单眼 1832x1920,远低于小派一代产品单眼 1920x2160; 镜片一直采用菲涅尔镜片;刷新率从 Oculus Go 的 60 赫兹,到 Oculus Quest 的 72 赫兹, 到 Oculus Rift S 80 赫兹,再到 Oculus Quest 2 的 120 赫兹;视场角方面,逐步提升,但变 化不大,最新的产品视场角是水平 97 度,垂直 93 度;跟踪类型方面,Oculus Go 是 3 DoF 非定位,Oculus Rift S 通过 5 个集成摄像头进行 6 个 DoF 自内到外,后面两代产品都是通 过 4 个集成摄像头进行 6 个 DoF 自内到外;Wifi 与蓝牙逐步提升。 不同于小派: CPU选择上,Oculus Go 采用四核Kryo,Oculus Quest 采用八核Kryo 280,最新产品Oculus Quest2 采用八核 Kryo 585;GPU 升级到 Adreno 650;存储越来越大,从 32G 达到 128G; 充电时间从 3 小时缩短到 2.5 小时;控制器续航时间从 AA20 小时升级到 AA30 小时。
以 Pico 为例:Pico G2→Pico Neo 2→Pico Neo 3
分辨率仍处在 4K 阶段,最新产品单眼 1832x1920,低于小派一代产品单眼 1920x2160;镜 片一直采用菲涅尔镜片;刷新率维持在 90 赫兹;视场角方面,不同系列有些许变化,但总 体变动不大,最新的产品视场角是水平 98 度,垂直 90 度;跟踪类型从 3DoF 到通过 2 个集 成摄像头进行 6 个 DoF 自内而外,再到最新产品的通过 4 个集成摄像头进行 6 个 DoF 自内 到外;Wifi 与蓝牙逐步提升。 不同于小派的地方: 存储越来越大,从 32G 达到 256G;CPU 在 Pico neo 3 系列开始采用八核 Kryo 585,过去 的产品,如 Pico G2 采用八核 Kryo 280,Pico neo 2 采用八核 Kryo 385(4 x 2.8 GHz,4 x 1.7 GHz);GPU 升级到 Adreno 650;跟踪类型从 3 DoF 非定位,到通过 2 个集成摄像头进 行 6 个 DoF 自内而外,再到最新产品的通过 4 个集成摄像头进行 6 个 DoF 自内到外;重量 越来越重(没有小派重量全部信息);有自己的平台。
(1)显示方面
为何小派要自研屏幕? 从解决需求的角度来说,针对眩晕感的问题,传统的屏幕满足不了小派解决眩晕感的要求。 针对像素颗粒感的问题,三星的 OLED 屏幕达不到小派的高视觉标准。 从提高竞争力的角度来说,小派决定自主研发,使之成为自己的核心技术。
(2)光学方面
为实现自然的观看体验,VR 镜头行业主流解决方案是使用菲涅尔透镜或非球面透镜,它们 都有其优缺点,包括图像质量、眩光、尺寸、重量及其他方面。 小派设法将菲涅尔透镜与非球面透镜组合在一起,采用了前所未有的复合镜设计,仔细的调 整以弥补彼此的不足,创造了较为先进、前沿与最具有创造力的光学设计——仿生镜片 Bionic Lens System,这是一项颠覆性的技术,耗费了小派四年时间尝试无数次设计和建 模才取得的成果。
(3)产品定位与内容生态方面
小派的产品定位与高端市场。产品定位不同,细分市场不同。小派追求的是高精尖的产品, 对算法、内容等都有高要求。它面向的是高端客户,质量高、售价高。其他企业,如 Oculus, 面向的是全球所有用户,其产品价格低于小派,相应的需要在价格与产品质量上做好平衡。 主流用户更倾向于普通质量、低价格的产品,超高质量的产品对他们来说性能过剩。
4. 为什么选 Pimax?为什么拆 Pimax Crystal?
4.1. Pimax 占据全球高端 VR 头显标杆地位
小派科技聚焦高端 VR 头显设备的研发与生产,在光学/显示/可穿戴技术/智能硬件开发等方 面积累多年经验,占据全球最强性能消费级 VR 硬件标杆地位,在全球高端 VR 头显(1000 美金以上)中市场份额占比第一。从市占率看,2021 年 Steam 平台 VR 设备使用榜单的数 据显示,小派在 1000 美金以上的 VR 设备市场占有率超过 80%,其性能标杆意义可见一斑。 从用户画像看,据小派公众号披露,2021 年其收入的 80%来自海外市场,主流客户群体为 VR 爱好者与科技发烧友,该群体追求头显的高品质体验,消费能力强,平均客单价在 700 美元以上。从竞争策略看,小派的定位不是做区域差异化,而是通过产品差异化与 Meta 等 巨头进行有效地错位竞争。小派目前要做的是一方面在性能上继续突破,另一方面则是拓展 更多元的产品线,服务更广泛的客户群体。 小派坚持研发高性能 VR 头显,旗下产品矩阵由经典机型(Pimax 4K、Pimax 5K Plus&5K Super、Pimax 8K&8K Plus)、旗舰机型(Pimax Vision 8K X)、待发布机型(Pimax Reality 12K QLED、Pimax Crystal)等构成。从最初发布的小派 4K、8K、到旗舰款 Pimax 8K X、 再到 Reality 系列的 12K、Crystal,小派系列产品以宽视场角与高分辨率为核心特色,视觉 上 FOV(Field of View 视场角)、PPD(Pixel per Degree 角分辨率)、刷新率等均领先行 业主流消费级 VR 设备。
4.2. 高性能 VR 硬件是进入元宇宙的必经之路
Roblox 公司曾经定义元宇宙的八个要素为:身份、朋友、沉浸感、文明、经济系统、低延迟、 多元化与随时随地。我们认为这八大要素并不是平行关系,而是有主次之分。其中,沉浸感 是支撑元宇宙概念成立的核心要素。 在 PC 所处的桌面互联网时期及手机所处的移动互联网时期,身份、朋友、文明、经济系统、 低延迟、多元化、随时随地等要素早已存在。我们已经可以做到在微信进行身份认证,在朋 友圈里进行高质量的互动。然而桌面与移动互联网唯独没有“沉浸感”这一要素。PC 与手 机没有开启元宇宙的根本原因是,用户通过二维设备“观看”三维世界,缺少足够的“沉浸 感”。缺少沉浸感,我们就无法“进入”虚拟世界中,也就无法相信元宇宙是真实存在的。
VR 技术通过模拟物理环境——光、声音、气味、味道、运动,并以模拟出的物理环境来影 响我们的眼、耳、鼻、舌、体感、触觉,由此产生化学激素和电信号来影响到本我,继而影 响到自我和超我。这也就是 VR 让人们产生“身临其境感”的心理基础。手机与 PC 之所以 无法产生“身临其境感”就是因为手机与 PC 仅仅模拟了光源与声音,无法像 VR 一样模拟 整个物理环境。 借助高性能 VR 硬件提供的真正的沉浸感,人才能进入元宇宙。了解设备在解决什么问题, 参数才有意义。如果只是一块屏,尺寸更大,或者分辨率、刷新率更高,是有意义的。PC 是一款大的不动的屏幕,手机是可移动的,所以有移动相关的参数,有网络,比如说支持 2G、 2.5G、3G、4G、5G,使用包括手机应用、游戏。VR 是框在视野前的一套显示设备,包裹 住人类将近 2000 英寸的视野,提供一个沉浸式的效果,不但能看,还能在里面移动,因此 有穿戴相关的参数,如果是一体机,还有续航相关的参数。XR 未来要提供高沉浸感的娱乐、 办公、社交体验,需要在视觉沉浸感、物理沉浸感,、认知沉浸感三方面性能达标。
(一)视觉沉浸感——UVI 当量和刷新率
屏幕靠在眼前,通过放大镜,以 5-6 倍的放大倍率投射在视网膜上面,占据整个视野,包括 显示和光学参数。角分辨率(PPD)和视场角(FOV)此消彼长,难以判断整体好坏,因此有外国人提出视觉沉浸感(UVI)当量,FOV 做 Y 轴,PPD 做 X 轴,做一个分布,相当于 在第一象限当中把 FOV 和 PPD 展开。 算力是有限的,单位时间处理的像素点数量有限。FOV 越大,每个角度得到的像素(PPD) 就越小,每个角度得到的像素(PPD)越多,FOV 就越小。人眼 FOV 极限是 220 度,Pimax 可以做到 200 度,几乎涵盖整个视野。PPD 的极限精度是视网膜水平,在 60 度,甚至 75 度。现在主流的 VR 产品的 FOV 在 90-110 度之间,PPD 在 20 度,未来极限在 60 度。
(二)物理沉浸感——重量、大小、佩戴舒适度
物理沉浸感也是 VR 继续努力的方向。物理沉浸感指的是 VR 头戴设备的重量、大小、佩戴, 这与手机外观的重量、握感和续航时间不同。在 VR 中穿戴的舒适度很重要。小派的产品是 针对极客和早期的爱好者,所以产品机器较大,在未来也会出小白产品,会往轻便型产品发 展。产品小型化后存在一个问题,即小型化要使用移动芯片,但移动芯片算力有限,因此需 要在小型化与移动芯片算力之间达到一个平衡。这也是在未来发展中需要解决的问题。 物理沉浸感要考虑计算机算力的问题。电脑主要是 CPU,在 VR 世界中 GPU 相当重要。高 通在 GPU 方面,以及整个运动延时的调整上面做得很好,加上小派的算法,我们将整个延 时做到 15 毫秒以内。物理沉浸感牵扯到的算力、算法,还要在目前商用基础上增加 8-10 倍, 符合摩尔定律,是需要一段时间的。现在的算力虽然不能实现线下交互那样自然,但是已经 不错,可以玩很大的游戏,下一代产品整体体验也相当不错。
(三)认知沉浸感——面部表情识别和手势识别是 VR 社交和办公的必要技术
VR 中还有一点较为重要的是认知沉浸感。人们在看电视时,电视与人之间没有互动,电视 里的画面会随着搬动电视而移动,但 VR 不是这样的。VR 在 3D 建模之后,场景相对固定, 佩戴头显在场景里进行移动,会涉及到头部运动和手部运动。VR1.0 采用的是头部和手部 6DoF 运动,之后要逐步实现面部识别、手势识别。 在认知沉浸感方面,感知到人们的面部表情和手部动作是很重要的。目前用户在 VR 中很难 感知到周边人的面部表情、身体动态等一系列动作操作,这样会影响人们沉浸式体验。像手 部也仍然是持有手柄,仅仅是把手柄游戏化,向游戏机发展。实际上各大厂商都是在补短板, 但只要有一项新技术出来,就像鼠标出现成为了下一代电脑的标准输入设备一样,这种技术 就会让厂商具有长板的示范效应。
4.3. Reality 系列 Crystal 将首发
2021 年的 Pimax Frontier 发布会上,小派公开展示了研发团队两年多来一直在努力实现的 技术突破——VR 3.0 将带来完全身临其境的体验,并将专注于三个特征:自然(视觉沉浸感)、 自由(物理沉浸感)和自我(认知沉浸感)。Pimax Frontier 发布会上展示的 Pimax Reality 12K QLED 作为 VR 3.0 的划时代产品,各项性能参数均遥遥领先。Pimax Reality 12K QLED 分辨率可达到双眼 12K,刷新率最高可达 200Hz,使用 Mini-LED 背光,结合 QLED 量子点 技术。独创的仿生透镜技术让水平视场角可达 200 度,垂直视场角可达 135 度,双眼视觉重 合区域达 118 度,比人眼小 2 度。12K 还将搭载 Inside-out 6DOF SLAM 定位、空间音响, 支持 PC VR 与一体机的全能机形态,由高通骁龙 XR2 芯片驱动,可对表情、眼神、情绪、 动作等进行捕捉和追踪。
(一)光学创新:玻璃材质非球面透镜
主打极致清晰体验的 Pimax Crystal 选择了玻璃材质的非球面透镜方案,使头显的显示色彩 更鲜明、图像更锐利,从而将头显清晰度提升至更高水平。玻璃与聚乙烯由于材质不同,应 用在 VR 头显中会呈现出不同的视觉效果。
(二)显示面板:QLED+Mini-LED 屏幕+HDR 算法
与前臵旗舰款“性能天花板”Pimax 8K X 相比,Crystal 所拥有的像素的总数与 8K X 保持 相同,但密度更高。参数显示,Crystal 的屏幕水平分辨率为 5760 像素,垂直分辨率为 2880 像素,拥有高达 160Hz 的刷新率。头显屏幕采用 QLED+Mini-LED 结合技术,为用户呈现了 极致丰富的色彩。同时,创新采用 HDR 算法,使头显能够充分利用其高对比度硬件和准确 的色彩空间。
(三)计算平台:双模机一体机 Omni All-In-One
Crystal 在硬核标配方面与 Reality 系列的 12K QLED 保持基本相同。二者拥有相同的双平台 处理,搭载高通 XR2 处理器及 Pimax 定制 PC VR 引擎双处理器芯片——Omni All-In-One, 让性能比率最大化,自由切换 PC 与一体机模式,保证高性能及流畅体验。
此外,据产品发布会信息,Crystal 计划将于今年 Q3 开始发货,且价格会显著低于小派 12K QLED。Pimax 软件生态与硬件升级也将实现“两翼齐飞”。Pimax Store 将在 Crystal 头显 中首次亮相,目前已签约的内容供应商数量可观,涵盖诸多热门内容。通过 Pimax 自有内容 平台的搭载,与 crystal 头显的顶级性能相结合,用户的 VR 体验会更极速流畅。
5. Pimax Crystal 拆解
5.1. Pimax Crystal 总体结构
经过拆解,我们将 Pimax Crystal 的总体结构划分为外壳模组、核心计算模组、光学与显示 模组、电池及声学模组、人体工学模组共计五大模块。
5.2. 外壳模组——①-⑥
Pimax Crystal 的外壳模组由 B 壳、中框、屏金属支架、摄像头、A 壳、灯条六部分组成; 其中,摄像头是外壳模组最重要的组成部分,负责实现位臵追踪、Passthrough 与手部追踪 等功能。
① B 壳:与 A 壳共同组成头显的主要外观。②中框:B 壳与 A 壳之间的衔接区域。③屏金属支架:与中框一起保护保护头显外壳不脱离屏幕外的一个支架。④摄像头:组件四周有序分布共 4 个摄像头,分别用于位臵追踪、Passthrough 与手部追 踪。摄像头对于在头显与控制器上启用 6DOF 追踪至关重要,4 个摄像头的视图会合并在一 起,以允许在头显上使用 Passthrough 视觉模式,该模式可用于追踪游戏空间的边界。⑤A 壳:与 B 壳共同组成头显的主要外观,Crystal 实现可更换 Faceplate 功能。 目前市场上的 VR 产品与 AR、MR 产品泾渭分明,通过创新的模块化设计,Crystal 实现了 可更换 Faceplate 功能,让用户通过面罩更换就可以实现 VR 与 AR、MR 模式的切换。⑥灯条:已取消。
5.3. 核心计算模组——⑦-○27
Pimax Crystal 的核心计算模组由主板、散热片&散热风扇调节绑带及电源线、70pin 连接器、 70pin 连接 FPC、耳机板连接线、主副板连接 FPC、Eye Tracking 小板、下摄像头连接 FPC、 屏转接 FPC、TypeC-Dmic FPC、上摄像头连接 FPC、耳机板、距离传感器、5G 金属板、 眼追摄像头 FPC、小电池、60G FPC、指纹 FPC、Auto-IPD 电动马达构成。 ⑦主板:核心模块为高通 XR2 芯片。VR 设备需要大量运算、图像处理以及多摄像头支持, 需要一款专门设计的高性能芯片,目前主流是使用高通 XR2 芯片。⑧⑨——散热片&散热风扇:任何对图像处理要求很高的设备,对散热的需求都很高。Pimax 通过双风扇以及散热片和风扇紧密贴合的设计,将头显的散热性能发挥到极致,同时帮助 Pimax 将高通芯片的性能压榨到极致。⑩调节绑带及电源线:调整佩戴及连接电源。○11 70pin 连接器:连接电流与信号。○12 70pin 连接 FPC:用于 LCD 显示屏到驱动电路 (PCB)的连接。○13 耳机板连接线:用于连接外设耳机。○14 主副板连接 FPC:用于连接主板与副板。○15 Eye Tracking 小板:主要服务于 Eye Tracking 眼动追踪。该模块主要功能为 Eye Tracking 眼动追踪。眼球的定向追踪在两方面对于 VR 体验有至关重要的影响,分别是:社 交存在感;Auto-IPD(自动瞳距调节)。○16 下摄像头连接 FPC:用于连接摄像头。17 屏转接 FPC:用于连接屏幕。18 TypeC-Dmic FPC:用于连接 TypeC 接口。○19 上摄像头连接 FPC:用于连接上摄像头。20 耳机板:支持外设耳机。○21 距离传感器:又叫做位移传感器 ,是传感器的一种,用于感应其与某物体间的距离以完 成预设的某种功能。○22 5G 金属板:传输 5G 信号。23 眼追摄像头 FPC:支持眼动追踪摄像头的电路板。○24 小电池:供电。○25 60G FPC:该部件主要为支持 Pimax 开发的 WiGig 60G 无线接收模块。现有的无线频 段为 2.4G、5G、还有最新的 Wifi 6.这些频段还都是有延迟而且会受到干扰的。Pimax 开发 的 WiGig 模块可以实现原生串流的效果,不受信号干扰,同时近乎 0 延迟,提供较好的无线 体验。26 指纹 FPC:适配指纹解锁。○27 Auto-IPD 电动马达:与○15 的眼动追踪一起,共同实现电动的的自动眼距调节。
5.4. 光学与显示模组——○28-○38
Pimax Crystal 的光学与显示模组由 QLED + Mini-LED 显示屏、镜筒、Crystal Lens-35PPD 透镜、三对透镜支架、IR LED 盖板、包布支架、螺杆支架、Auto-IPD 螺杆、小压片构成。 ○28 QLED + Mini-LED 显示屏:结合了 OLED 与 Mini-LED 两方的优势,非常适合应用于 VR。QLED 能够比尺寸相仿的 OLED 屏幕,提供宽广 20%的色域,并能够再现 90%以上的 最新的视频广播 BT.2020 色域标准。OLED 仅覆盖该标准约 70%的范围。小派新背光系统采用 Mini-LED 技术可以实现堪比 OLED 的黑色。同时,Crystal 的屏幕为每只眼睛都有效 地提供了 2880×2880 分辨率。同时支持 HDR、160hz 的刷新率。29 镜筒:支撑镜片。○30 Crystal Lens-35PPD 透镜:小派自研的玻璃材料的非球面透镜,达到全球最高的 PPD 水平。PPD 是 VR 中衡量清晰度最关键的指标,当屏幕相邻像素与眼睛形成的角度小于最小 分辨率视角α时,达到人眼的极限,人眼不再能区分屏幕上的单个像素。
材质优势:Crystal Lens 的材质优势主要体现在可镀膜性与耐用性。 Crystal Lens 采用全新的三层镀膜工艺:防蓝光涂层可去除 99% 的蓝光;防尘涂层,可以 有效减少灰尘附着在镜头上;利用抗反射涂层,消除了大多数反射。莫氏硬度标度常用来表 示并测量材料表面抗划痕的能力。相比于树脂镜片,玻璃镜片的莫氏硬度提升了 33%。
31 ~○33三对透镜支架:与镜筒一起支撑镜片。○34 IR LED 盖板:能让红外线透过,同时也可将可见光和紫外线遮挡。35 包布支架:支撑镜片及镜片的支架。○36 螺杆支架:辅助实现瞳距调节。37 Auto-IPD 螺杆:与配合 AUTO-IPD 马达(15、27 结合)共同实现自动瞳距调节。38 小压片:压连接器以及 Auto IPD 的杆。
5.5. 电池及声学模组——○39-○48
Pimax Crystal 的电池及声学模组由头箍后壳、头箍前壳、后脑支架、后脑海绵、电池仓后盖 &大电池、电池仓上盖、DMAS 耳机、金属挂耳、旋钮组件、电池小板构成。 ○39 头箍后壳:与前壳一起构成头箍。40 头箍前壳:与后壳一起构成头箍。○41 后脑支架:与前后壳共同构成。42 后脑海绵:增强佩戴舒适度。○43 电池仓后盖&大电池:电池容量 6000mah,是其他设备的一倍。同时后臵的设计更利于 重量分布,并且首创可更换电池设计,解决了 VR 设备续航的痛点问题。44 电池仓上盖:保护电池。45 DMAS 耳机:目前主流 VR 头显一般都是扬声器;或者插外臵耳机。○46 金属挂耳:适配耳机。○47 旋钮组件:辅助调节声音。48 电池小板:连接电源。
5.6. 人体工学模组——○49-○54
Pimax Crystal 的人体工学模组由护脸罩、鼻贴、护脸罩海绵、左右齿条模组构成。 ○49 护脸罩:磁吸式可更换面罩。50 鼻贴:增加佩戴舒适度。51 护脸罩海绵:增加佩戴舒适度。52 ~○54左右齿条模组:相当于头显的支架,调整头围的大小。
5.7. 成本&供应商拆解
Pimax Crystal 总成本约为 618.5 美元,按照各模组拆分成本,其中,外壳模组占比 10.75%, 核心计算模组占比 27.16%,光学与显示模组占比 43.65%,电池及声学模组占比 5.82%,包 装占比 2.43%、制造占比 6.47%。显然,光学与显示模组成本占比最高,同时也是 Crystal 最重要的一块模组。
5.8. 主流 VR 设备设计对比
从品牌定位来看,Pico 与 Oculus 同为兼顾性能与价格的品牌,Pico NEO 3 与 Oculus Quest2 在硬件参数和定价上几乎无差别,区别在于前者舒适度更高、后者定位水平更高。 Pimax 的品牌定位则较为高端,追求高参数、高性能,在宽视场角、高分辨率两大维度在消 费级 VR 设备中遥遥领先。 从产品设计来看,头戴显示器+手柄的产品形态差异不大,Quest2 一定程度上确立了产品范 式——头戴显示器+双手柄。
6. 配套硬件的算法&内容生态&销售策略
6.1. 算法
小派目前掌握的自研核心技术覆盖领域广泛,尤其在显示、光学、定位与优化算法四大领域, 已经形成明显的领先优势。小派在 2021 年 10 月的 Pimax Frontier 2021 全球发布会发布的 新品 Pimax Reality 12K QLED,分辨率可达到双眼 12K,刷新率最高可达 200Hz,使用 Mini LED 背光,结合 QLED 量子点技术。独创的仿生透镜技术让水平视场角可达 200 度,垂直 视场角可达 135 度,双眼视觉重合区域达 118 度,比人眼小 2 度。12K 还将搭载 Inside-out 6DOF SLAM 定位、空间音响,支持 PC VR 与一体机的全能机形态,由高通骁龙 XR2 芯片 驱动,可对表情、眼神、情绪、动作等进行捕捉和追踪。
小派的光学模块多是自己设计的,举例来看小派已在算法方面建立的优势。 第一部分算法是,DSC 压缩技术。小派目前在做一个相关的显示流压缩技术、无损压缩技术, 就是有压缩但还原后几乎看不到任何色彩的损失。 第二部分算法是,动态注视点技术。人的视野范围中,只有眼球正面差不多 30 度范围内的 区域看得非常清楚,其他区域只要感知物体是否存在就可以。因此得益于仿生学的研究,小 派将有限算力集中在清晰区域,对这一部分进行高清晰的渲染,其他部分逐级降级,从而节 省算力,对芯片的价格和电池的待机时长都有影响。未来会将这项技术加入到产品中。 第三部分算法是,MTP 的优化。运动延时是 VR 产品必须解决的问题。小派对此有 Brainwarp 技术,行业内还有 ATW 等技术。
6.2. 内容生态
联合技术龙头,构建软硬协同的 VR 内容生态。小派一直注重硬件性能与软件生态的协同构 建,VR 内容生态的搭建离不开上游硬件供应链的配合,为此,据 Pimax Frontier 发布会, 小派已与业内顶尖技术和硬件厂商高通 (Qualcomm) / 英伟达 (Nvidia)达成合作伙伴关系。 其中,高通提供了业内顶尖的移动处理平台 XR2,相比第一代,XR2 的 CPU/GPU 性能提 升 2 倍、视频带宽提升 4 倍、分辨率提升 6 倍、AI 性能提升 11 倍,为 PimaxReality 12K QLED 的超高视觉表现打下良好基础,并让其在摆脱线缆之后还能拥有极高的显示效果。英伟达作 为 PC 显示芯片的领导者,已与小派合作多年,并在 PCVR 层面合作无间。他们将共同助力 小派 Omni All-in-One 全能机在视场角,分辨率与刷新率上获得更优异均衡的性能。Reality 不是 PCVR 也不是一体机,称之为 Omni All-In-One。工作核心在于研发一种新的硬件架构 ——Gemini,这是业内前所未有的创新硬件架构,内臵小派的定制 PCVR 处理引擎和一体 式 VR 引擎双引擎。其中,PCVR 引擎可以处理原生 PCVR 信号,从显卡直接接收数据;一 体式引擎是由最新最先进的高通 XR 芯片驱动的,使得小派 12K QLED 在独立运行时能够驱 动更多的像素,有着更好的 AI 处理性能和无线信号表现。高性能的硬件能够承载更优质的 内容,当硬件具备多种交互方式,比如视觉、触觉、听觉等,会更大程度激发内容的潜力。 小派 VR 头显通过扩展用户的交互方式来刺激更多元的内容生态,也让用户内容体验变得更 丰富、更多元。
在生态内容构建上,小派采取的是外部引进与深度合作开发双管齐下的策略。小派一方面兼 容其他厂商的内容,内容厂商可以基于小派新的交互和性能,修改原有内容来提升用户体验。 据小派官方公众号,目前已有多家知名开发商就建设新的 VR 内容分发平台 Pimax Store 与 小派达成协议,为应用能够上架 Pimax Store 进行针对性优化。其中包括包括热门应用 Steam2021 年 VR 游戏黄金榜中的 SURVIV3, 被称作 VR 版“Minecraft”的 cyubeVR, 最 适合 VR 初学者的 FPS 游戏 ARK-ADE,以及 BoomBox, , HereSphere VR Video Player, Dragon Fist: VR Kung Fu, OVR Toolkit, Vengeful Rites 等。
小派的内容生态预计将具备两大优势:第一,同时拥有 PC VR 内容生态和一体机内容生态。 小派将成为除 Meta 商店外,第二家支持 corss-buy 的 VR 应用商店,即用户购买 PC VR/一 体机应用的任一版本,将免费获得另一个版本。第二,发挥小派头显的高分辨率和高色彩还 原度的优势,商店重点引入 3A 游戏、人文或自然风景、博物馆、VR 演唱会等场景和色彩丰 富的 VR 应用,消费者足不出户,就能够体验到最具沉浸感和真实性的数字生活。截至目前, 小派商店规划了 40 款 PC VR 应用,20 款一体机 VR 应用的首发阵容,并保持每月上架 5-7 款 VR 新应用。目前小派内容商店正在内测中,PC VR 商店已经上线 20 余款,一体机 VR 应用正在积极适配中。 在标准化接口方面,小派的 PiTool SDK 与硬件接口可接入其他 VR 内容与配件。新发布的 Pimax Reality 系列支持 PC VR 与一体机两种模式,开放了软硬件接口(HDK & SDK)来适 配不同应用场景的使用需求,用户可使用一个账号上同时接入至少 Steam 和小派两个生态。 小派的通用接口包括 U3D、Ureal、手势追踪、头手 6DOF 等,个性化的接口还包括身体追 踪、面部识别、脑电波等。除了游戏和娱乐,开发者希望可以基于小派的个性化功能界面开 发更多包括医疗、教育、通信、设计、电影、现场活动等。
6.3. 销售策略
对于未来的竞争格局,小派除了在中高端市场的布局,未来也会依托原创性的研发能力和中 高端产品的造血能力,策略性地选择在某些市场和某些时点,通过差异化竞争和可持续的价 格战进入主流市场。 从行业角度,VR 的 2B 与 2C 市场存在不同特点,B 端稳定性较好,C 端成长性较好。
(一)B 端——周期性长,稳定性好
B 端应用存在防灾教育、文化旅游、室内乐园等方案,专做 B 端的团队来分别对接头显厂家 和内容,制作成方案。 ① 防灾教育。比如消防、避震、防性侵,这类的特点是偶发但致命,不太适合日常教育。 ② 文化旅游。比如,游览杭州西湖或者苏州拙政园,可看到美景,却不知古人身处场景如 何生活。VR 可以场景再造,拙政园的 VR 项目一直广受欢迎。 ③室内乐园。迪斯尼受刮风、下雨、严寒、酷暑的影响,但 VR 乐园不会。在 2-3 万平米的 综合体内开 2000 平米的 VR 乐园,基于位臵的定位,会很受欢迎。
(二)C 端——成长性好,能自主定义性能
C 端特点是成长性好。VR 行业在全球的 C 端产品成长性非常好,据 IDC 数据,2020 年全 球消费级 VR 出货量仅 300 万台,2021 年超过 1000 万台,2022 年预计在 2000 万台左右。 C 端另一优点是可以自主定义性能。2B 对技术的依赖往往被客户驯化,很难推动技术积累, 无法决定能否做极致的角分辨率(PPD)、视场角(FOV)。C 端市场是基于全球的开放市场 竞争,参数和性价比很重要。因此,致力于 C 端市场的硬件公司,会有更好的技术积累和用户积累。
从公司角度,小派做 VR 销售的策略是从高端 2C 的 PC VR 开始切入,主要基于市场、硬件、 内容生态三重逻辑去做创业初期的探索。
(一)基于市场:尊重海内外消费电子市场差异
海外和国内市场的差异由海内外消费类电子市场的成熟度决定。消费电子市场最早期的研发 和市场都来自海外。PC 供应链来自英特尔和微软,手机也来自海外,先是美国,然后欧洲, 智能手机也先是美国的安卓和高通,都是先在海外培育用户,然后转入国内的过程。 消费电子市场的不同是海盗文化和农耕文化的根本区别。虽然中国电子消费市场慢慢成熟, 但最多叫早期使用者,称不上极客,这是文化上的根本区别。比如,马斯克说要做 SpaceX 火箭的时候,愿意拿出 100 美金支持他的就叫极客,愿意尝试坐他的飞船去火星或者月球, 但开始的时候不支持,就不是极客。
VR 性能非常依赖硬件。VR 之所以发展慢,就是因为对硬件要求是几何式增长的。PC 只要 求能计算、能显示,最早的计算力 286、386、486 都能用,图形界面不行就敲键盘。手机 应用刷帧,刷新率 30 帧以内就可以。而 VR 不一样,所有内容都基于实时渲染,算力要求 非常高,关键指标,运动延迟(MTP)要在 20 毫秒以内,越低越好。为了提升体验,消除 眩晕感,要提升刷新率。如果刷新率是 90Hz,倒数 11.1 毫秒,但直到 120Hz 才能消除眩晕。 正因 VR 的内容显示基于实时渲染技术,当时所有移动计算平台都做不到,只有 PC 平台可 以,所以小派决定从 PC VR 开始做。
(三)基于内容生态:借力 Steam 内容,靠近 C 端用户
小派没有从一体机开始做是因为一体机没有配套的内容生态。一体机最早的生态内容来自于 HTC 和 Valve 联合成立的公司 HTC Vive,Valve 提供专利和技术框架,HTC 制造硬件。小 派从 PC VR 开始做起,并和 Steam 建立了良好的合作关系,借力 Steam 的内容生态填充自 身内容的短缺与空白。
小派在 2021 年 10 月的全球发布会 Pimax Frontier 上展示的 Pimax Reality 12K QLED,2022 年 6 月发布的 Pimax Crystal QLED 均是全能机,有 PC VR、一体机双模式,相关性能参数 和功能创新都代表了行业天花板水平,标志着小派即将进入一体机市场。基于全球高端 PC VR 市场的洗礼,小派已形成技术和品牌方面的双重优势。据 Pimax Frontier,2022 年小派 将会进军一体机市场,进军中端消费市场,并在国内市场发力。
7. 由小派 Pimax 预判 VR 未来发展趋势
7.1. 软硬一体将是大势所趋
VR/AR 时代,与过去的 PC 或者移动互联网时代的一个最大的区别就是走向软硬一体的趋势 会更加明显。我们会发现,纯粹做操作系统、纯粹做软件、纯粹做硬件都很难发展起来,因 为对算力、体验、软件,对融合和微调的要求很高,很难做到用通用的软件去服务所有的硬 件。例如手机使用的安卓系统,可以找到几百种终端,各种应用都可以运行,运行速度有区 别,但不影响使用。但是如果在 VR/AR 上面,即使有 0.1 秒的延迟,都会严重影响使用感 受,VR/AR 则天然没有性能上的容忍度。XR 硬件厂商会发现,即便找到一个公司提供通用 的平台,与其之间打磨的频繁度、复杂度和成本将远远超过自己自研配套平台。
未来 VR/AR 公司大概率会是软件、硬件、算法诸多核心部位在一个公司高度集成,类似苹 果的闭环生态。大苹果虽然很耀眼,但苹果的闭环生态并不是主流。在过去 30 年、40 年的 时间里,开放平台结合标准化的硬件和软件整合为一个平台是主流。由于 XR 硬件与手机、 PC 有着本质上的区别,我们推断未来的 VR/AR 时代一定是软硬结合的时代。进一步往软硬 一体的方向上演进,下一代计算平台上可能分给内容应用的分成比例会更低,原因在于软硬 一体后的生态体系很难剥离,终端厂商(包括操作系统)会更强势,能够掌握主要的市场占 有率,强者愈强的格局可能会更加显著。
7.1.1. VR 硬件的研发门槛高于手机行业
相比手机,VR 所涉及到的技术领域更加广泛,包括硬件、软件、显示、光学、传感、传输、 感知、计算机视觉、计算机图形学、UI、OS、人机工学、空间音响、认知科学、心理学, 甚至包括生理学和医学的很多方面。VR 对技术是对部分领域提出了更高要求,这些要求在 手机领域是没有的,或者要求是没有这么高的。 首先看光学领域,超大视场角的同时要实现畸变与色差可控、体积与重量可控,这对 VR 光 学系统的设计与制造提出了非常高的要求。这在手机行业是不存在的。由于需求不存在,上 游厂商也没有类似规格的产品可迁移,因此 VR 整机厂商就需要自己研发。 其次是显示领域,VR 需要大视场角、高分辨率、高刷新率的屏幕,未来要达到 16K 才能满 足要求,而现有的屏幕也不过是 4K 左右。对手机来说,2K 屏幕已经是天花板,再高根本没 有意义。
7.1.2. 算法也是构成 VR 硬件的高门槛之一
与硬件配套的算法同样是高端 VR 的门槛。UVI(视觉沉浸感)提高的瓶颈在于 GPU 算力一 定程度上决定了总像素数,在总像素数一定的情况下,PPD 和 FOV 成反比,也就是说必须 在 PPD 和 FOV 之间权衡和妥协。要想同时提高视场角和角分辨率,必须提升像素点总数(比 如从 4K 提升至 8K,甚至 12K)。如何在同样的 GPU 平台上支持更多的总像素数呢?最重要 的是优化算法体系,再加上必要的硬件支持以提升对有限算力的利用效率。
(一)抗畸变算法&自动瞳孔间距调整,根据物理定律,拥有超宽 FOV 的几乎同时不可避免 会产生畸变效应,但 Reality 做到了在整个视野内都是 0 畸变效果,原因在于将内部抗畸变 算法现已融入图像处理系统。由于建立了新的眼球追踪系统以及重新设计的镜片周围结构, reality 系列现在可以支持从 57-72mm 的 IPD 范围。
(二)眼动追踪技术,在支持非常高刷新率的同时,还大幅降低支持 FOV 和分辨率的算力 成本。小派能做到这一点,归功于 Tobii 的全球领先的眼动追踪技术。眼动追踪技术已成为 XR 中的一项基础技术,Tobii 和小派、VR OEM 厂商、高通等生态合作伙伴一起合作,将注 意力转移到元宇宙。Tobii 用于动态注视点的 Spotlight 技术,通过动态注视点渲染,VR 头显 能够轻松运行大量 VR 内容,有助于提高和保持高帧率,并减少 GPU 着色负载和电池消耗。
7.1.3. 内容设计需要与硬件达成良好适配
从内容开发角度如何看 VR 3.0?为迎接 VR 3.0 时代,小派已经推出了硬件的技术标准(视 觉沉浸、物理沉浸、认知沉浸),并且相信内容需要从一开始与硬件达成良好适配,诸如满 足接近人眼的分辨率与视场角、眼动追踪、肢体追踪等。目前的生态系统已经无法满足下一 代头显的需求。 以 VR 游戏开发为例,从开发流程看,VR 游戏开发与传统 3D 游戏开发基本一致。VR 游戏 的前提是开发一个 3D 游戏,再在 3D 游戏的基础上进行适合 VR 的改进。目前主流 3D 引擎 都支持 VR,也就是说,传统 3D 游戏只要稍作调整,就很容易修改出一款 VR 游戏。理论上, 使用主流 3D 游戏引擎已经足以开发出 VR 游戏,但是事实上,国内外市场(特别是国内市 场)的优质 VR 游戏及优质 VR 开发团队仍然非常稀缺。因此,我们需要思考,落实到具体 开发工作,从传统 3D 游戏修改至 VR 游戏的核心步骤有哪些?
观察方式、 操作方式、硬件瓶颈是影响 VR 游戏基础体验的三大核心要素。
(一)观察方式:从 2D 屏幕变为 3D 空间,需要调整 VR 游戏视角方案。 传统游戏的内容呈现在一个固定大小的屏幕上,玩家通过摄像机观察世界,摄像机决定玩家 能看到的内容。而在 VR 环境中玩家是直接用自己的双眼观察世界,玩家的眼镜就是游戏的 视角,移动摄像机就等于移动玩家在游戏中的位臵。
(二)操作方式:人机交互模式发生改变,玩家操作模式随之改变。 PC 的人机交互模式是键鼠模式,手游的交互模式是触摸屏模式,而 VR 游戏的交互模式是 体感控制器作为输入设备,相应的操作模式也就迭代为眼球追踪、面部追踪及手柄操作。同 时,操作方式的改变必然带来 UI 设计的改变。与传统游戏相比,VR 游戏不存在屏幕空间概 念,传统游戏按钮式 UI 设计不再适用。
(三)硬件瓶颈:VR 游戏的沉浸式体验对硬件提出更高要求。 VR 游戏由于需要沉浸式体验,对画面精度与运行流畅度的要求较传统游戏更高,相应对 VR 硬件的算力、显示、屏幕、传输提出更高要求。当前的主流机型,无论是 PCVR、PSVR 还 是 VR 一体机,硬件的性能参数均已可基本满足需求,实现与传统游戏基本一致的画面精度 与运行流畅度。
7.2. 光学:非球面-菲涅尔透镜-Pancake
光学方案的设计目标是在宽视场角实现极致的清晰度。作为对照,人眼 HFOV 极限是 220 度,VFOV 是 135 度,双目视觉平均 120 度。小派 Reality 系列已经做到 1)HFOV200 度, VFOV135 度,双目视觉 118 度;2)双目视觉,立体视觉和深度感知的基础,显著增加视觉 中心的重叠区。
Pimax Reality 12K QLED 使用的是仿生镜片(Bionic Lens System)-复合镜设计,能够自 研的仿生镜片-复合镜设计,综合了菲涅尔和非球面的优势。仿生镜片采用了前所未有的复合 镜设计,设法将菲涅尔透镜与非球面透镜组合在一起。因此,仿生镜片有着更高的清晰度、 更广的视场角、更大的甜点区和更低的眩光、更少的上帝光、较轻的重量和体积。
Pimax Crystal 选择了玻璃材料的非球面透镜方案,使头显的显示色彩更鲜明、图像更锐利, 从而将头显清晰度提升至更高水平。玻璃与聚乙烯由于材质不同,应用在 VR 头显中会呈现 出不同的视觉效果。相比聚乙烯透镜,玻璃透镜有三个主要优势,即透光率更高、杂散光更 少、像差更小,从而使视野内呈现的图像更清晰。玻璃透镜在加工工艺上也大有潜力。Pimax Crystal 的透镜计划采用三层镀膜技术,达到防蓝光、防尘、抗划伤的效果,能够有效环节用 户视觉疲劳、提升使用舒适度。
主流 VR 设备的光学方案迭代趋势大致是从非球面透镜、菲涅尔透镜向 Pancake 方案迭代 升级。非球面透镜凭借成本低、成像质量可控的优势为早期 VR 设备采用,如 3Glasses D1 和 Oculus Rift。但非球面透镜在色彩、畸变、厚度等方面的问题仍旧棘手,随着更先进的光 学方案的迭代,非球面透镜正在逐渐淡出市场。目前主流的头显大多采用菲涅尔透镜,相较 于非球面透镜,菲涅尔透镜在一定程度上降低镜片厚度、重量的同时能够基本满足 VR 设备 的成像质量要求,并且具备成本较低、技术成熟、可大规模量产的优势,目前 Oculus Quest2、 Pico Neo3 Link 等主流 VR 设备正在使用菲涅尔透镜。但随着 VR 设备在消费市场的渗透, 成像质量较低且厚重的菲涅尔透镜已经不能满足用户的舒适性和沉浸感的高需求。折叠光路 Pancake 逐渐成为 VR 光学方案的迭代方向,核心是平衡轻薄和光效。Pancake 方案以折叠 光路为原理,使光学模组进一步轻薄化,大大降低了头显的质量和体积,并且具备成像质量 好、画面畸变小、可调节屈光度等优点,大幅提升了用户的体验感和舒适度,目前 Meta、 华为、松下、HTC、苹果等已经推出或即将推出采用 Pancake 方案的头显。我们预测在科 技巨头的引领下,Pancake 方案在未来会有更明显的催化和应用,有望成为多数消费级 VR 的首选光学方案。但当前技术门槛和成本高成为制约厂商加入的重要因素,同时产品效果有 待进一步优化。此外,业界正逐步探索液晶、自由曲面、全息元件等前沿方案,有望进一步 压缩光学模组的厚度和重量,为用户提供更好的沉浸体验。
7.3. 显示:LCD-Micro OLED-Micro LED
显示屏幕是决定沉浸体验重要的决定因素之一,对分辨率/PPI/PPD 及刷新率要求较高。高 次像素排列密度 PPI 可以解决纱窗效应。纱窗效应是指在像素不足的情况下,实时渲染引发 的细线条舞动、高对比度边缘出现分离式闪烁现象。造成纱窗效应主要与次像素排列密度不 足有关,次像素之间的间距越大,不发光的部分越明显,透过 VR 看起来就像是在眼前蒙了 纱窗一般有种模糊感,影响 VR 的沉浸感及视觉清晰度。人眼正常视力下极限角分辨能力约 60PPD,而现有单屏4K(分辨率为 3840×2160)、视场角120度的VR头显设备约为18PPD; 单屏 2K(分辨率为 1920×1080)、视场角 60 度的 VR 头显设备约为 36.7 PPD。
显示面板的选择方面,综合比较 LCD、OLED、Mini-LED、QLED 的优劣势。OLED 提供更 鲜艳的色彩但 LCD 提供更好的 PPI、分辨率和刷新率,即 OLED 有颗粒感,LCD 不够黑沉 浸感不足。Q 表示包含在显示顶部薄膜中的量子点,QLED 覆盖了 BT.2020 90%以上的色域 (BT.2020 是最新的视频播放标准),OLED 仅覆盖该范围的 70%。小派 Reality 系列产品的 显示方案是在引擎盖(2nd Gen CLPL Panel)下加入一层量子点(Quantum Dots),并在整 个显示器背面加入先进的 Mini-LED 背光阵列(Mini-LED Backlight)。QLED+Mini-LED 屏 幕,QLED 面板提供了更广的色域,Mini-Led 面板则提供了更纯粹的黑色;同时,HDR 算 法使硬件的高色彩对比与准确的色彩空间得以发挥,为玩家与专业用户提供了极优显示效果。
VR 的显示屏幕方案迭代趋势正在由 Fast-LCD 向 Micro OLED 过渡,远期 Micro LED 或为 最佳解决方案。目前主流 VR显示屏幕以Fast-LCD为主,兼顾高刷新率与性价比。一般OLED 屏幕的刷新率明显有优势,但纱窗效应较明显,且成本较高,LCD 屏幕的次像素间距比 OLED 要小,纱窗效应减轻很多,改良后的 Fast-LCD 技术使用全新液晶材料(铁电液晶材料)与 超速驱动技术(overdrive)有效提升刷新率至 75-90Hz,同时也具有较高的量产稳定性及良 率,兼具效果与性价比。2018 年,京东方 VR 专用显示模组出货量就达 100 万片,涉及 VR 整机产品已超 20 款,包括 Oculus Quest 2、华为 VR。Oculus Quest 2 即采用一块改良后 的 Fast-LCD 替换上代 Quest 产品中的两块 AMOLED。
Micro OLED 的优越性能包括:1)超高分辨率: VR 设备分辨率 PPD 拉满至人眼角分辨 率上限,提升沉浸感体验。人眼正常视力下极限角分辨能力约 50~60PPD,而现有单屏 4K (分辨率为 3840×2160)、视场角 120 度的 VR 头显设备约为 18PPD;单屏 2K(分辨率 为 1920×1080)、视场角 60 度的 VR 头显设备约为 36.7 PPD。硅基 OLED 2000PPI 分辨 率较传统低温多晶硅 LTPS-OLED 显示器 800PPI 大幅提升,从而提升 VR 设备 PPD 至 60PPD。 2)超高刷新率:刷新率可达 2000Hz,有效减缓 VR 设备使用眩晕感。低刷新率导致更强 的图像闪烁和抖动感,最终带来眼睛酸痛、头晕目眩等症状,是使用 VR 设备带来眩晕感的 重要原因。刷新率达到 120Hz,即可改善运动镜头的画面跳停现象和模糊现象,完全消除高 亮度、宽视角情况下的临界闪烁现象。硅基 OLED 刷新率可达 2000Hz,大幅超越现有 VR 设备最高刷新率 90Hz。 3)体积小、重量轻,大幅改善使用体验:硅基 OLED 微型显示器件像素仅为传统显示器件 的 1/10。此外,硅基 OLED 以单晶硅芯片为基底,减少了器件的外部连线,比采用其他显 示方案减重 50%以上。
7.4. 交互:头手 6DOF-眼动追踪-手势识别
小派 VR3.0 Reality 支持所有追踪技术,包括 6DOF 头手追踪、眼动追踪、面部识别、全身 追踪,允许用户像一个自然人一样存在于元宇宙中。 Pimax Reality 12K QLED 最高搭载 11 枚定位及追踪摄像头,采用 inside-out 空间定位,内臵眼球追踪,并通过扩展模组实现完整的面部表情捕捉,在元宇宙中重塑自我意识,希望能 实现生动的 VR 社交。 基于手柄的“6+6”头手交互为当前主流交互方式。定位技术的原理简单概括,就是“信号 源+传感器”,使用相应的算法计算出物体的位臵信息(包括三轴及旋转共六个自由度,6DOF)。 随着算法及算力的成熟,VR 设备从初期的 3DOF 向 6DOF 演进,如 Vive Focus 升级为 6DOF 手柄的 Vive Focus Plus;Oculus 推出首款 6DOF 一体机 Oculus Quest;Pico 将其 3DOF 的 Pico 小怪兽一体机升级为 6DOF 的 Pico Neo。目前手柄控制依然是主流,融合 Inside-out 6DOF 头动+ 6DOF 手柄交互的 “6+6”交互路线是主流方案,代表厂商包括 Oculus Quest、Pico、Nolo、Ximmerse 等。各厂商的 VR 手柄设计有较大不同,通常都会 配臵摇杆,小型触摸板,A、B 操作按钮,以及握柄部分的电容感测,可识别压力、触感、 以及光学数据。
7.5. VR 头显趋于完美所面临的十大挑战
道格拉斯〃兰曼(Douglas Lanman)在 Meta 公司工作了 8 年,是开发显示系统的部门负责 人。在 2022 年的 Siggraph 会议上,兰曼发表了演讲(译文来自 VR 陀螺),主题是开发一 个趋于完美的 VR 头显所面临的十大挑战:更高的分辨率、更广的视场角、人体工程学(佩 戴舒适)、视觉校准(支持屈光度调节)、可变焦、眼球追踪、畸变矫正、HDR(高亮度显示)、 视觉逼真度(双向可透视)、面部重建。
(一)更高的分辨率
目前的 VR 头显在分辨率方面还远没有达到人类的视觉分辨率。为了使虚拟世界看起来像实 物一样真实和清晰,并且即使在中等距离也能很好地阅读文本,VR 显示器的分辨率必须大 幅提高。Meta Quest 2 只达到了单眼 2K 和 20 PPD。6 月公开的原型机之一 Butterscotch 已经实现了接近视网膜级别的分辨率,达到 55 PPD。 不过,高分辨率显示器的开发和生产并不是最大的问题,问题在于要有相应的计算能力来支 持高分辨率显示器。注视点渲染和云串流技术可以提供帮助。
(二)更广的视场角
人类的水平视场角大约是 200°。现阶段,商业上可用的 VR 头显一般能达到 100°的水平 视场角,在垂直视场角方面也仍有改进的余地。 更广的视场角给透镜技术带来了巨大的挑战,这表现在视场边缘的图像失真上。同时,这也 关系到计算能力的问题,视场角越宽,VR 头显所要显示的像素就越多,这将导致更高的功 率要求和更多的发热。
(三)人体工程学
消费端市场的 VR 头显仍然很笨重。Meta Quest 2 的重量超过 1 磅,从面部突出近 3 英寸。 理想情况下,VR 头显需要足够舒适以支持长时间佩戴,因此在设计上要更窄、更轻。Pancake透镜和全息透镜可以提供帮助。
(四)带视觉校准的显示器
完美的 VR 头显应该能够检测并补偿用户的视觉缺陷,这样无需佩戴传统的眼镜或隐形眼镜 就能在虚拟现实中看得清楚。 这个问题可以通过特殊的附件来解决,但更好的方案是,显示器带有视觉校准功能,可以根 据用户自己的视力来进行适配。
(五)可变的焦点
在 VR 环境中,人眼不能自然聚焦,时间长了就会导致眼睛疲劳和头痛。这种现象在技术术 语中被称为“视差适应冲突”。 为了解决这个问题,Meta 公司开发了一款支持“渐进式视觉”的原型机 Half Dome。该显 示器能模拟不同的焦平面以及模糊,帮助眼睛更自然地观察虚拟世界。
(六)面向所有人的眼球追踪
眼球追踪是虚拟现实的一项关键技术,它是许多其他重要的 VR 技术的基础,如渐进式视觉、 注视点渲染和畸变校正。它还能在社交体验和新的互动形式中实现眼神交流。 (七)畸变校正 透镜本身就会产生图像畸变,必须通过软件进行校正。瞳孔最轻微的移动都会导致细微但明 显的畸变,它们损害了视觉的真实性,特别是在与其他技术(如渐进式视觉)结合时。
(八)高动态范围显示(HDR)
实体物体和环境的亮度远高于 VR 显示器。针对这一问题,Meta 公司开发了原型机 Starburst, 其最高亮度可达 2 万尼特。作为比较,一台好的 HDR 电视能达到几千尼特,而 Meta Quest 2 只有 100 尼特。
(九)视觉逼真度(双向可透视)
完美的 VR 头显必须在两个方向都是半透明的。VR 用户应该能够看到环境,就像环境能够 看到 VR 用户一样。这既是出于用户舒适度的考虑,也是出于社会接受度的考虑。Meta Quest 2 提供了一种颗粒状的黑白透视模式。Meta Quest Pro 应该会以更高的分辨率和色彩来改善 这种显示模式。
(十)面部重建
共处和元宇宙是 Meta 公司的最终目标。该公司希望有一天人们能在虚拟空间中会面,并感 觉他们就像在同一个房间里一样。 这个方向的第一步是VR头显可以实时读取 VR用户的面部表情,并将其转移到虚拟现实中。 Quest Pro 将是 Meta 公司首款提供面部追踪的头显。
8. 国内外 VR 硬件厂商新品迭代
8.1. Meta:Cambria
Meta 未来两年已有四款 VR 新品储备,兼顾中端与高端消费级市场。Meta 未来两年计划推出四款 VR 头显产品,内部代号分别为 Cambria(高端旗舰 VR 头显)、Funston(Cambria 的迭代版本)、Stinson(预计 2023 年推 出)、Cardiff(Stinson 的迭代产品)。也就是说,Meta 将交替发布高端 VR 头显和低端 VR 头显,不同价格档位的 VR 头显将帮助 Meta 抢占大部分 VR 市场份额。
其中,Cambria 由 Meta CEO 扎克伯格首次在 Connect 2021 大会上透露,该设备拥有全彩 透视、面部追踪功能、Pancake 光学方案三大亮点: 1)全彩透视(See through):Cambria 搭载的外向摄像头可以让 VR 头显的屏幕呈现现实世 界的场景。该设备所拥有的全彩透视功能不但可以让 VR 头显呈现完全虚拟的场景,也可以 让 VR 头显同时显示现实世界和虚拟世界的信息,就像 AR 眼镜那样。 2)面部识别追踪:Cambria 内臵的传感器能够实时跟踪用户的眼睛和面部表情,可以帮助 用户在 Meta 的 Horizon Worlds 和 Workrooms 等应用程序中生成用户的虚拟头像。 3)Pancake 光学方案:利用折叠光路技术,使得光机厚度更薄、头显重量更轻。显示方面, 使用单眼 2160*2160 的 Mini-LED,叠加光波导(digilens 的 T-REx)来减轻像素间的间隙, 看起来比 Mini LED 原有的物理像素更清晰。
8.2. Apple:首款 MR 设备
知名苹果分析师郭明錤(Ming-Chi Kuo)对于 Apple 的产品规划路线预测——头盔式-眼镜 式-隐形眼镜式。郭明錤预测的 Apple MR/AR 产品蓝图三大阶段分别是——2022 年的头盔 式(Helmet type)产品、2025 年的眼镜式(Glasses type)产品、与 2030–2040 年的隐形眼 镜式(Contactlens type)产品。其中,头盔式产品可同时提供 AR 与 VR 体验,而眼镜式产 品与隐形眼镜式产品则较可能专注于 AR 服务。
Apple 首款 MR 设备渐行渐近,关注 WWDC2022 发布最新信息。根据苹果发布的专利信息 及外媒苹果分析师,苹果的首款 MR 设备或将 1)自有操作系统 realityOS(据 App Store 上 传日志和苹果开源代码);2)显示器的配臵将包括两个微型 OLED 显示器和一个 AMOLED 面板(据显示器分析师 Ross Young);3)芯片将采用代号 Staten 的 M2 芯片衍生版本,外 加一个协处理器 Bora 芯片(据芯片供应链专家@Mobile chip Expert);4)价格被预测为 1000 美元、2000 美元或 3000 美元级别,需要额外的月度订阅(据 TrendForce)。
8.3. 索尼:PSVR2
自 2022 年 1 月公布 PSVR2 以来,索尼陆续放出了有关该头显的详细信 息。其中包括采用 4K 120Hz HDR 显示屏、110° 视场角和注视点渲染技术,其 OLED 显 示屏将提供每眼 2000×2040 的分辨率和 90/120hz 刷新率,内臵眼动追踪功能、重新设 计的手柄、触觉反馈以及各种其他改变游戏规则的增强功能。内容方面,PSVR2 将在发布 时同步首发超过 20 款 VR 游戏,涵盖第一方和第三方游戏,包括《 Horizon Call of the Mountain 》,以及《无人深空》和《生化危机 8》的 VR 版本。8 月 23 日,索尼官方宣布 PSVR2 将于 2023 年正式上市。
8.4. 字节跳动:Pico4&Pico pro4
从 8 月曝光的 Pico 4 系列的参数配臵和设计线稿来看,Pico 4 系列不管是从外观还是佩戴方 式均采用了全新的设计,在参数配臵上 Pico 4 系列明显领先 Quest 2,并且 Pico 4 系列搭载 了很多创新功能,如 Pancake 光学方案、彩色透视(See-Through)、瞳距无级调节等。相 比于普通版本,Pro 版本将支持面部识别与眼球追踪。
Pico 4 系列所采用的 Pancake 超短焦光学方案,有效减少设备重量。根据爆出的线稿,前端 采用的类似泳镜式设计,可以更贴合面部,让用户在运动健身时不易脱落;其后端采用的衬 垫与波轮调节的方式,则能够更好地减轻用户头部和颈部的负担,使得用户的佩戴更加舒适。
8.5. 2022 年上半年 VR 发布/上市新品一览
元宇宙概念掀起的浪潮仍在奔涌,市场也在加速拥抱 VR/AR 行业新风口。根据 VR 陀螺统 计,2022 年上半年全球 VR 头显的出货量约 684 万台,其中 Quest 2 上半年累计销量约为 590 万台,呈现出一家独大的局面。上半年国内 VR 头显出货量约 60.58 万台,其中 Pico 销 量约为 37 万台。 从国内、国外数据对比来看,Quest2 上线于 2020 年 10 月,随后以 299 美元极具性价比大 推,Pico neo3 上线于 2021 年 5 月,8 月被字节收购后开始大推。国内的出货量以旗舰产品 的上线为关键节点较国外落后 1 年左右,Pico2022 年的出货量目标是 180 万台,超过 Oculus2018 年的出货量。
9. 新硬件作为元宇宙六大版块之一,2023 年展望
新硬件是相对于智能手机及智能手机之前的历代硬件的统称;站在当下,基于元宇宙的新硬 件可以分为硬件入口与分布式垂类硬件两大类。 硬件入口范畴广,凡是作用于人的眼耳鼻舌身意、旨在让用户进入元宇宙的新交互硬件,均 可被称为硬件入口,故 VR/AR/MR 等作用于人的眼睛的硬件,只是硬件入口的技术路径之一, 故“可穿戴设备”“脑机接口”都是广义上有可能成为入口的交互硬件的技术路径。 分布式垂类硬件在《新硬件主义》一书中,被我们列为与“硬件入口”并列关系的另一类新 硬件,相较于硬件入口的“交互”,分布式垂类硬件更重要的是“智能”的真正实现;分布 式垂类硬件又分为三小类:基于情感需求的智能交互新硬件、机器人、当下现实物理世界中 未来要被智能改造的“物”。2022 年年初冬奥会的冬奥村中,各式“黑科技”硬件,已有了 “分布式”的雏形,只是各个“黑科技”尚未真正实现智能化。
2022 年以来,市场特别关注人形机器人,但尚未意识到在元宇宙视角下,人形机器人作为 分布式垂类硬件的一类,与硬件入口有何关系? 从人的需求出发,硬件入口解决了用户进入元宇宙的需求,但进入元宇宙后的用户,其用户 时长终究有一部分,还是要花在现实物理世界中,故围绕用户在现实物理世界中的时间消耗, 未来的现实物理世界要被智能化重塑,以匹配用户在元宇宙中已升级的各类需求(尤其是情 感需求);且元宇宙作为新一代计算平台,预计将抢占更高比例的用户时长(移动互联网时 代的用户,其分配在移动互联网上的时间比例,远大于 PC 互联网时代的比例),当用户更多 时间沉浸于虚拟时空时,机器人则需替代部分人的功能;新计算平台代表着技术升级、生产 关系重塑,新的硬件(在元宇宙时代则是智能交互硬件)也将应运而生。 从科技的需求来看,真正的“智能”若要实现,元宇宙与混合平台是两条路径;其中元宇宙 是重新架构的时空,混合平台则是以人为载体重塑人的“硬件”,当人的“硬件”被重塑后, 替代人的部分功能的机器人、服务于被重塑的人的新智能交互硬件则是确定性的未来趋势; 当“智能”真正能实现时,当下的现实物理世界的各类硬件,淘汰或被升级,亦是必然趋势。
硬件入口、分布式垂类硬件既然是并列关系,我们关注硬件入口的发展趋势,是否可以将其 与分布式垂类硬件割裂开单独研究? 当下市场对硬件入口的认知,并未完全意识到新一代的硬件入口,最重要的使命是“定义下 一代交互”,如果要去定义交互,就必须意识到元宇宙对交互的重塑是革命性的:1)过往的 PC 互联网时代、移动互联网时代,技术服务于人与人之间的交互,但元宇宙时代,交互则 不仅囿于人与人之间,交互主体将扩展至人、数字人、虚拟人、机器人这 4 类,故交互将呈 现为前所未有的复杂性与多样性;2)元宇宙最终的实现是最终能“模糊虚拟与现实的边界”, 故以上 4 类交互主体的交互场景,预计是虚拟与现实之间高频切换的。而机器人,则是分布 式垂类硬件的一种,严格来说,数字人与虚拟人也是机器人的一种。
故,硬件入口与分布式垂类硬件的研究,是无法割裂开来单独去研究的。展望 2023 年新硬 件的发展趋势,我们认为硬件入口、分布式垂类硬件在 2023 年,均是“大年”。
按照我们对元宇宙六大版图轮动顺序的分析,首先,硬件入口与内容先行,硬件作为第 一入口,硬件之上需要配套的内容相互促进发展,内容则以 VR 游戏、链游等元宇宙初 级内容形态为主;其次,底层架构要开始发挥作用,新内容/场景的制作、生产、运行、交互,依赖底层架构的大力升级(游戏引擎/工具集成平台等);再次,随着底层架构的 升级带动数据处理的量级大幅提升,后端基建与人工智能才能真正发挥大的功效;数据 洪流下,即物理世界充分数字化后,人工智能的作用将越来越大,人工智能不仅依赖于 底层架构与数字基建的完善,也非常依赖于内容与场景丰富的程度,此时 AI 将替代或辅 助人去发挥建设性的作用,成为元宇宙中的核心生产要素;最后落脚到内容与场景,相 较于其他板块,内容与场景的变数最大,元宇宙将会催生出远超我们当下所预期的新内 容、新场景、新业态,重塑内容产业的规模与竞争格局;过程中有大量繁荣整个生态的 技术、服务方,协同于每一轮轮动。基于上述判断,全球范围内,预计科技巨头们率先 在硬件产业链、内容、底层架构上发力,继 2021、2022 年硬件入口、内容、底层架构 的发力,2023 年后端基建、人工智能的加持下,有望真正迭代出爆款应用、场景、模式、 内容,以匹配性能持续升级的各硬件入口;
分布式垂类硬件中的人形机器人,核心仍然在于“基于现实世界的智能”,2023 年人形 机器人的进展,核心仍取决于“智能”的实现程度;
硬件入口 2023 年最大的变数,在于 Apple 的发力程度;人形机器人 2023 年的进展,也 取决于特斯拉的推进速度。
此外,与硬件入口相匹配的内容、应用、场景等,我们认为 2023 年有望真正跑出有元宇宙 部分“精气神”的爆款,但顺序可能先是应用、场景甚至是模式,最后才是真正的爆款内容 出现。目前的内容、应用、场景,更多是基于“沉浸感”去做升级,而非真正创新性的。
(本文仅供参考,不代表我们的任何投资建议。如需使用相关信息,请参阅报告原文。)
精选报告来源:【未来智库】。