如果说元宇宙的终点是Z,我们现在可能刚摸到A的门槛。
咱们不画大饼,也不为了骗投资人和股民瞎吹概念,好好地用人话介绍一下到底元宇宙是个什么东西,以及我们想象中的元宇宙和现阶段实际情况有多大的鸿沟,系列文章将从硬件、软件、场景与产业几个方面来解读元宇宙发展现状与未来。
先不妨场景化一点,提个问题——我们怎么才能进入元宇宙?这是问题是硬件要回答的。从最理想的情况来看,元宇宙的入口应当是成熟后轻便、高保真、廉价的脑机接口。回到现实中来,入口包括了手机、PC、VR/AR、脑机接口。不过在我看来手机和PC完完全全是概念碰瓷,我的评价是别来沾边。至于脑机接口又太过遥远,因此当下最接近元宇宙的入口,就是VR/AR与它的配套设备。
一、VR
1. 现状概述:高端VR设备价格昂贵且远未达人眼分辨率
如何评价目前的硬件水平也就是元宇宙入口建设?四个字——勉强能用。元宇宙是需要沉浸感的,视听体验的听觉很好解决。而视觉则不然,为了能尽可能地达到人眼的水平,得付出极大的努力。
VR头显清晰度的评价指标和手机电视显示器的有些差异。我们看传统的显示设备,评价的指标主要就两个——尺寸和分辨率。VR的评价指标则是最看重FOV(视角场)以及二者综合的PPD(角分辨率),也就是眼睛能看到多少东西以及看得多清晰——最大视角范围内的等效人眼分辨率。
市面上的设备,清晰度做得怎么样?个人使用者可以买到的(含闲鱼渠道)最好的设备是Varjo VR-3,在视野甜蜜点可以达到70PPD即人眼分辨率,但价格也傲视群雄,含税价3.5万人民币。值得注意的是,并非硬件设备顶配了,就一定能看到非常清晰的画面,清晰度也同样取决于建模的精细度。
2. 名词解释
1)一体机与PCVR
以是否需要额外的个人电脑为分界,VR有两个派别即一体机和PCVR(包含PSVR)。下面用一张表来描述一体机与PCVR之间的主要区别。
① 一体机
一体机顾名思义,显示与计算是一体的,戴在头上就能使用,无需再连接别的设备,在一体机领域,全球最火的产品是Meta的Oculus Quest 2,销量接近2000万台。而国内VR一体机卖得最好的是字节跳动的Pico系列,累计销量大概90万。
一体机的优点是便携、易上手、操作友好以及便宜一言以蔽之就是门槛低。相比PCVR搭配定位基站动不动就需要大几千元~上万元的价格,上文所述Quest 2和Pico 4目前价格都在2000元左右,如果是为了简单地体验VR尝个新鲜,一体机可以说是所有人的首选。但受限于价格与重量,一体机舍弃掉了对性能的追求,大部分一体机的芯片都是晓龙XR2,等效于手机芯片晓龙865的计算能力,因此有很明显的性能天花板,无法体验最前沿的VR内容。
② PCVR(不单独介绍PSVR)
PCVR需要一台个人电脑来配合使用,大部分PCVR并不支持裸机直接游玩。PCVR的性能上限取决于你的个人电脑的性能上限,因此具有很高的天花板。
一般来说,选择PCVR的用户是重度的VR玩家,因为需要克服诸多不便(有线、定位基站、电脑辅助、很重)换来体验上的提升。这里的提升主要指的是更高质量的VR软件方面,例如模拟飞行、模拟驾驶、数字孪生工厂、高质量游戏等。主流的一套PCVR+PC+定位基站的价格大概1.5万元左右,是一笔非常巨大的投入。
2)关于PPI,FOV,PPD
① PPI
PPI是”像素每英寸”(Pixels Per Inch)的缩写,是用来描述显示设备像素密度的度量单位。PPI表示在显示设备上每英寸的水平和垂直方向上所能显示的像素数目。PPI数值越高,显示屏幕的像素密度就越高,图像显示效果也会更加清晰和细腻。
对于手机来说,PPI达到300即每英寸有300个像素即达到人眼分辨率看不出像素点了。但对于VR来说不行。就像你从远处看一块LED电子大屏,它的像素感不强,但如果走到屏幕下则能看到像素块。这是因为在你的视野里,每英寸占据视(FOV)的范围变大了,因此对每英寸像素密度的要求更高了。
② FOV
FOV是“视野”(Field of View)的缩写,是指在特定观察条件下,人眼或者摄像机所能看到的范围或角度。在VR中,FOV用于描述VR所能够捕捉到的视野范围。
FOV通常通过度数或者角度来表示,例如水平FOV、垂直FOV等。较大的FOV意味着可以观察到更广阔的区域,而较小的FOV则意味着视野范围较窄。
人类双眼最大FOV大致为188度,双眼重合FOV为124度。如果以此为及格线来参考,主流的VR设备大部分没有合格,因此在实际戴上头体验后,会感受到视野有黑边从而折损体验的沉浸感。
③ PPD
PPD( Pixel Per Degree),即每一度视场角的像素数。以视网膜屏手机为例,当用户在40cm左右处使用手机时,手机屏幕在用户视野中水平所占据的度数大约是10度(iPhone4)。而因为iPhone4手机屏幕宽度是 640 个像素,所以,相当于,每一度视场角,被分配了 64 个像素,即 64PPD,而用户此时就是无法分辨像素颗粒度的状态。
对于VR头显来说,由于视场角各异,单纯地看屏幕分辨率和PPI并不足以用来评判屏幕的清晰度,4k27寸屏幕显示器在视野中的角度与VR头显相比差远了。而即使60度FOV的4k分辨率和120度FOV的4K分辨率也完全不可一概而论。例如GOOVIS虽然画面很清晰,但是FOV只有65度,所以在宣传与售卖上都只说自己是巨幕显示器而非VR。
而相对应的,18PPD等效人眼分辨率720P,27PPD等效人眼分辨率1080P,36PPD等效人眼2K,大致可以做这层换算。而在今年WAIC上,小派科技副总裁李杰也分享了自己的观点,8K清晰度(110FOV,35PPD,等效人眼2k分辨率)是良好视觉沉浸体验的起点。
3)各类动作识别
Apple将VR这一概念用空间计算来诠释,一是为了掌握名词定义权,二来也确实妙。VR关于一切动作、行为的识别基础就在于判断物体在空间中的位置、用户在空间中的位置、再细拆一点即身体、腿部、手部、面部、眼睛在空间中的位置。
为了获取到各个维度的空间信息,当然需要非常多的摄像头。摄像头放在哪里?最符合直觉的做法是,Outside-in也叫灯塔定位,把定位基站架在客厅就好了,四个角落里放上两个,就能把用户全覆盖了。这个解决方案的优点是性能很好,准确度高,但缺点也显而易见——需要一个大客厅,且需要承担两个定位基站的费用。
灯塔定位的方案通常是PCVR所采用的,在一体机上,则采取Inside-out定位方法,即通过VR头显的摄像头捕捉周边环境并映射到虚拟世界中,同时用陀螺仪加速计来进行辅助,这样就能根据用户头部的倾斜旋转给出对应的虚拟世界定位。例如Quest 2有四颗广角摄像头来识别环境,Vison Pro则有着夸张的十二颗摄像头用来做一系列的参数接收。
如果对精度有更高的要求,可以再额外在身体上佩戴几个传感器。举个非常好理解的例子,任天堂的NS Sports的足球游戏中,会推荐玩家把Joycon手柄绑在腿上,然后做出踢球的动作,玩家的角色便能执行对应的指令。而为了提高VR的沉浸感以及与其他玩家的交互,一些发烧友甚至会购买十来个追踪器绑在身上。
然后再介绍一下手柄和手势识别。VR手柄通常被设计成符合握持习惯的形状,各个按键对应着不同的输入指令以实现对虚拟世界的控制,同时由于外部摄像头与手柄本身定位系统的反馈,得以让手柄在虚拟空间中的位置被准确识别。手势识别则是通过摄像机获取手部动作并对特定的手势添加指定逻辑,例如APPLE VISION PRO中展示的,食指拇指合并触碰即点击。
最后还有一环,就是覆盖在VR头显内的面部,能被追踪识别么?答案是YES,在VR头显对内的一面安装传感器就好了,以HP Reverb G2 Ominicept这款头显为例,额头部分有一个传感器用来感应心跳,镜片的周围是眼球追踪,鼻子下面是面部追踪。靠这几个传感器就实现了对眼动、表情和心跳的识别。
二、万向跑步机
如果想要自由地把自己的运动对应到虚拟世界中,要么你有个巨大无比的客厅或者主题公园不用担心两眼一黑撞到墙上。要么就需要你妥协,退而求其次选择模拟运动。这就是万向跑步机解决的需求,万向跑步机大致有两种形态——履带真实移动和光滑平面原地打滑。
用履带来实现行走、跑步是符合直觉的,因为和普通跑步机的。其与普通跑步机不同的地方在于万向跑步机可以通过对用户运动路线的识别来控制履带的反向滚动使用户一直原地跑步/行走。
光滑平面原地打滑的解决方案,则是通过特制的鞋子和特制的底板的摩擦来判断用户是否运动以及在往哪个方向运动,这种做法抛弃了履带,所需要的空间相对较小,但行走的不自然感也相对较强(更像是蹭着走路)。这种解决方案里,机器往往长下面这样。
另外还有个试验性的解决方案,即只穿鞋子,当向前走时,位于每只靴子底部的电动轮子会巧妙地将穿着者重新定位到原来的起始位置。这种解决方案的妙处在于无需大的空间与复杂的准备工作,但相对应的危险性(滑倒)以及沉浸感会下降。
虽然后续阶段的万向跑步机都朝着小空间方向努力,但是跑步体验仍然是第1阶段的跑步机最流畅,如何克服空间与动作流畅的矛盾,应该是万向跑步机发展的方向。
三、脑机接口
脑机接口听上去是个很科幻的事,但实际上已经发展非常长一段时间了,但由于安全、道德、商业化难的问题,成果并不怎么惊讶到被大众所知。话说回来,脑机接口分为侵入式、非侵入式、部分侵入式三种模式。侵入式脑机接口接收的信号来源于颅内,信号强,有创;非侵入式接口信号来自于头皮,信号弱,无创。
先不论原理,来看看脑机接口近些年较为代表性的例子,一览目前的发展阶段:
- 2016年10月,美国匹兹堡大学教授Andrew B.Schwartz使用皮层微电刺激技术实现手部触觉重建;
- 2019年4月,加州理工教授Richard A.Andersen在病人后顶叶皮层植入电极,实现意念控制机械手完成喝啤酒;
- 2019年10月,法国格勒诺布尔阿尔卑斯大学教授Alim-louis Benabid采用硬膜外皮质脑电与无线传输,成功实现瘫痪病人外骨骼操控,实现缓慢行走与暂停;
- 2020年12月,约翰霍普金斯大学通过将六个微电极植入左右脑区,首次实现脑控一双机械臂完成切蛋糕与吃蛋糕等复杂任务;
- 2021 年 4 月,Neuralink 在猴子大脑中成功植入脑机接口,并演示了玩乒乓球电子游戏等操作;
- 2021年/2023年,斯坦福发表文章报道渐冻症患者想象说话,系统逐个输出想说单词的工作。
从上面举的几个例子里不难看出,现阶段脑机接口应用集中在医疗层面,主要是通过与神经信息的互动来实现对病人的治疗。尽管马斯克在2021年12月采访中就大放厥词“高阶的neural link将实现真正的虚拟现实”,但是通过脑机接口电信号模拟五感,以及使用意念操控虚拟世界这事看上去依旧是遥遥无期。
作者:我叫徐知鱼
来源:我叫徐知鱼