6月6日1点,苹果举办了2023年度开发者大会(WWDC),如传闻所预期的那样,正式发布了MR头显Vision Pro以及与之配套的visionOS操作系统。
作为苹果自2015年推出Apple Watch之后的首款全新品牌的产品,Vision Pro被称为进入“空间计算”的一步,也是苹果的首款MR设备。
库克称,今天标志着计算技术新时代的开端。
外观与舒适性设计
从外观设计来看,Vision Pro正面像是一副滑雪镜,配有一块独特的3D层压抛光玻璃面板与定制的铝合金框架嵌合。
该框架在用户的脸周围轻轻弯曲,以更贴合面部,其内部容纳有各类传感器、摄像头、显示屏和基于风扇冷却的计算组件。设计上非常的紧凑。
作为一款头戴式设备来说,其佩戴的舒适性对于用户来说的是极为重要的。
首先,Vision Pro与用户面部接触的部分是由柔软的纺织品制成,也有多种形状和尺寸可供选择,可弯曲以贴合用户的面部,以实现精确舒适的贴合。苹果表示,Vision Pro与脸部的紧密贴合,可以很好地阻挡外界的杂光的干扰。
第二,在Vision Pro的固定方式上,苹果选择的是常见的具有松紧的头带固定,基于3D编织的一种非常独特的肋骨结构,针织材质兼顾透气、缓冲和拉伸功能。并且,头带边缘还有一个调节旋钮,只需要旋转旋钮就能调整头带的松紧度,非常的方便。
第三,Vision Pro采用了外部电池供电的设计,即通过一根编织缆线与MR头显主机连接,可以方便的拆卸。这样的设计,极大的减轻了MR头显主机的重量,为了提升用户长时间配带的舒适性。
在音频交互的设计上,Vision Pro在头带和主机连接件的靠近用户耳朵的位置的左右两侧设计了一个凸起的部分,以容纳扬声器,可以提供丰富的空间音频,同时也可以让用户保持与周围环境的联系。
最后,Vision Pro采用的是模块化系统设计,其各个部件允许量身定制以适应各种各样的用户。比如,头带可以更换不同尺寸和款式;苹果也与蔡司合作,生产的各类处方镜片可以磁性地附着在显示屏上,以适应各类具有近视等视力问题的人群。
4K Micro OLED屏:极致的视觉体验
对于一款MR产品来说,其屏幕的显示效果至关重要。Vision Pro采用了两个小型的 Micro OLED屏+3P Pancake方案,拥有 2300ppi,单眼分辨率超过 4K,并且具有宽广的色彩和高动态范围。使得该头显具有影院级视频观看体验,可将屏幕缩放至超出房间的尺寸。
苹果表示,这一技术突破与定制的3P折反镜片相结合,可实现令人难以置信的锐度和清晰度,提供令人瞠目结舌的体验。有视力矫正需求的用户可加入蔡司光学镜片来确保视觉保真度和眼动追踪的准确性。
作为一款MR设备,Vision Pro是通过头显上的一个旋钮,来实现增强现实(VR)和全虚拟现实(VR)之间切换。其采用的是透视视频的方式,让用户看到真实世界。
苹果承诺,用户不会因为戴上头显而与周围的人隔绝,头显会使用一种名为 EyeSight 的系统来显示用户的眼睛。如果用户处于全 VR 模式,一个发光的屏幕会遮挡住他们的眼睛,以示他们不想被打扰。
同时,Vision Pro 也是“苹果的第一款 3D 相机”,通过配备的LiDAR扫描仪和深感相机,可以感知深度信息,配合全新的具有三维界面的操作系统 visionOS,能够创建用户周围环境的融合 3D 地图,使它能够在空间中准确呈现数字内容。
用户可以将常用、熟悉的App放置在空间中的任何位置,也可以将它们放大、缩小到适合的尺寸,包括从消息线程中把物体拉出来放到真实世界中。
比如,Vision Pro 上的 FaceTime 可以在视频通话时显示真人大小的人物,还优化了查看照片和视频的体验。
使用 Mac Virtual Display,用户还可以把Mac无线连接到 Vision Pro。
这相当于把Vision Pro 当成了一台巨大的、私密的便携式 4K 显示器。Mac与Vision Pro的连接也是非常简单:只需要打开Mac,对准屏幕即可。
处理器:M2+R1双芯驱动
在处理器方面,Vision Pro 采用了自研的M2+R1双芯片设计。
其中,性能强大的M2芯片主要负责运行visionOS,执行先进的计算机视觉算法等。
R1处理器则主要负责处理来自12个摄像头,5个其他类型传感器,6个麦克风的数据信号,加速对于传感器数据的处理,降低延迟,以保证内容呈现实时性,并降低主CPU的负载,降低功耗。
苹果表示,R1芯片可以在12毫秒内将图像传输到显示器,实现几乎无延迟的实时传输。
不过,需要指出的是,虽然有了R1芯片的协助,但是M2强大的性能依然将带来较高的功耗,这也是为何其采用了微型风扇进行散热。
人机交互:眼球追踪+手势+语音
在人机交互方面,为了提升用户体验,Vision Pro的交互抛弃了常见的手柄等方式,而是采用了眼球追踪、手势、语音等多种融合式交互方式。
由LED和红外摄像头组成的眼动追踪系统,可以将不可见光图案投射到每只眼睛上,能够判断用户当前注视的位置。
这使得用户无需使用手柄控制,只需通过注视来浏览应用图标,轻点选择,轻扫滚动,或者发出语音指令即可操控。
苹果强调,用户在显示屏上观看的区域和眼球追踪数据不会与苹果或网站共享。
相反,来自传感器和摄像头的数据在系统级别进行处理,因此应用程序也不一定需要“看到”用户或他们的周围环境来提供空间体验。
另外Vision Pro正面底部的一对高分辨率摄像头,可以每秒向显示器传输超过10 亿像素,提供精确的头部和手部跟踪以及实时3D映射,让Vision Pro从各种位置理解用户的手势控制指令。
提升安全性:引入虹膜识别Optic ID
作为一款相比iPhone更具有私密性的设备,苹果还为Vision Pro引入了Optic ID作为虹膜扫描系统来验证用户身份,并支持Apple Pay购买,以及其他安全相关的元素。
苹果解释说,其Optic ID使用不可见的LED光源来分析虹膜,然后将其与存储在Secure Enclave上的注册数据进行比较,这与Face ID和触控ID使用的过程类似。
并且光学ID数据是完全加密的,不会提供给其他应用程序,也不会离开设备本身,用户不必担心生物信息被泄露到网上。
visionOS
作为苹果首个面向MR设备的操作系统,visionOS 是建立在 macOS、iOS 和 iPadOS 数十年工程创新的基础上,从头开始设计的,以支持空间计算的低延迟要求。
苹果称这是一个革命性的操作系统,可提供强大的空间体验,可以利用用户周围的空间,在工作和家庭中释放新的机会。
visionOS集成核心操作系统、实时执行引擎、注视点渲染管线、3D引擎等,使得其具有全新的三维操作界面,使数字内容的外观和感觉存在于用户的物理世界中。
通过动态响应自然光和投射阴影,它可以帮助用户了解比例和距离。
为了实现用户导航和与空间内容的交互,Vision Pro 引入了一个全新的输入系统,由人的眼睛、手和声音控制。
用户只需查看应用程序、点击手指进行选择、轻弹手腕滚动或使用语音听写即可浏览应用程序。
在应用生态方面,visionOS除了拥有针对Vision Pro的各类应用之外,也兼容 iPad 和 iPhone 应用程序。
这意味着它将能够在应用生态上共享iPhone和iPad强大的应用生态体系,美兼容现有生态应用,包括浏览器、办公软件、社交软件等,能够很大程度上解决这类头显设备应用匮乏的难题。
续航:2小时
正如前面所介绍的,Vision Pro使用了外部电池供电,官方测试环境下续航时间为2小时。由于外部电池是便携可拆卸式设计,因此用户似乎也可以通过购买多块电池来提升续航时间。另外,Vision Pro还可以直接连接电源供电,实现不不间断的长时间使用。
定价:3499美元
苹果最终公布的Vision Pro定价为3499 美元,大幅超出了此前外界预测在3000 美元左右的定价。
上市时间将会是在2024年年初,会首先在美国市场推出,晚些时候才会在更多国家和地区推出。
小结:
作为近数十年来持续引领全球创新的消费电子企业,苹果的一举一动向来都代表着行业的风向。不论是iPod、iPhone、iPad、AirPods等,都成功开创了一个全新的产品品类,并且在市场上获得了巨大的成功。
特别是在以智能手机为代表的消费电子市场持续疲软、创新乏力的当下,苹果Vision Pro的推出,在给众多手机及智能终端厂商带来新的发展契机的同时,也给多年来持续在AR/VR市场苦苦挣扎的厂商带来了新的希望。
就苹果Vision Pro这款MR产品本身来说,笔者认为确实有很多惊艳的地方,给众多的AR/VR业者带来了新的思路,但是同样也依然存在着一些不足之处:
首先,Vision Pro在设计上实际采用了偏向VR设备的体验,虽然其提供了与外界交互的“AR”功能,但其并不是通过目前常见的AR眼镜所采用的通过显示屏透视或基于人眼之间观测的方式,而是选择之间通过屏幕显示的方式来展示(摄像头捕捉到的)外部现实场景中的信息。
这样做的好处在于可以极大的提升视觉效果和用户的体验,避免了现有一些AR眼镜存在的显示屏与现实场景相互干扰的问题。但是这种方式也意味着需要增加额外的摄像头组件,同时也会带来整体功耗的提升。
其次,Vision Pro率先采用了全新的Micro OLED显示屏,带来了单眼4K级别的分辨率,这将使得显示效果更加的细腻,不再会出现颗粒感(目前即使是单眼2K/2.5K级别的头显,仔细看依然是会有颗粒感),极大的提升沉浸感。
不过,目前micro-OLED还不够成熟,成本也是非常的高。
根据此前民生证券的研报分析,苹果Vision Pro采用的是由索尼独家定制的硅基Micro OLED定制屏幕模组,价格高达 280 至 320 美元,在Vision Pro的BOM 成本中的占比超过两成。
第三,众所周知,VR的体验实际上是模拟现实,同样Vision Pro的AR功能也是通过摄像头捕捉现实画面来实现。
因此,如果简单来看,Vision Pro实际更像是一款VR产品。而对于VR产品来说,低延迟是极为关键的一项指标。
Vision Pro在VR形态下,其需要通过传感器(主要是陀螺仪)采集用户在虚拟环境中的信息反馈(主要是头部运动),然后传输到图形引擎处理,然后驱动硬件渲染画面,再到左右两只眼睛对应的屏幕像素显示的切换,最后到人眼看到对应的画面,这中间经过的每一个步骤都会产生一个延时。而想达到所见即所得的实时反馈,就需要将延迟控制在极低的范围内。
同样,在AR形态下,Vision Pro需要通过摄像头采集现实环境中的图像数据,然后经过处理器处理(可能还需要叠加VR内容),再将其传输到显示屏上,这过程当中同样也存在延迟问题。人类生物研究表明,人类头部运动和视野回传的延迟须低于20ms,否则将产生视觉拖影感从而导致强烈眩晕。
为了解决这个问题,Vision Pro引入了R1芯片来专门处理摄像头等众多传感器的数据,这极大的加速了整个流程,降低了延迟。苹果公布的R1芯片可以在12ms内将图像传输到显示器,这远低于20ms的要求。
第四,要实现出色的显示效果、极低的延迟以及强大的MR功能,对于处理器性能的要求自然也是极高的。此前外界预期苹果考虑到功耗,Vision Pro将会采用M1处理器,但是显然,M1处理器的性能依然是没有达到苹果的要求,因此不得不采用了更为强大的M2处理器,并且还专门配备了全新的R1芯片来专门处理传感器信息。
另外,虽然苹果并未介绍Vision Pro所配备的Micro OLED显示屏的刷新率,但目前已有的Micro OLED屏的刷新率很多都可达到144Hz级别,配合M2+R1双芯的强大性能,有望带来超越120FPS输出和显示的需求。这也将进一步避免用户的眩晕感,提升用户沉浸式体验。
虽然M2+R1双芯方案达到了苹果的性能要求(R1的加入也在一定程度上降低了M2的负载,降低了M2的功耗),但是两颗芯片再加上一堆的摄像头和传感器也带来了整体功耗和成本的大幅提升,甚至M2都用上了风扇散热。如果长时间使用,是否会出现内部温度升高,造成用户出汗,导致镜片、显示屏出现水雾等问题?
第五,在人机交互方面,苹果将眼球追踪技术作为Vision Pro的主要交互方式可谓是非常的大胆。因为眼球的移动幅度通常都比较小,速度则比较快,要实现精准的操控,就需要对于眼球移动的追踪更加的精准和实时。同时也需要操作系统内部的操作界面做出对应的设计,以便于用户通过眼球来进行操控。
第六,对于广大的存在近视等问题人群来说,通常很多的VR产品并不能兼顾,只能是摘下眼镜、或者是直接戴着眼镜来体验,少数是通过有限的镜片焦距调节来解决这一问题,但是很难满足大部分存在视力问题的人群的需求。
苹果Vision Pro支持通过将蔡司生产的各类镜片通过磁吸贴附到显示屏上的方式非常的人性化,可能就是成本有点高。这方面,国产厂商可以借鉴一下,是不是又多了个赚钱的增值服务?
第七,作为一款混合现实产品,应用生态是极为关键的,它直接决定了产品的用户黏性。此前诸多的VR产品主要都是被应用观看视频、玩一些VR游戏,而AR产品则主要被应用于各类行业应用。这些都使得AR/VR缺少杀手级应用,以至于整个市场迟迟难以实现爆炸式增长。
对于苹果来说,其本身就拥有着强大的生态优势,3700多万的开发者加上App Store的分成模式,将有望刺激开发者针对性的开发更多的MR应用。如果Vision Pro的生态出现爆款应用,也将带动该类应用向其他MR OS端的移植,带动苹果以外的MR设备市场的需求。
第八,在安全性方面,目前大多数常规的AR/VR产品其实是没有这方面的需求的,因为很多用户仅仅是将其作为了一款娱乐设备或初级的协作工具,用户黏性并不高,因此不太会将更多个人私密信息存储在该设备上,再加上这些设备基本都不支持具有金融级安全要求的支付功能(即使有一些需要支付的场景,也需要借助输入账号密码、或者借助手机支付,影响用户体验),这也意味着这类产品很难为应用开发者带来收益,这些都在一定程度上限制了AR/VR生态的发展。
而苹果对于Vision Pro的定位是“空间计算”产品,即这是一款具有空间能力的娱乐、社交和生产力工具。比如前面介绍的,用户可以把Mac无线连接到 Vision Pro,将Vision Pro变成一台巨大的、私密的便携式 4K 显示器。同时Vision Pro还引入了虹膜识别Optic ID技术,使得MR应用生态的支付环节更为的顺畅和安全。
不过,笔者担心的是,如果只是通过眼球追踪来进行操控+虹膜识别的话,是否会存在误支付的情况发生。比如在眼球注视下,一个应用误触发了支付按钮,然后可能就立马调用虹膜识别确认支付,这个过程中用户可能还没反应过来撤销就完成了支付。
第九,虽然Vision Pro性能和功能都很强大,但是功耗问题也极大的制约了其续航能力。外部电池仅2小时的续航时间也仅仅只能供看完一部电影。
如果使用Vision Pro来进行移动办公,可能还是会存在问题。虽然,作为一款头显产品来说,长时间使用对于用户的用眼健康可能会有影响,2小时时间使用后,休息一下间隔一段时间也是应该的。但是,这并不意味着外部电池2小时的续航就够了。
或许,苹果希望用户通过购买多块电池来提升续航时间,这可能也确实是一个“卖配件”的生意。
第十,苹果Vision Pro定价高达3499美元,高于之前预期的3000美元左右。虽然Vision Pro确实是目前MR行业当中的一款标杆性产品,但是如此之高的定价,也将极大的抑制市场的需求,使得其无法成为像iPhone和iPad一样的大品类。据此前外媒的报道,苹果预计第一年将销售90万台。
第十一,苹果Vision Pro高昂的定价,也给国产MR厂商带来一些机会,就看有没厂商能够能够借鉴Vision Pro,推出一款体验能够与之接近,性价比更高的产品。而国内厂商想要打造出具有更高性价比的“Vision Pro”,就需要配套的供应链能够快速跟进上来。
根据此前民生证券的分析来看,Vision Pro的BOM成本约1600美元。
核心的Micro OLED 定制屏幕模组是由索尼独家供应,价格高达 280 至 320 美元;外部的OLED显示器由LGD供应,成本约30-50美元。
索尼还提供的14个 CMOS 图像传感器模组,成本约 160 美元;苹果自研的M2+R1芯片成本可能为 120 至 140 美元;
基于反射偏振的折叠光路(Pancake)的镜片由扬明光学、玉晶光电、大立光供应,成本约70-80美元;Pancake透镜贴合由鸿海旗下GIS供应,成本约13-15美元;Pancake透镜检测是杰普特;摄像头的镜头由舜宇供应,成本约70-80美元,摄像头模组由高伟电子供应,成本约120-150美元;多个传感器由稳懋制造供应,成本约80-90美元;
瞳距调节由兆威机电供应,成本约30-35美元;声学方面由歌尔股份供应,成本约16-18美元;麦克风由美特声学供应,成本约21-22美元;电池由德赛电池、欣旺达供应,成本约22-25美元,金属中框由长盈精密供应,成本约85-95美元;
外观件由富士康供应,成本约20美元;FPC+PCB由鹏鼎控股供应,成本约40-45美元;组装方面由和硕和立讯负责,整体组装成本约110至120美元。
中金证券高级分析师彭虎团队此前发布的一份分析报告则认为,Vision Pro的BOM成本约为1300美元,相关组件供应商及成本分析与民生证券的分析虽有不同,但也大致相近。
整体来看,除了核心Micro OLED 定制屏幕模组是由索尼独家供应、以及苹果自研的两颗处理器芯片之外,其他的供应链厂商基本都是中国大陆厂商和部分中国厂商。这也意味着对于国内的MR厂商来说,供应链方面,除了Micro OLED和核心处理器之外,并不存在大的难题。
从硅基Micro OLED供应方面来看,索尼是目前的行业龙头。国内厂商方面,视涯科技具有一定的领先优势,其12吋的Micro OLED屏幕已经被华为等消费电子厂商应用。并且,在今年的SID 2023上展示了其最新款的1.3英寸Micro OLED显示屏,分辨率达到了3.5K,刷新率最高也达到了120Hz,原理基于串联白光OLED(Tandem OLED)+微透镜技术,宣称可实现100%的DCI-P3色彩空间覆盖率,以及4000尼特亮度。虽然这款屏幕在分辨率上低于索尼的4K Micro OLED,但差距较小。
处理器方面,目前除了苹果之外,MR领域处理器能力最强的应该是高通骁龙XR2 Plus,此前已经由Meta Quest Pro全球首发。但是这款芯片的性能还是难以与苹果的双芯方案匹敌。可能需要等待高通推出新一代的XR芯片。当然国内的瑞芯微等厂商也有性能比较强的AP产品,但对于MR产品来说,还是需要有定制化的芯片才会有比较好的体验。但是由于目前这类产品市场量级较小,也使得芯片厂商不太愿意在这个领域进行投入,更何况目前这个市场已经是被高通所统治,因此即使有一些需求,国产芯片厂商更多也是基于原有的芯片方案来提供一些针对性的优化。
不过,由于苹果的Vision Pro需要等到明年初才会发售,因此这也给了国产厂商半年多的时间来解决相应的问题或进行针对性的布局。预计明年MR市场才会真正热闹起来。