PICO 自研的多模态追踪算法方案 Centaur,无极4的意思将「光学追踪算法」与「CV 模态裸手追踪算法」融合,并率先实现了融合算法的产品化,解决了小型化手柄在遮挡情况下识别难的问题。同时,无极4平台好吗手柄+裸手的融合式方案也为 XR 交互提供了新的思路。

Apple Vision Pro 的无手柄设计引发了大量讨论,它挑战了我们对 XR 用户体验的传统认知,提供了一种全新的、更为直观的交互方式。然而,尽管这种去手柄化的趋势在某些场景下可能有其独特的优势,但手柄在 XR 头显的交互方式中的重要性仍然不容忽视。

手柄作为一种成熟且被广泛接受的交互工具,在需要精确输入或复杂操作的情况下,例如一些游戏或绘画、手术模拟等专业训练中,通常可以提供更好的体验。此外,手柄能够为用户提供触觉反馈,这是目前无手柄方案难以实现的,而触觉对于创建沉浸式体验又至关重要。

不过,传统的手柄往往体积较大,重量较重,长时间使用可能会引起用户的疲劳。因此,许多 XR 厂商一直致力于研发更轻、更小巧的手柄设备,以提升用户体验。

但是,轻量化手柄的研发面临多个难点,其中一项主要的挑战便是高精度追踪的问题:首先,小型化设备限制了传感器的大小和数量;其次,由于手柄小,用户可能会更频繁地做出快速和复杂的手势,这也对追踪系统的稳定性和准确性提出了更高的要求;设备的小型化还可能会限制摄像头的视场角,使得手柄在一些极端姿态下无法被有效追踪。此外,高精度的追踪通常需要进行更多的计算,因此功耗管理也是小型化手柄研发中的一个重要挑战。

融合光学追踪与裸手识别算法,实现遮挡情况下稳定追踪

基于 AI 方面的积累,PICO 创新性地提出了一种多模态的手柄追踪解决方案,成功在小型化手柄上实现了稳定的高精度追踪。

「我们在人手握姿的实时估计方法、多模态下的数据融合方法,以及基于 IMU(Inertial Measurement Unit,惯性测量单元)的高精度预测方法等方面,取得了一些突破创新,」PICO 研发团队表示:「提出了一种多模态的手持控制器追踪方法,能够提供更广的追踪范围,减小追踪盲区,为用户带来更好的体验。」

PICO 此次自研的 Centaur多模态追踪算法,将光学追踪算法与 CV 模态下的手柄追踪算法融合,其中光学追踪算法通过识别手柄中 LED 灯发射出的红外光(IR),实现对手柄的定位追踪;CV 模态手柄追踪算法,能够在手柄上的 LED 灯被遮挡时,也即在极少 IR 或没有 IR 的情况下,通过追踪裸手的特征,准确还原出手柄控制器的 6DoF 信息,从而保持对手柄的稳定追踪。