一种交互方法、设备及系统技术方案

技术编号:19424385 阅读:21 留言:0更新日期:2018-11-14 10:20
本发明专利技术涉及虚拟现实技术领域,具体涉及一种交互方法及相关设备及系统。该方法包括头显通过相机传感器采集控制器上的特征点,所述特征点用于指示所述控制器的对应位置;所述头显接收控制器采集的所述控制器的状态信息;所述头显根据所述特征点和所述状态信息确定所述控制器的当前状态。本发明专利技术实施例中,头显采用内置的相机传感器采集控制器的特征点,并结合控制器自身采集的位置信息和旋转信息来确定控制器的当前状态,从而实现控制器的6‑DoF追踪,从而实现在不影视觉增强设备的便携性的情形下,大大提高交互性能,从而提升沉浸度和易用性。

【技术实现步骤摘要】
一种交互方法、设备及系统
本专利技术涉及VR、AR和MR
,具体涉及一种交互方法及相关设备及系统。
技术介绍
在二维屏幕交互中,几乎所有控制命令都可以抽象为按键动作。而对于一些视觉增强
的输入设备来说,这些视觉增强技术如虚拟现实(VR,VirtualReality)、增强现实(AR,AugmentedReality)、介导现实(MR,MediatedReality)等,这些技术,如VR以纯粹的虚拟界面模拟现实为基础,如AR和MR以现实以及虚拟相结合为基础,因此,这类视觉增强技术更注重的是自然交互,也就是想实现我们在现实世界里怎么跟外界交互,在这些技术里也按照同样的方式交互,使得沉浸感更高,效率高,学习成本低。但是在现实世界中,人与外界交互的方式是很复杂的。在这些视觉增强
,输入交互是不可或缺的组成部分,输入交互捕捉用户的动作,如头部,手部甚至全身,使得用户可以与虚拟世界里的环境和物体进行交互,可以极大的增加用户的沉浸感,从而可以扩展出更多的应用。以VR领域为例,对于个人计算机(PC,PersonalComputer)或主机端头显都标配了六自由度(6-DoF,Sixdegreesoffreedom)的头部跟踪和控制器跟踪,如OculusRift头显配有OculusTouch控制器,HTCVive头显配有Lighthouse追踪器,SonyPS头显则配有PSCamera传感器和PSMove控制器;对于移动头显,如GoogleCardboard头显,三星Gear头显或类似的VR盒子,VR一体机都欠缺输入交互设备,较少的移动头显会配备控制器,如GoogleDaydream配置三自由度(3-DoF,Threedegreesoffreedom)的Daydream控制器。然而对于移动端来说,没有追踪系统或者3-DoF追踪系统的运动追踪精确性较差,会使得交互不精确且复杂,大大降低VR的沉浸度和易用性,而PC上使用的6-DoF追踪系统则需要外置的设备进行配合,在移动端场景下使用不便,同时,目前也不存在可以同时兼容6-DoF头部位置跟踪和6-DoF控制器跟踪的系统。
技术实现思路
本专利技术实施例提供了一种交互方法及相关设备及系统来解决目前的视觉增强
无运动追踪或运动追踪不精确导致的交互欠佳而影响沉浸度和易用性的问题。本专利技术实施例第一方面提供一种交互方法包括:虚拟现实头显通过相机传感器采集控制器上的特征点,所述特征点用于指示所述控制器的对应位置;所述头显接收控制器采集的所述控制器的状态信息;所述头显根据所述特征点和所述状态信息确定所述控制器的当前状态。可选的,所述状态信息包括所述控制器的位置信息和旋转信息。可选的,所述头显根据所述特征点和所述状态信息确定所述控制器的当前状态包括:所述头显通过识别所述特征点确定所述特征点的位置信息;所述头显通过所述特征点的位置信息和所述控制器的位置信息确定所述控制器的当前位置;所述头显根据所述控制器的当前位置和所述控制器的旋转信息确定所述控制器的当前状态。可选的,所述头显接收控制器采集的所述控制器的状态信息包括:本专利技术实施例第二方面还提供一种交互方法,包括:头显通过无线传输接收所述控制器采集的所述控制器的第一状态信息。可选的,所述头显接收控制器采集的所述控制器的状态信息包括:所述头显接收控制器通过惯性测量单元(IMU,Inertialmeasurementunit)传感器采集的所述控制器的状态信息。可选的,对所述相机传感器和所述IMU传感器进行时间轴和坐标轴同步。可选的,所述头显通过外界环境图像确定所述头显的第一状态信息;所述头显通过IMU传感器采集自身的第二状态信息;所述头显通过所述第一状态信息和所述第二状态信息确定所述头显的位置。可选的,所述头显通过外界环境图像确定所述头显的第一状态信息包括:所述头显通过相机传感器采集至少两个不同时刻的外界环境图像;所述头显通过所述至少两个不同时刻的外界环境图像确定所述头显的第一状态信息。可选的,所述第一状态信息包括第一位置信息和第一旋转信息,所述第二状态信息包括第二位置信息和第二旋转信息。可选的,所述方法还包括:对所述相机传感器和所述IMU传感器进行时间轴和坐标轴同步。本专利技术第三方面还提供一种交互方法,包括:控制器显示位于所述控制器上的特征点;所述控制器通过IMU传感器采集自身的状态信息;所述控制器将所述状态信息发送至头显。可选的,所述状态信息包括位置信息和旋转信息。可选的,该方法还包括:对所述IMU传感器与所述头显的相机传感器进行时间轴和坐标轴同步。本专利技术实施例第四方面还提供一种头显,包括头显主体,所述头显还包括:设于所述头显主体上的相机传感器,用于采集控制器上的特征点,所述特征点用于指示所述控制器的对应位置;设于所述头显主体上的收发模块,用于接收控制器采集的所述控制器的状态信息;设于所述头显主体上的处理模块,用于根据所述特征点和所述状态信息确定所述控制器的当前状态,所述相机传感器和收发模块均与所述处理模块相连接。可选的,所述头显还包括:设于所述头显主体上的IMU传感器,用于采集所述头显的状态信息,所述状态信息包括位置信息和旋转信息。可选的,所述处理模块具体用于:通过识别所述特征点确定所述特征点的位置信息;通过所述特征点的位置信息和所述控制器的位置信息确定所述控制器的当前位置;根据所述控制器的当前位置和所述控制器的旋转信息确定所述控制器的当前状态。可选的,所述收发模块具体用于:通过无线传输接收所述控制器采集的所述控制器的第一状态信息。可选的,所述相机传感器还用于与所述控制器内的IMU传感器进行时间轴和坐标轴同步。可选的,所述相机传感器为双目相机传感器,所述处理模块还用于通过相机传感器采集的外界环境图像确定所述头显的第一状态信息;所述IMU传感器用于采集的自身的第二状态信息;所述处理模块还用于通过所述第一状态信息和所述第二状态信息确定所述头显的当前状态。可选的,所述相机传感器具体用于采集至少两个不同时刻的外界环境图像;所述处理模块具体用于通过所述至少两个不同时刻的外界环境图像确定所述头显的第一状态信息。可选的,所述相机传感器还用于与所述头显上的IMU传感器进行时间轴和坐标轴同步。本专利技术实施例第五方面还提供一种控制器,其特征在于,所述控制器包括:发光二极管(LED,LightEmittingDiode)光点,用于显示位于特征点;IMU传感器,用于采集自身的状态信息;收发处理模块,用于将所述状态信息发送至头显,所述LED光点和所述IMU传感器均与所述收发处理模块相连接。可选的,所述状态信息包括位置信息和旋转信息。可选的,所述IMU传感器还用于与所述头显的相机传感器进行时间轴和坐标轴同步。可选的,所述控制器还设有与所述收发处理模块连接的输入设备。本专利技术实施例第六方面还提供一种的交互系统,包括:如第三方面所述的头显和至少一个如第四方面所述的控制器。从以上技术方案可以看出,本专利技术实施例具有以下优点:本专利技术实施例中,头显采用内置的相机传感器采集控制器的特征点,并结合控制器自身采集的位置信息和旋转信息来确定控制器的当前状态,从而实现控制器的6-DoF追踪,对于头显自身则首先通过IMU传感器采集自身的位置信息和旋转信息,结合内置的相机传感器本文档来自技高网
...

【技术保护点】
1.一种交互方法,其特征在于,包括:头显通过相机传感器采集控制器上的特征点,所述特征点用于指示所述控制器的对应位置;所述头显接收控制器采集的所述控制器的状态信息;所述头显根据所述特征点和所述状态信息确定所述控制器的当前状态。

【技术特征摘要】
1.一种交互方法,其特征在于,包括:头显通过相机传感器采集控制器上的特征点,所述特征点用于指示所述控制器的对应位置;所述头显接收控制器采集的所述控制器的状态信息;所述头显根据所述特征点和所述状态信息确定所述控制器的当前状态。2.根据权利要求1所述的交互方法,其特征在于,所述状态信息包括所述控制器的位置信息和旋转信息,所述头显根据所述特征点和所述状态信息确定所述控制器的当前状态包括:所述头显通过识别所述特征点确定所述特征点的位置信息;所述头显通过所述特征点的位置信息和所述控制器的位置信息确定所述控制器的当前位置;所述头显根据所述控制器的当前位置和所述控制器的旋转信息确定所述控制器的当前状态。3.一种交互方法,其特征在于,包括:头显通过外界环境图像确定所述头显的第一状态信息;所述头显通过惯性测量单元IMU传感器采集自身的第二状态信息;所述头显通过所述第一状态信息和所述第二状态信息确定所述头显的位置。4.根据权利要求3所述的交互方法,其特征在于,所述第一状态信息包括第一位置信息和第一旋转信息,所述第二状态信息包括第二位置信息和第二旋转信息,所述头显通过外界环境图像确定所述头显的第一状态信息包括:所述头显通过相机传感器采集至少两个不同时刻的外界环境图像;所述头显通过所述至少两个不同时刻的外界环境图像确定所述头显的第一状态信息。5.根据权利要求3或4所述的基于虚拟现实的交互方法,其特征在于,所述方法还包括:对所述相机传感器和所述IMU传感器进行时间轴和坐标轴同步。6.一种交互方法,其特征在于,包括:控制器显示位于所述控制器上的特征点;所述控制器通过IMU传感器采集自身的位置信息和旋转信息;所述控制器将所述状态信息发送至头显。7.根据权利要求6所述的交互方法,其特征在于,对所述IMU传感器与所述头显的相机传感器进行时间轴和坐标轴同步。8.一种头显,其特征在于,包括头显主体,所述头显还包括:设于所述头显主体上的相机传感器,用于采集控制器上的特征点,所述特征点用于指示所述控制器的对应位置;设于所述头显主体上的收发模块,用于接收控制器采集的所述控制器的状态信息;设于所述头显主体上的处理模块,用于根据所述特...

【专利技术属性】
技术研发人员:戴景文贺杰
申请(专利权)人:广东虚拟现实科技有限公司
类型:发明
国别省市:广东,44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1