一种基于姿态追踪的显示方法、装置和虚拟现实设备制造方法及图纸

本发明专利技术公开一种基于姿态追踪的显示方法、装置和虚拟现实设备，为能够易于实施且可实现大范围、高精度的姿态追踪，提升虚拟现实设备的显示效果而设计。所述基于姿态追踪的显示方法，应用于装配有双摄像头的虚拟现实设备，所述方法包括：获取所述双摄像头采集的真实场景影像信息，所述真实场景影像信息随所述设备佩戴者的姿态变化而变化；根据所述双摄像头采集的真实场景影像信息，确定所述设备佩戴者的当前姿态信息；根据所述当前姿态信息，获取与所述设备佩戴者的当前姿态对应的显示画面，并将所述显示画面提供给所述设备佩戴者。本发明专利技术可应用在虚拟现实、增强现实和机器视觉等领域。

【技术实现步骤摘要】
一种基于姿态追踪的显示方法、装置和虚拟现实设备
本专利技术涉及虚拟现实(VirtualReality，简称VR)、增强现实(AugmentedReality，简称AR)、机器视觉等
，尤其涉及一种基于姿态追踪的显示方法、装置和虚拟现实设备。
技术介绍
VR技术是主要通过综合利用计算机图形系统和各种现实及控制等接口设备，在计算机上生成的、可交互的三维环境中提供沉浸感觉的技术。VR设备需要根据用户的姿态来判断显示的内容是否符合人类的视觉习惯，根据用户的姿态来改变显示内容，来带给用户沉浸感。目前，简易的VR设备通常只能利用姿态传感器(陀螺仪、地磁计、加速计等)提供旋转运动信息，更精密的VR/AR设备通过外设来辅助提供精确的姿态跟踪信息，比如：1、通过外置摄像头追踪头盔表面的红外传感器；2、采用激光追踪定位技术，通过激光传感器识别头盔上的光敏传感器。以上两种技术各有优缺点，其中方法1实现简单、计算量小，但是受限于外置摄像头的视场角，容易出现跟踪丢失。而方法2可实现大范围的追踪，精度高，但是外设复杂成本高，不便于普及。
技术实现思路
本专利技术的目的旨在提供一种基于姿态追踪的显示方法、装置和VR设备，易于实施且可实现大范围、高精度的姿态追踪，提升VR设备的显示效果，有效增进佩戴使用VR设备的用户的沉浸感，提升用户体验。第一方面，本专利技术实施例提供了一种基于姿态追踪的显示方法，应用于VR设备，所述VR设备上装配有双摄像头，所述双摄像头能够采集设备佩戴者正面的真实场景影像，所述方法包括：获取所述双摄像头采集的真实场景影像信息，所述真实场景影像信息随所述设备佩戴者的姿态变化而变化；根据所述双摄像头采集的真实场景影像信息，确定所述设备佩戴者的当前姿态信息；根据所述当前姿态信息，获取与所述设备佩戴者的当前姿态对应的显示画面，并将所述显示画面提供给所述设备佩戴者。结合第一方面，在第一方面的第一种实施方式中：所述VR设备上还装配有姿态传感器，所述姿态传感器用于感测所述设备佩戴者的旋转运动信息；所述根据所述双摄像头采集的真实场景影像信息，确定所述设备佩戴者的当前姿态信息包括：根据所述双摄像头采集的真实场景影像信息和所述姿态传感器感测的所述设备佩戴者的旋转运动信息，确定所述设备佩戴者的当前姿态信息。结合第一方面的第一种实施方式，在第一方面的第二种实施方式中：所述根据所述双摄像头采集的真实场景影像信息和所述姿态传感器感测的所述设备佩戴者的旋转运动信息，确定所述设备佩戴者的当前姿态信息包括：根据所述双摄像头采集的真实场景影像信息，确定所述设备佩戴者的平移运动信息；根据所述设备佩戴者的平移运动信息和所述设备佩戴者的旋转运动信息，确定所述设备佩戴者的当前姿态信息。结合第一方面的第二种实施方式，在第一方面的第三种实施方式中：所述根据所述双摄像头采集的真实场景影像信息，确定所述设备佩戴者的平移运动信息包括：提取所述双摄像头采集当前帧的两幅真实场景影像中的特征点；标记所述当前帧的两幅真实场景影像中的特征点中的同名点并确定所述同名点的深度信息；根据所述当前帧的真实场景影像和所述当前帧的前一帧的真实场景影像，确定所述同名点在真实场景影像中发生的相对平移距离；根据所述同名点的深度信息和所述同名点的相对平移距离，确定出所述同名点的实际平移距离；根据所述同名点的实际平移距离，确定所述设备佩戴者的实际平移距离。结合第一方面的第三种实施方式，在第一方面的第四种实施方式中：所述根据所述同名点的实际平移距离，确定所述设备佩戴者的实际平移距离包括：对所有所述同名点的实际平移距离进行平均值计算，将计算后得到的结果确定为所述设备佩戴者的实际平移距离。结合第一方面或第一方面的第一种至第四种实施方式中的任意一种实施方式，在第一方面的第五种实施方式中：所述双摄像头包括模拟人眼的左摄像头和右摄像头；所述显示画面包括VR场景画面；所述获取所述双摄像头采集的真实场景影像信息，具体包括：获取所述模拟人眼的双摄像头按照所述设备佩戴者的视线方向采集的真实场景影像信息；在所述获取与所述设备佩戴者的当前姿态对应的显示画面后，所述将所述显示画面提供给所述设备佩戴者前，所述方法还包括：根据所述真实场景影像信息和所述VR场景画面，生成融合场景画面；所述将所述显示画面提供给所述设备佩戴者包括：将所述融合场景画面提供给所述设备佩戴者。结合第一方面的第五种实施方式，在第一方面的第六种实施方式中：根据所述模拟人眼的双摄像头采集的真实场景影像信息，获取增强现实场景画面；接收场景呈现切换指令；根据所述场景呈现切换指令，切换所述融合场景画面、增强现实场景或VR场景画面。结合第一方面的第六种实施方式，在第一方面的第七种实施方式中：所述场景呈现切换指令包括：按键切换指令、手势切换指令或距离感应切换指令。结合第一方面的第五种实施方式，在第一方面的第八种实施方式中：所述真实场景影像信息包括左摄像头拍摄的左图及右摄像头拍摄的右图；所述VR场景画面包括虚拟场景的左视图及右视图；所述根据所述真实场景影像信息和所述VR场景画面，生成融合场景画面包括：将所述左摄像头拍摄的左图与虚拟场景的左视图叠加，合成融合场景左图；将所述右摄像头拍摄的右图与虚拟场景的右视图叠加，合成融合场景右图；根据所述融合场景左图及右图，生成融合场景。结合第一方面的第一种实施方式，在第一方面的第九种实施方式中：所述姿态传感器包括陀螺仪、地磁计、加速计中的至少一种。第二方面，本专利技术实施例提供了一种基于姿态追踪的显示装置，应用于VR设备，所述VR设备上装配有双摄像头，所述双摄像头能够采集设备佩戴者正面的真实场景影像，所述装置包括：真实场景影像获取单元，用于获取所述双摄像头采集的真实场景影像信息，所述真实场景影像信息随所述设备佩戴者的姿态变化而变化；姿态确定单元，用于根据所述双摄像头采集的真实场景影像信息，确定所述设备佩戴者的当前姿态信息；显示单元，用于根据所述当前姿态信息，获取与所述设备佩戴者的当前姿态对应的显示画面，并将所述显示画面提供给所述设备佩戴者。结合第二方面，在第二方面的第一种实施方式中：所述VR设备上还装配有姿态传感器，所述姿态传感器用于感测所述设备佩戴者的旋转运动信息；所述姿态确定单元具体用于：根据所述双摄像头采集的真实场景影像信息和所述姿态传感器感测的所述设备佩戴者的旋转运动信息，确定所述设备佩戴者的当前姿态信息。结合第二方面的第一种实施方式，在第二方面的第二种实施方式中：所述姿态确定单元包括：运动信息确定模块，用于根据所述双摄像头采集的真实场景影像信息，确定所述设备佩戴者的平移运动信息；姿态信息确定模块，用于根据所述设备佩戴者的平移运动信息和所述设备佩戴者的旋转运动信息，确定所述设备佩戴者的当前姿态信息。结合第二方面的第二种实施方式，在第二方面的第三种实施方式中：所述运动信息确定模块用于：提取所述双摄像头采集当前帧的两幅真实场景影像中的特征点；标记所述当前帧的两幅真实场景影像中的特征点中的同名点并确定所述同名点的深度信息；根据所述当前帧的真实场景影像和所述当前帧的前一帧的真实场景影像，确定所述同名点在真实场景影像中发生的相对平移距离；根据所述同名点的深度信息和所述同名点的相对平移距离，确定出所述同名点的实际平移距离；根据所述同名点的实本文档来自技高网...

【技术保护点】
一种基于姿态追踪的显示方法，应用于虚拟现实设备，其特征在于，所述虚拟现实设备上装配有双摄像头，所述双摄像头能够采集设备佩戴者正面的真实场景影像；所述方法包括：获取所述双摄像头采集的真实场景影像信息，所述真实场景影像信息随所述设备佩戴者的姿态变化而变化；根据所述双摄像头采集的真实场景影像信息，确定所述设备佩戴者的当前姿态信息；根据所述当前姿态信息，获取与所述设备佩戴者的当前姿态对应的显示画面，并将所述显示画面提供给所述设备佩戴者。

【技术特征摘要】
1.一种基于姿态追踪的显示方法，应用于虚拟现实设备，其特征在于，所述虚拟现实设备上装配有双摄像头，所述双摄像头能够采集设备佩戴者正面的真实场景影像；所述方法包括：获取所述双摄像头采集的真实场景影像信息，所述真实场景影像信息随所述设备佩戴者的姿态变化而变化；根据所述双摄像头采集的真实场景影像信息，确定所述设备佩戴者的当前姿态信息；根据所述当前姿态信息，获取与所述设备佩戴者的当前姿态对应的显示画面，并将所述显示画面提供给所述设备佩戴者。2.根据权利要求1所述的方法，其特征在于，所述虚拟现实设备上还装配有姿态传感器，所述姿态传感器用于感测所述设备佩戴者的旋转运动信息；所述根据所述双摄像头采集的真实场景影像信息，确定所述设备佩戴者的当前姿态信息包括：根据所述双摄像头采集的真实场景影像信息和所述姿态传感器感测的所述设备佩戴者的旋转运动信息，确定所述设备佩戴者的当前姿态信息。3.根据权利要求2所述的方法，其特征在于，所述根据所述双摄像头采集的真实场景影像信息和所述姿态传感器感测的所述设备佩戴者的旋转运动信息，确定所述设备佩戴者的当前姿态信息包括：根据所述双摄像头采集的真实场景影像信息，确定所述设备佩戴者的平移运动信息；根据所述设备佩戴者的平移运动信息和所述设备佩戴者的旋转运动信息，确定所述设备佩戴者的当前姿态信息。4.根据权利要求3所述的方法，其特征在于，所述根据所述双摄像头采集的真实场景影像信息，确定所述设备佩戴者的平移运动信息包括：提取所述双摄像头采集当前帧的两幅真实场景影像中的特征点；标记所述当前帧的两幅真实场景影像中的特征点中的同名点并确定所述同名点的深度信息；根据所述当前帧的真实场景影像和所述当前帧的前一帧的真实场景影像，确定所述同名点在真实场景影像中发生的相对平移距离；根据所述同名点的深度信息和所述同名点的相对平移距离，确定出所述同名点的实际平移距离；根据所述同名点的实际平移距离，确定所述设备佩戴者的实际平移距离。5.根据权利要求4所述的方法，其特征在于，所述根据所述同名点的实际平移距离，确定所述设备佩戴者的实际平移距离包括：对所有所述同名点的实际平移距离进行平均值计算，将计算后得到的结果确定为所述设备佩戴者的实际平移距离。6.根据权利要求1至5任一项所述的方法，其特征在于，所述双摄像头包括模拟人眼的左摄像头和右摄像头；所述显示画面包括虚拟现实场景画面；所述获取所述双摄像头采集的真实场景影像信息，具体包括：获取所述模拟人眼的双摄像头按照所述设备佩戴者的视线方向采集的真实场景影像信息；在所述获取与所述设备佩戴者的当前姿态对应的显示画面后，所述将所述显示画面提供给所述设备佩戴者前，所述方法还包括：根据所述真实场景影像信息和所述虚拟现实场景画面，生成融合场景画面；所述将所述显示画面提供给所述设备佩戴者包括：将所述融合场景画面提供给所述设备佩戴者。7.根据权利要求6所述的方法，其特征在于，所述方法还包括：根据所述模拟人眼的双摄像头采集的真实场景影像信息，获取增强现实场景画面；接收场景呈现切换指令；根据所述场景呈现切换指令，切换所述融合场景画面、增强现实场景或虚拟现实场景画面。8.根据权利要求7所述的方法，其特征在于，所述场景呈现切换指令包括：按键切换指令、手势切换指令或距离感应切换指令。9.根据权利要求6所述的方法，其特征在于，所述真实场景影像信息包括左摄像头拍摄的左图及右摄像头拍摄的右图；所述虚拟现实场景画面包括虚拟场景的左视图及右视图；所述根据所述真实场景影像信息和所述虚拟现实场景画面，生成融合场景画面包括：将所述左摄像头拍摄的左图与虚拟场景的左视图叠加，合成融合场景左图；将所述右摄像头拍摄的右图与虚拟场景的右视图叠加，合成融合场景右图；根据所述融合场景左图及右图，生成融合场景。10.根据权利要求2所述的方法，其特征在于，所述姿态传感器包括陀螺仪、地磁计、加速计中的至少一种。11.一种基于姿态追踪的显示装置，应用于虚拟现实设备，其特征在于，所述虚拟现实设备上装配有双摄像头，所述双摄像头能够采集设备佩戴者正面的真实场景影像；所述装置包括：真实场景影像获取单元，用于获取所述双摄像头采集的真实场景影像信息，所述真实场景影像信息随所述设备佩戴者的姿态变化而变化；姿态确定单元，用于根据所述双摄像头采集的真实场景影像信息，确定所述设备佩戴者的当前姿态信息；显示单元，用于根据所述当前姿态信息，获取与所述设备佩戴者的当前姿态对应的显示画面，并将所述显示画面提供给所述设备佩戴者。12.根据权利要求11所述的装置，其特征在于，所述虚拟现实设备上还装配有姿态传感器，所述姿态传感器用于感测所述设备佩戴者的旋转运动信息；所述姿态确定单元具体用于：根据所述双摄像头采集的真实场景影像信息和所述姿态传感器感测的所述设备佩戴者的旋转运动信息，确定所述设备佩戴者的当前姿态信息。13.根据权利要求12所述的装置，其特征在于，所述姿态确定单元包括：运动信息确定模块，用于根据所述双摄像头采集的真实场...

【专利技术属性】
技术研发人员：宋磊，刘江，
申请(专利权)人：深圳超多维光电子有限公司，
类型：发明
国别省市：广东,44