一种应用的运行控制方法、装置和虚拟现实设备制造方法及图纸

本发明专利技术公开一种应用的运行控制方法、装置和虚拟现实设备，为能够提供一种新的应用操控方式，使用户在头戴显示器的使用环境下能够方便自由地操控应用程序而设计。所述应用的运行控制方法，应用于装配有双摄像头的虚拟现实设备，所述方法包括：获取所述双摄像头采集的真实场景影像信息，所述真实场景影像信息随所述设备佩戴者的运动而改变；根据所述双摄像头采集的真实场景影像信息，确定所述设备佩戴者的操控行为；根据所述设备佩戴者的操控行为，对所述应用进行控制以使所述应用执行所述操控行为对应的功能。本发明专利技术可应用在虚拟现实、增强现实和机器视觉等领域。

Operation control method, device and virtual reality device for application

Control method, device and virtual reality device, the invention discloses a running application, and provides a new way to control application, users can easily and freely control applications in the design of head mounted display environment. Operation control method of the application and application in virtual reality equipment equipped with two cameras, the method includes real scene image information obtained by the double camera, the real scene image information with the device the wearer's movement and change; according to the real scene image information of the dual camera sure, the manipulation of the wearer's equipment; the equipment according to the manipulation of the wearer, to control the application so that the application executes the corresponding manipulation function. The invention can be applied to the fields of virtual reality, augmented reality and machine vision.

【技术实现步骤摘要】
一种应用的运行控制方法、装置和虚拟现实设备
本专利技术涉及虚拟现实(VirtualReality，简称VR)
，尤其涉及一种应用的运行控制方法、装置和虚拟现实设备。
技术介绍
VR技术是主要通过综合利用计算机图形系统和各种现实及控制等接口设备，在计算机上生成的、可交互的三维环境中提供沉浸感觉的技术。目前，用户在使用VR设备时，通常处于头戴显示器的使用环境下，即人眼处于显示封闭状态，亦即除了显示器显示的内容，无法看到其他东西。因此，用户无法像平时使用手机等智能设备一样，通过可视范围内的触摸屏或者外接设备等，与智能设备上的应用程序进行交互从而对应用进行正常的操控，会给操控带来诸多不便之处。因此，在头戴显示器这种使用环境下，需要一种能够代替触摸屏或者外接设备的操控方式来对应用程序进行操控，使用户在头戴显示器等人眼受限的使用环境下，可以方便自由地操控应用程序，提供给用户更加舒适便利的交互体验。
技术实现思路
本专利技术的目的旨在提供一种应用的运行控制方法、装置和虚拟现实设备，提供了一种新的应用操控方式，能够使用户在头戴显示器等人眼可视范围受限的使用环境下方便自由地操控应用程序。第一方面，本专利技术实施例提供了一种应用的运行控制方法，应用于VR设备，所述VR设备上装配有双摄像头，所述双摄像头能够采集设备佩戴者正面的真实场景影像，所述方法包括：获取所述双摄像头采集的真实场景影像信息，所述真实场景影像信息随所述设备佩戴者的运动而改变；根据所述双摄像头采集的真实场景影像信息，确定所述设备佩戴者的操控行为；根据所述设备佩戴者的操控行为，对所述应用进行控制以使所述应用执行所述操控行为对应的功能。结合第一方面，在第一方面的第一种实施方式中：所述根据所述双摄像头采集的真实场景影像信息，确定所述设备佩戴者的操控行为包括：根据所述双摄像头采集的真实场景影像信息，获取所述设备佩戴者的运动行为信息；根据所述设备佩戴者的运动行为信息，确定所述设备佩戴者的操控行为。结合第一方面的第一种实施方式，在第一方面的第二种实施方式中：所述运动行为包括平移运动，所述运动行为信息包括平移距离和平移方向；所述根据所述双摄像头采集的真实场景影像信息，获取所述设备佩戴者的运动行为信息包括：提取所述双摄像头采集的当前帧的两幅真实场景影像中的特征点；标记所述当前帧的两幅真实场景影像中的特征点中的同名点并确定所述同名点的深度信息；根据所述同名点的深度信息，确定所述设备佩戴者的平移距离和平移方向；所述根据所述设备佩戴者的运动行为信息，确定所述设备佩戴者的操控行为包括：当所述平移距离大于预先确定的距离阈值时，确定所述设备佩戴者的操控行为为所述平移方向上的平移运动行为；或者当根据连续的至少两帧的两幅真实场景影像确定的平移距离均大于预先确定的距离阈值时，确定所述设备佩戴者的操控行为为所述平移方向上的平移运动行为。结合第一方面的第二种实施方式，在第一方面的第三种实施方式中：所述根据所述同名点的深度信息，确定所述设备佩戴者的平移距离和平移方向包括：根据所述同名点的深度信息和根据所述当前帧的真实场景影像和所述当前帧的前一帧的真实场景影像确定的、所述同名点在真实场景影像中发生的平移方向和相对平移距离，确定所述设备佩戴者的第一平移方向和第一平移方向上的实际平移距离；或根据所述当前帧的真实场景影像中的同名点的深度信息和所述当前帧的前一帧的真实场景影像中的同名点的深度信息，确定所述设备佩戴者的第二平移方向和第二平移方向上的实际平移距离。结合第一方面，在第一方面的第四种实施方式中：所述根据所述设备佩戴者的操控行为信息，对所述应用进行控制以使所述应用执行所述操控行为对应的功能包括：根据预先建立的操控行为与用户输入事件的对应关系，确定所述操控行为所对应的用户输入事件；根据所述操控行为所对应的用户输入事件，控制所述应用执行所述用户输入事件对应的功能。结合第一方面的第四种实施方式，在第一方面的第五种实施方式中：所述用户输入事件包括以下事件中的至少一个：方向控制事件、确定事件、退出事件或返回事件。结合第一方面的第四种实施方式，在第一方面的第六种实施方式中：所述操控行为所对应的用户输入事件包括方向控制事件，所述方向控制事件用于控制所述应用提供的虚拟对象的运动方向；所述根据所述操控行为所对应的用户输入事件，控制所述应用执行所述用户输入事件对应的功能包括：根据所述方向控制事件，控制所述虚拟对象按照所述方向控制事件对应的运动方向进行运动。结合第一方面或第一方面的第一种至第六种实施方式中的任意一种实施方式，在第一方面的第七种实施方式中：根据所述双摄像头采集的真实场景影像信息，确定所述设备佩戴者的当前姿态信息；根据所述当前姿态信息，获取与所述设备佩戴者的当前姿态对应的显示画面，并将所述显示画面提供给所述设备佩戴者。结合第一方面的第七种实施方式，在第一方面的第八种实施方式中：所述虚拟现实设备上还装配有姿态传感器，所述姿态传感器用于感测所述设备佩戴者的旋转运动信息；所述根据所述双摄像头采集的真实场景影像信息，确定所述设备佩戴者的当前姿态信息包括：根据所述双摄像头采集的真实场景影像信息，确定所述设备佩戴者的平移运动信息；根据所述设备佩戴者的平移运动信息和所述姿态传感器感测的所述设备佩戴者的旋转运动信息，确定所述设备佩戴者的当前姿态信息。结合第一方面的第七种实施方式，在第一方面的第九种实施方式中：所述双摄像头包括模拟人眼的左右双目摄像头；所述显示画面包括虚拟现实场景画面；所述方法还包括：获取所述模拟人眼的左右双目摄像头按照所述设备佩戴者的视线方向采集的真实场景影像信息；所述根据所述双摄像头采集的真实场景影像信息，确定所述设备佩戴者的当前姿态信息包括：根据所述按照所述设备佩戴者的视线方向采集的真实场景影像信息，确定所述设备佩戴者的当前姿态信息；在所述获取与所述设备佩戴者的当前姿态对应的显示画面后，所述将所述显示画面提供给所述设备佩戴者前，所述方法还包括：根据所述按照所述设备佩戴者的视线方向采集的真实场景影像信息和所述虚拟现实场景画面，生成融合场景画面；所述将所述显示画面提供给所述设备佩戴者包括：将所述融合场景画面提供给所述设备佩戴者。结合第一方面的第九种实施方式，在第一方面的第十种实施方式中：所述方法还包括：根据所述按照所述设备佩戴者的视线方向采集的真实场景影像信息，获取增强现实场景画面；接收场景呈现切换指令；根据所述场景呈现切换指令，切换所述融合场景画面、增强现实场景或虚拟现实场景画面。结合第一方面的第八种实施方式，在第一方面的第十一种实施方式中：所述姿态传感器包括陀螺仪、地磁计、加速计中的至少一种。结合第一方面或前述第一方面的任一种实施方式，在第一方面的第十二种实施方式中：所述应用为游戏应用。第二方面，本专利技术实施例提供了一种应用的运行控制装置，应用于VR设备，所述VR设备上装配有双摄像头，所述双摄像头能够采集设备佩戴者正面的真实场景影像，所述装置包括：真实场景影像获取单元，用于获取所述双摄像头采集的真实场景影像信息，所述真实场景影像信息随所述设备佩戴者的运动而改变；操控行为确定单元，用于根据所述双摄像头采集的真实场景影像信息，确定所述设备佩戴者的操控行为；控制单元，用于根据所述设备佩戴者的操控行为，对所述应用本文档来自技高网...

【技术保护点】
一种应用的运行控制方法，应用于虚拟现实设备，其特征在于，所述虚拟现实设备上装配有双摄像头，所述双摄像头能够采集设备佩戴者正面的真实场景影像；所述方法包括：获取所述双摄像头采集的真实场景影像信息，所述真实场景影像信息随所述设备佩戴者的运动而改变；根据所述双摄像头采集的真实场景影像信息，确定所述设备佩戴者的操控行为；根据所述设备佩戴者的操控行为，对所述应用进行控制以使所述应用执行所述操控行为对应的功能。

【技术特征摘要】
1.一种应用的运行控制方法，应用于虚拟现实设备，其特征在于，所述虚拟现实设备上装配有双摄像头，所述双摄像头能够采集设备佩戴者正面的真实场景影像；所述方法包括：获取所述双摄像头采集的真实场景影像信息，所述真实场景影像信息随所述设备佩戴者的运动而改变；根据所述双摄像头采集的真实场景影像信息，确定所述设备佩戴者的操控行为；根据所述设备佩戴者的操控行为，对所述应用进行控制以使所述应用执行所述操控行为对应的功能。2.根据权利要求1所述的方法，其特征在于，所述根据所述双摄像头采集的真实场景影像信息，确定所述设备佩戴者的操控行为包括：根据所述双摄像头采集的真实场景影像信息，获取所述设备佩戴者的运动行为信息；根据所述设备佩戴者的运动行为信息，确定所述设备佩戴者的操控行为。3.根据权利要求2所述的方法，其特征在于，所述运动行为包括平移运动，所述运动行为信息包括平移距离和平移方向；所述根据所述双摄像头采集的真实场景影像信息，获取所述设备佩戴者的运动行为信息包括：提取所述双摄像头采集的当前帧的两幅真实场景影像中的特征点；标记所述当前帧的两幅真实场景影像中的特征点中的同名点并确定所述同名点的深度信息；根据所述同名点的深度信息，确定所述设备佩戴者的平移距离和平移方向；所述根据所述设备佩戴者的运动行为信息，确定所述设备佩戴者的操控行为包括：当所述平移距离大于预先确定的距离阈值时，确定所述设备佩戴者的操控行为为所述平移方向上的平移运动行为；或者当根据连续的至少两帧的两幅真实场景影像确定的平移距离均大于预先确定的距离阈值时，确定所述设备佩戴者的操控行为为所述平移方向上的平移运动行为。4.根据权利要求3所述的方法，其特征在于，所述根据所述同名点的深度信息，确定所述设备佩戴者的平移距离和平移方向包括：根据所述同名点的深度信息和根据所述当前帧的真实场景影像和所述当前帧的前一帧的真实场景影像确定的、所述同名点在真实场景影像中发生的平移方向和相对平移距离，确定所述设备佩戴者的第一平移方向和第一平移方向上的实际平移距离；或根据所述当前帧的真实场景影像中的同名点的深度信息和所述当前帧的前一帧的真实场景影像中的同名点的深度信息，确定所述设备佩戴者的第二平移方向和第二平移方向上的实际平移距离。5.根据权利要求1所述的方法，其特征在于，所述根据所述设备佩戴者的操控行为信息，对所述应用进行控制以使所述应用执行所述操控行为对应的功能包括：根据预先建立的操控行为与用户输入事件的对应关系，确定所述操控行为所对应的用户输入事件；根据所述操控行为所对应的用户输入事件，控制所述应用执行所述用户输入事件对应的功能。6.根据权利要求5所述的方法，其特征在于，所述用户输入事件包括以下事件中的至少一个：方向控制事件、确定事件、退出事件或返回事件。7.根据权利要求5所述的方法，其特征在于，所述操控行为所对应的用户输入事件包括方向控制事件，所述方向控制事件用于控制所述应用提供的虚拟对象的运动方向；所述根据所述操控行为所对应的用户输入事件，控制所述应用执行所述用户输入事件对应的功能包括：根据所述方向控制事件，控制所述虚拟对象按照所述方向控制事件对应的运动方向进行运动。8.根据权利要求1至7任一项所述的方法，其特征在于，所述方法还包括：根据所述双摄像头采集的真实场景影像信息，确定所述设备佩戴者的当前姿态信息；根据所述当前姿态信息，获取与所述设备佩戴者的当前姿态对应的显示画面，并将所述显示画面提供给所述设备佩戴者。9.根据权利要求8所述的方法，其特征在于，所述方法还包括：所述虚拟现实设备上还装配有姿态传感器，所述姿态传感器用于感测所述设备佩戴者的旋转运动信息；所述根据所述双摄像头采集的真实场景影像信息，确定所述设备佩戴者的当前姿态信息包括：根据所述双摄像头采集的真实场景影像信息，确定所述设备佩戴者的平移运动信息；根据所述设备佩戴者的平移运动信息和所述姿态传感器感测的所述设备佩戴者的旋转运动信息，确定所述设备佩戴者的当前姿态信息。10.根据权利要求8所述的方法，其特征在于，所述双摄像头包括模拟人眼的左右双目摄像头；所述显示画面包括虚拟现实场景画面；所述方法还包括：获取所述模拟人眼的左右双目摄像头按照所述设备佩戴者的视线方向采集的真实场景影像信息；所述根据所述双摄像头采集的真实场景影像信息，确定所述设备佩戴者的当前姿态信息包括：根据所述按照所述设备佩戴者的视线方向采集的真实场景影像信息，确定所述设备佩戴者的当前姿态信息；在所述获取与所述设备佩戴者的当前姿态对应的显示画面后，所述将所述显示画面提供给所述设备佩戴者前，所述方法还包括：根据所述按照所述设备佩戴者的视线方向采集的真实场景影像信息和所述虚拟现实场景画面，生成融合场景画面；所述将所述显示画面提供给所述设备佩戴者包括：将所述融合场景画面提供给所述设备佩戴者。11.根据权利要求10所述的方法，其特征在于，所述方法还包括：根据所述按照所述设备佩戴者的视线方向采集的真实场景影像信息，获取增强现实场景画面；接收场景呈现切换指令；根据所述场景呈现切换指令，切换所述融合场景画面、增强现实场景或虚拟现实场景画面。12.根据权利要求9所述的方法，其特征在于，所述姿态传感器包括陀螺仪、地磁计、加速计中的至少一种。13.根据权利要求1-13任一项所述的方法，其特征在于，所述应用为游戏应用。14.一种应用的运行控制装置，应用于虚拟现实设备，其特征在于，所述虚拟现实设备上装配有双摄像头，所述双摄像头能够采集设备佩戴者正面的真实场景影像；所述装置包括：真实场景影像获取单元，用于获取所述双摄像头采集的真实场景影像信息，所述真实场景影像信息随所述设备佩戴者的运动而改变；操控行为确定单元，用于根据所述双摄像头采集的真实场景影像信息，确定所述设备佩戴者的操控行为；控制单元，用于根据所述设备佩戴者的操控行为，对所述应用进行控制以使所述应用执行所述操控行为对应的功能。15.根据权利要求14所述的装置，其特征在于，所述操控行为确定单元包括：行为信息获取模块，用于根据所述双摄像头采集的真实场景影...

【专利技术属性】
技术研发人员：刘江，
申请(专利权)人：深圳超多维科技有限公司，
类型：发明
国别省市：广东,44