一种应用于VR设备的手势操控方法与装置制造方法及图纸

本发明专利技术实施例提供了一种应用于VR设备的手势操控方法，获取VR设备用户的手势位置信息，并用深度传感器检测该深度传感器到用户手部的深度距离，并根据深度距离与预设深度阈值的比较结果将用户的手部移动区域划分为选择区域和命令区域；当检测到的深度距离不大于预设深度阈值时，用户可以在当前显示页面中选择待操作对象；之后，当检测到的深度距离大于预设深度阈值时，用户可以对该待操作对象执行命令操作。通过该方法，使得用户无需通过外部硬件输入即可实现对VR设备的操控，尤其是显示页面中呈现的对象和页面本身；简化了用户的操作方式，并且给用户带来了良好的操作体验。

Method and device for controlling gesture of VR device

Gesture control method of the embodiment of the invention provides an application of VR equipment, hand position information acquisition VR device users, and use the depth distance depth sensor detects the depth sensor to the user's hand, and according to the result of the comparison with the preset threshold depth from the depth of the hand mobile user to choose regional division and command area; when the depth distance detected depth is not greater than the predetermined threshold, the user can choose to stay in the current page in the operation object; later, when the depth distance detected depth is greater than the preset threshold, the user can perform on the operation object command operation. By this method, the user does not need to achieve the VR equipment controlled by external hardware input, especially the display object page rendering and the page itself; simplify the user operation, and give users a good experience.

【技术实现步骤摘要】

本专利技术涉及通信
，尤其涉及一种应用于VR设备的手势操控方法与装置。
技术介绍
虚拟现实VR((Virtual Reality)和增强现实AR(Augmented Reality)技术是近年来新兴的多媒体技术。虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统，增强现实技术是一种可以将虚拟现实和真实世界叠加并进行互动的技术。在VR或AR场景中，使用者通过集成的图形系统、光学系统、姿态追踪系统和控制系统等获得一种可交互的沉浸式体验。通常虚拟现实场景通过一个头戴显示设备(Head Mounted Display)实现；如图1所示，一个HMD包含处理器(由CPU、GPU、缓存、寄存器等组成)、显示元件、声学元件、存储器、物理硬件等。现有HMD产品大多采用手柄、触控板等物理硬件或通过头瞄系统进行界面的控制操作，作为整个HMD设备的用户输入。手柄通常包括上、下、左、右、点击、退出几个按键，部分手柄包括位置追踪功能，可以检测到手柄的旋转、位移；触控板通常支持上、下、左、右、点击，退出指令需另外设置一个按键实现；头部瞄准系统通过IMU传感器追踪头部姿态，以两眼正中的视点位置作为瞄准点，通过悬停在图标上一段时间实现点击命令，所有操作指令需要依靠软件设置按键实现。现有技术的主要缺点有三方面：1)操控功能有限、指令效率低：只有上、下、左、右、点击等指令，难以支持复杂操作，常需要多次操作实现某一内容的定位、选择；2)操控不自然、易疲劳：通过触控板方式操控需要长时间将手举起放在触控板位置，头瞄方式需要不断转头进行操作；3)佩戴HMD设备后，用户无法看到外界环境，因此难以寻找手柄、触控板，误触时常发生。
技术实现思路
有鉴于此，本专利技术实施例提供了一种应用于VR设备的手势操控方法与装置。利用手势操作，实现HMD设备自然的交互方式。本申请文件中的“手势”，并非强调手掌的形状，而更强调手部本身；在描述手的位置时，手可以理解为一个质点。第一方面，本专利技术实施例提供了一种应用于VR设备的手势操控方法，该方法包括：获取VR设备用户的手势位置信息，并在VR设备的显示界面中呈现手势位置信息对应的操作图标；检测用户的手部相对于深度传感器的深度距离；其中，该深度距离为该深度传感器到手部质心所在主平面的距离或者该深度传感器到手部质心的距离；该主平面与该显示界面平行；深度距离是实时可变的；判断当前深度距离与预设深度阈值的大小关系；若当前该深度距离不大于该预设深度阈值，则将该操作图标当前在显示界面中对应的对象确定为待操作对象；在确定待操作对象后，判断新的当前深度距离与预设深度阈值的大小关系；若新的当前深度距离大于预设深度阈值，则对当前已确定待操作对象执行预设命令操作。通过该方法，使得用户无需通过外部硬件输入即可实现对VR设备的操控，尤其是显示页面中的应用和页面；简化了用户的操作方式，并且给用户带来了良好的操作体验。第二方面，本专利技术实施例提供了一种具备手势操控功能的装置，该装置应用于含有深度传感器的虚拟现实VR设备。该装置包括：获取模块，用于获取VR设备用户的手势位置信息，并在VR设备的显示界面中呈现该手势位置信息对应的操作图标；检测模块，用于检测用户的手部相对于深度传感器的深度距离；其中，该深度距离为该深度传感器到手部质心所在主平面的距离或者该深度传感器到手部质心的距离；该主平面平行于该显示界面；该深度距离是实时可变的；判断模块，用于判断检测模块检测到的深度距离与预设深度阈值的大小关系；执行模块，用于，若该判断模块判断当前深度距离不大于该预设深度阈值时，则将该操作图标当前在显示界面中对应的对象确定为待操作对象；在确定该待操作对象后，若该判断模块判断新的深度距离大于该预设深度阈值时，则对该待操作对象执行预设命令操作。该装置可以使得用户无需通过外部硬件输入即可实现对VR设备的操控，尤其是显示页面中的应用和页面；简化了用户的操作方式，并且给用户带来了良好的操作体验。根据第一方面或第二方面，在一个可能的设计中，当操作图标当前在显示界面中对应的对象为第一对象时，第一对象可以为应用(图标)、各类文件(图标)、以及各式各样的操作界面中的功能键等；如微信应用的图标、影音文件图标、或者播放界面中的进度条定位标识，将第一对象确定为当前待操作对象。在确定出待操作对象之后，检测到用户手部向前推动且手部深度距离大于预设深度阈值时，可以对第一对象触发打开、删除、拖动、激活或者弹出某一个预设的命令操作框等，这些功能可以由用户预先定义，原理类似于设置快捷键；当然，上述命令操作的整个过程中手部的深度距离都应大于预设深度阈值。通过上述技术方案，用户通过向前推动手部超过预设深度阈值，就能对当前待操作对象执行预设操作命令，带来操作额便捷性和良好的操作体验。根据第一方面或第二方面，在一个可能的设计中，当手势对应显示界面中的空白处时，即该操作图标当前在显示界面中对应的对象为当前页面时，则将当前页面确定为待操作对象；之后，若检测到该用户手部向前推动且手部深度距离大于预设深度阈值，就可以对当前页面激活翻页命令，如果用户继续向左侧滑动，则可以实现向左翻页；同理，如果用户继续向右滑动，则可以实现向右翻页；以此类推，还可以进行向上翻页和向下翻页；当然，翻页的整个过程中手部的深度距离都应大于预设深度阈值。通过上述技术方案，用户通过向前推动手部超过预设深度阈值，就能对当前待操作页面执行预设操作命令，带来操作额便捷性和良好的操作体验。根据第一方面或第二方面，在一个可能的设计中所述VR设备含一种工作状态，在所述对当前已确定待操作对象执行预设命令操作时，所述工作状态为执行预设命令操作状态。用户想退出当前的执行预设命令操作状态，可以做出预设退出动作，当传感器系统检测到预设退出动作后，便退出对该待操作对象执行预设命令操作的工作状态。常见的预设退出动作包括特定的摆手动作、退回到选择区域、握拳、特定手型或特定手指轨迹等等。此外，在本设计中，具备手势操控功能的装置中对应的功能模块为返回模块；对应的硬件可以为传感器系统与处理器。通过上述技术方案，用户通过预设的退出动作，随时退出当前的命令操作状态，使的用户的操作灵活自如，也避免了用户手部始终停留在命令区域可能引起的误操作。根据第一方面或第二方面，在一个可能的设计中，当在深度操作区域内检测到用户的手部的深度距离时，会在显示界面中提示用户的手部的深度距离；提示的方式可以包括但不限于：手部深度进度条、用户的实时手部操作侧视图、手部深度对应的颜色变化提示、或者手部深度对应的声音变化提示等等。深度操作区域为第一平面和该第二平面所形成的区域；第一平面和第二平面均平行于该显示界面；深度传感器到第一平面的距离大于预设深度阈值，并且深度传感器到第二平面的距离小于预设深度阈值。此外，在本设计中，具备手势操控功能的装置中对应的功能模块为提示模块；对应的硬件可以为处理器。通过上述技术方案，用户通过界面中的深度位置提示，更加清楚当前外界环境中自身手部对应的深度位置以及操作区域，使用户清晰地感知和控制自己将要做出的手部动作，以免造成误操作。第三方面，本专利技术实施例提供了一种具备手势操控功能的虚拟现实VR设备，设备至少包括：处理器、存储器、传感器系统、和总线；其中，该处理器和该存储器、该传本文档来自技高网...

【技术保护点】
一种手势操控方法，其特征在于，所述方法应用于含有深度传感器的虚拟现实VR设备，所述方法包括：获取VR设备用户的手势位置信息，并在VR设备的显示界面中呈现所述手势位置信息对应的操作图标；检测用户的手部相对于所述深度传感器的深度距离；其中，所述深度距离为所述深度传感器到手部质心所在主平面的距离或者所述深度传感器到手部质心的距离，所述主平面与所述显示界面平行，所述深度距离是实时可变的；若所述深度距离不大于所述预设深度阈值，则将所述操作图标当前在显示界面中对应的对象确定为待操作对象；若所述深度距离大于所述预设深度阈值，则对当前已确定待操作对象执行预设命令操作。

【技术特征摘要】
1.一种手势操控方法，其特征在于，所述方法应用于含有深度传感器的虚拟现实VR设备，所述方法包括：获取VR设备用户的手势位置信息，并在VR设备的显示界面中呈现所述手势位置信息对应的操作图标；检测用户的手部相对于所述深度传感器的深度距离；其中，所述深度距离为所述深度传感器到手部质心所在主平面的距离或者所述深度传感器到手部质心的距离，所述主平面与所述显示界面平行，所述深度距离是实时可变的；若所述深度距离不大于所述预设深度阈值，则将所述操作图标当前在显示界面中对应的对象确定为待操作对象；若所述深度距离大于所述预设深度阈值，则对当前已确定待操作对象执行预设命令操作。2.如权利要求1所述方法，其特征在于，当所述当前已确定待操作对象为第一应用时，所述对当前已确定待操作对象执行预设命令操作包括：打开所述第一应用、删除所述第一应用、或弹出所述第一应用的命令操作框。3.如权利要求1所述方法，其特征在于，当所述当前已确定待操作对象为当前页面时，所述对当前已确定待操作对象执行预设命令操作包括：对所述当前页面激活翻页命令。4.如权利要求1所述方法，其特征在于，当所述当前已确定待操作对象为第一媒体文件时，所述对当前已确定待操作对象执行预设命令操作包括：打开所述第一媒体文件、删除所述第一媒体文件、或弹出所述第一媒体文件的命令操作框。5.如权利要求1所述方法，其特征在于，所述当前已确定待操作对象为第一功能时，所述对当前已确定待操作对象执行预设命令操作包括：激活所述第一功能键的功能。6.如权利要求1所述方法，其特征在于，所述VR设备含一种工作状态，在所述对当前已确定待操作对象执行预设命令操作时，所述工作状态为执行预设命令操作状态，在所述对当前已确定待操作对象执行预设命令操作之后，所述方法还包括：检测到预设退出动作；并根据所述预设退出动作，退出所述执行预设命令操作状态。7.如权利要求1所述方法，其特征在于，所述方法还包括：在深度操作区域内检测到用户手部的深度距离时，在所述显示界面中提示用户所述手部的深度距离；其中，所述深度操作区域为第一平面和第二平面所形成的区域，所述第一平面和所述第二平面均平行于所述显示界面，所述深度传感器到所述第一平面的距离大于所述预设深度阈值，并且所述深度传感器到所述第二平面的距离小于所述预设深度阈值。8.一种具备手势操控功能的装置，其特征在于，所述装置应用于含有深度传感器的虚拟现实VR设备，所述装置包括：获取模块，用于获取VR设备用户的手势位置信息，并在VR设备的显示界面中呈现所述手势位置信息对应的操作图标；检测模块，用于检测用户的手部相对于所述深度传感器的深度距离；其中，所述深度距离为所述深度传感器到手部质心所在主平面的距离或者所述深度传感器到手部质心的距离，所述主平面与所述显示界面平行，所述深度距离是实时可变的；执行模块，用于，若所述深度距离不大于所述预设深度阈值，则将所述操作...

【专利技术属性】
技术研发人员：刘思维，常文亮，罗洪鹍，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44