一种虚拟现实交互的实现方法、系统及MR手套技术方案

本发明专利技术提供了一种虚拟现实交互的实现方法、系统和MR手套，包括：将3D摄像头捕捉到的用户的身体骨骼数据，于虚拟现实空间中定位出用户的三维空间位置；当捕捉到的用户手部骨骼数据于所述虚拟现实空间中定位出的三维空间位置与虚拟现实空间中的目标虚拟物体位置重叠或达致预设距离时，将触碰感交互需求信息及手指的标识信息发送给MR手套；将所述触碰感交互需求信息转换成响应动作，并将所述响应动作作用在所述标识信息对应的手指上，以使所述手指产生与所述响应动作对应的触感，以增加用户体感中的触碰感，从而提高用户的体感交互沉浸感，提高产品黏性。

Method, system and MR glove for realizing virtual reality interaction

The present invention provides a method, system and MR gloves, a virtual reality interaction includes: the body skeleton data of the 3D camera on the user's location in 3D space by virtual reality space; when the capture user hand skeleton data on location in 3D space out of the virtual reality in the space and the virtual reality space target virtual objects overlap or achieve the preset distance, sending the touch interactive demand information and finger identification information to MR gloves; the sense of touch interactive demand information into action in response, and the response action identification information corresponding to the the finger, the finger and the corresponding action in response to the touch, to increase user sense of touch, so as to improve the sense of immersion of users somatosensory interaction,. High product viscosity.

【技术实现步骤摘要】
一种虚拟现实交互的实现方法、系统及MR手套
本专利技术涉及虚拟现实
，特别是涉及一种虚拟现实交互的实现方法、系统及MR手套。
技术介绍
虚拟现实(VR，VirtualReality)技术是利用电脑或其他智能计算设备为核心，结合光电传感技术生成逼真的视、听、触一体化的特定范围内虚拟的环境。在VR系统中主要包括输入设备和输出设备。而头戴式显示器(HMD，HeadMountDisplay)是一种虚拟现实显示输出设备，形如眼镜，通过感应人的眼部活动，接受指令，呈现图像，可直接在眼镜上现实各种数据提供给用户，它配合对应的输入设备的交互，能够让用户产生独立封闭的沉浸式交互体验。在现有技术中，VR系统中基于2D或者3D摄像头，均能实现手势交互，但是通常，VR系统可以将采集的图像实时显示在HMD上给予用户沉浸感，但是没有触碰感，沉浸感不强，降低产品对用户的吸引力。
技术实现思路
基于此，有必要提供一种虚拟现实交互的实现方法，包括：将3D摄像头捕捉到的用户的身体骨骼数据，于虚拟现实空间中定位出用户的三维空间位置；当捕捉到的用户手部骨骼数据于所述虚拟现实空间中定位出的三维空间位置与虚拟现实空间中的目标虚拟物体位置重叠或达致预设距离时，将触碰感交互需求信息及手指的标识信息发送给MR（Mixedreality）手套；将所述触碰感交互需求信息转换成响应动作，并将所述响应动作作用在所述标识信息对应的手指上，以使所述手指产生与所述响应动作对应的触感。在其中一个实施例中，所述响应动作包括震动、加压、收紧、加热、冷却中的一种或几种动作；所述将所述响应动作作用在所述标识信息对应的手指上包括：将震动、加压、收紧、加热、冷却中的一种或几种动作，作用在所述标识信息对应的手指上。在其中一个实施例中，所述响应动作还包括发光；所述将所述响应动作作用在所述标识信息对应的手指上包括：控制所述标识信息对应的手指上发光。在其中一个实施例中，所述将3D摄像头捕捉到的用户的身体骨骼数据，于虚拟现实空间中定位出用户的三维空间位置包括：3D摄像头发射结构光或红外激光扫描场景物体，3D摄像头的接收器接收物体反射光，捕捉人体深度数据，并提取人体骨骼数据；利用所述骨骼数据于unity3D或android开发的程序里跟踪到用户身体部位在三维空间的位置。在其中一个实施例中，所述将触碰感交互需求信息及所述手指的标识信息发送给MR手套包括：通过蓝牙或wifi通讯方式，将触碰感交互需求信息及所述手指的标识信息发送给MR手套。在其中一个实施例中，所述当捕捉到的用户手部骨骼数据于所述虚拟现实空间中定位出的三维空间位置与虚拟现实空间中的目标虚拟物体位置重叠或达致预设距离时，将触碰感交互需求信息及所述手指的标识信息发送给MR手套的步骤之前，还包括：接收MR手套发送的用户手部的加速度、角速度及角度数据。本专利技术还提供了一种虚拟现实交互的实现系统，包括：3D摄像头、上位机和MR手套；其中，所述3D摄像头，用于捕捉用户的身体骨骼数据；所述上位机内设置有虚拟现实客户端，用于将3D摄像头捕捉到的用户的身体骨骼数据，于虚拟现实空间中定位出用户的三维空间位置；所述上位机，还用于当捕捉到的用户手部骨骼数据于所述虚拟现实空间中定位出的三维空间位置与虚拟现实空间中的目标虚拟物体位置重叠或达致预设距离时，将触碰感交互需求信息及所述手指的标识信息发送给MR手套；所述MR手套，用于将接收到的所述触碰感交互需求信息转换成响应动作，并将所述响应动作作用在所述标识信息对应的手指上，以使所述手指产生与所述响应动作对应的触感。在其中一个实施例中，所述响应动作包括震动、加压、、收紧、加热、冷却中的一种或几种动作；所述MR手套还用于，将震动、加压、收紧、加热、冷却中的一种或几种动作，作用在所述标识信息对应的手指上。在其中一个实施例中，所述响应动作还包括发光；所述MR手套还用于，控制所述标识信息对应的手指上发光。在其中一个实施例中，所述3D摄像头包括3D深度摄像头和接收器；所述3D深度摄像头，用于发射结构光或红外激光扫描场景物体；所述接收器，用于接收物体反射光，捕捉人体深度数据，并提取人体骨骼数据；所述上位机，还用于利用所述骨骼数据于unity3D或android开发的程序里跟踪到用户身体部位在三维空间的位置。在其中一个实施例中，所述上位机，还用于通过蓝牙、wifi通讯方式，将触碰感交互需求信息及所述手指的标识信息发送给MR手套。在其中一个实施例中，所述上位机还用于接收MR手套发送的用户手部的加速度、角速度及角度数据。本专利技术还提供了一种虚拟现实交互的实现系统，包括：位置定位模块，用于将3D摄像头捕捉到的用户的身体骨骼数据，于虚拟现实空间中定位出用户的三维空间位置；信息发送模块，用于当捕捉到的用户手部骨骼数据于所述虚拟现实空间中定位出的三维空间位置与虚拟现实空间中的目标虚拟物体位置重叠或达致预设距离时，将触碰感交互需求信息及所述手指的标识信息发送给MR手套；动作响应模块，用于将所述触碰感交互需求信息转换成响应动作，并将所述响应动作作用在所述标识信息对应的手指上，以使所述手指产生与所述响应动作对应的触感。在其中一个实施例中，所述响应动作包括震动、加压、收紧、加热、冷却中的一种或几种动作；所述动作响应模块，还用于将震动、加压、收紧、加热、冷却中的一种或几种动作，作用在所述标识信息对应的手指上。在其中一个实施例中，所述响应动作还包括发光；所述动作响应模块，还用于控制所述标识信息对应的手指上发光。在其中一个实施例中，所述位置定位模块，具体用于将3D摄像头捕捉到的用户的身体骨骼数据，于unity3D或android开发的程序里跟踪到用户身体部位在三维空间的位置。在其中一个实施例中，所述信息发送模块，通过蓝牙或wifi通讯方式，将触碰感交互需求信息及所述手指的标识信息发送给MR手套。在其中一个实施例中，所述位置定位模块还用于接收MR手套发送的用户手部的加速度、角速度及角度数据。本专利技术还提供了一种MR手套，所述MR手套应用于如上所述的虚拟现实的实现方法中，用于实现所述方法，所述MR手套包括：信息接收模块，用于接收所述触碰感交互需求信息和手指的标识信息；动作发生模块，用于将所述触碰感交互需求信息转换成响应动作，并将所述响应动作作用在所述标识信息对应的手指上，以使所述手指产生与所述响应动作对应的触感。从上述可知，本专利技术提供的一种虚拟现实交互的实现方法，包括：将3D摄像头捕捉到的用户的身体骨骼数据，于虚拟现实空间中定位出用户的三维空间位置；当捕捉到的用户手部骨骼数据于所述虚拟现实空间中定位出的三维空间位置与虚拟现实空间中的目标虚拟物体位置重叠或达致预设距离时，将触碰感交互需求信息及手指的标识信息发送给MR手套；将所述触碰感交互需求信息转换成响应动作，并将所述响应动作作用在所述标识信息对应的手指上，以使所述手指产生与所述响应动作对应的触感，以增加用户体感中的触碰感，从而提高用户的体感交互沉浸感，提高产品黏性。附图说明图1为一个实施例中一种虚拟现实交互的实现方法流程图；图2为图1中步骤20的分步骤流程图；图3为一个实施例中一种虚拟现实交互的实现系统结构示意图；图4为另一个实施例中一种虚拟现实交互的实现系统结构示意图；图5为一个实施例中一种MR手本文档来自技高网...

【技术保护点】
一种虚拟现实交互的实现方法，其特征在于，包括：将3D摄像头捕捉到的用户的身体骨骼数据，于虚拟现实空间中定位出用户的三维空间位置；当捕捉到的用户手部骨骼数据于所述虚拟现实空间中定位出的三维空间位置与虚拟现实空间中的目标虚拟物体位置重叠或达致预设距离时，将触碰感交互需求信息及手指的标识信息发送给MR手套；将所述触碰感交互需求信息转换成响应动作，并将所述响应动作作用在所述标识信息对应的手指上，以使所述手指产生与所述响应动作对应的触感。

【技术特征摘要】
1.一种虚拟现实交互的实现方法，其特征在于，包括：将3D摄像头捕捉到的用户的身体骨骼数据，于虚拟现实空间中定位出用户的三维空间位置；当捕捉到的用户手部骨骼数据于所述虚拟现实空间中定位出的三维空间位置与虚拟现实空间中的目标虚拟物体位置重叠或达致预设距离时，将触碰感交互需求信息及手指的标识信息发送给MR手套；将所述触碰感交互需求信息转换成响应动作，并将所述响应动作作用在所述标识信息对应的手指上，以使所述手指产生与所述响应动作对应的触感。2.根据权利要求1所述的方法，其特征在于，所述响应动作包括震动、加压、收紧、加热、冷却中的一种或几种动作；所述将所述响应动作作用在所述标识信息对应的手指上包括：将震动、加压、收紧、加热、冷却中的一种或几种动作，作用在所述标识信息对应的手指上。3.根据权利要求2所述的方法，其特征在于，所述响应动作还包括发光；所述将所述响应动作作用在所述标识信息对应的手指上包括：控制所述标识信息对应的手指上发光。4.根据权利要求1-3任一项所述的方法，其特征在于，所述将3D摄像头捕捉到的用户的身体骨骼数据，于虚拟现实空间中定位出用户的三维空间位置包括：3D摄像头发射结构光或红外激光扫描场景物体，3D摄像头的接收器接收物体反射光，捕捉人体深度数据，并提取人体骨骼数据；利用所述骨骼数据于unity3D或android开发的程序里跟踪到用户身体部位在三维空间的位置。5.根据权利要求1所述的方法，其特征在于，所述将触碰感交互需求信息及所述手指的标识信息发送给MR手套包括：通过蓝牙或wifi通讯方式，将触碰感交互需求信息及所述手指的标识信息发送给MR手套。6.根据权利要求1所述的方法，其特征在于，所述当捕捉到的用户手部骨骼数据于所述虚拟现实空间中定位出的三维空间位置与虚拟现实空间中的目标虚拟物体位置重叠或达致预设距离时，将触碰感交互需求信息及所述手指的标识信息发送给MR手套的步骤之前，还包括：接收MR手套发送的用户手部的加速度、角速度及角度数据。7.一种虚拟现实交互的实现系统，其特征在于，包括：3D摄像头、上位机和MR手套；其中，所述3D摄像头，用于捕捉用户的身体骨骼数据；所述上位机内设置有虚拟现实客户端，用于将3D摄像头捕捉到的用户的身体骨骼数据，于虚拟现实空间中定位出用户的三维空间位置；所述上位机，还用于当捕捉到的用户手部骨骼数据于所述虚拟现实空间中定位出的三维空间位置与虚拟现实空间中的目标虚拟物体位置重叠或达致预设距离时，将触碰感交互需求信息及手指的标识信息发送给MR手套；所述MR手套，用于将接收到的所述触碰感交互需求信息转换成响应动作，并将所述响应动作作用在所述标识信息对应的手指上，以使所述手指产生与所述响应动作对应的触感。8.根据权利要求7所述的系统，其特征在于，所述响应动作包括震动、加压、收紧、加热、冷却中的一种或几种动作；所述MR手套还用于，将震动、加压、...

【专利技术属性】
技术研发人员：周汉民，赵迪，童星，
申请(专利权)人：深圳中科呼图电子商务有限公司，
类型：发明
国别省市：广东,44