利用手势控制实现虚拟现实交互的方法和装置制造方法及图纸

本发明专利技术是一种利用手势控制实现虚拟现实交互的方法，包括以下步骤：响应于手势检测信号，显示拍摄到的第二画面；识别所述第二画面中的真实手势动作，将所述真实手势动作转化成图形指针；显示第一画面，并在所述第一画面对应的位置显示所述图形指针，进行交互。用户可以直接采用手势来控制实现虚拟现实，不仅解决了用户无法看到真实场景的问题，还提高了虚拟现实的易用性。

Method and device for realizing virtual reality interaction by gesture control

The invention relates to a method of using gesture control to realize virtual reality interaction, which comprises the following steps: in response to a gesture detection signal, display the captured second pictures; the identification of the second images of the real gestures, the real gestures into the graphical pointer; to display the first picture, and corresponding in the first the picture shows the location of the graphical pointer, interact. The user can control the virtual reality by gesture directly. It not only solves the problem that the user can not see the real scene, but also improves the usability of the virtual reality.

【技术实现步骤摘要】
利用手势控制实现虚拟现实交互的方法和装置
本专利技术涉及虚拟现实
，特别涉及一种利用手势控制实现虚拟现实交互的方法和装置。
技术介绍
2016年全球虚拟现实产业(也就是俗称的VR产业)持续发热,各大厂商的虚拟现实装置也就是VR设备相继上市。用于信息交互的VR设备大多都是在整体的VR设备中包含了控制手柄或者触控板，并且价格较高，由于价格的限制，普通用户一般只能接受低价位的VR设备，而低价位的VR设备只能用来显示移动端上的画面，不能与用户实现信息交互。在这种情况下，HandGestureforMobileVR即虚拟现实装置手势就应运而生。但是现有的HandGestureforMobileVR在不增加任何硬件的前提下，当用户在观看VR画面时，当接电话或者看短信时，但是由于用户戴着头盔，无法知晓周围的环境，无法准确地将手移到摄像头可检测的区域内，并且无法准确的用手来执行动作。
技术实现思路
为解决在信息交互时，由于用户戴着头盔，无法知晓周围的环境，无法准确的将手移到摄像头可检测的区域内的技术问题，本专利技术提出一种利用手势控制实现虚拟现实交互的方法来实现。一种利用手势控制实现虚拟现实交互的方法，包括以下步骤：响应于手势检测信号，显示拍摄到的第二画面；识别所述第二画面中的真实手势动作，将所述真实手势动作转化成图形指针；显示第一画面，并在所述第一画面对应的位置显示所述图形指针，进行交互。作为一种可实施方式，所述识别第二画面中的真实手势动作，将真实手势动作转化成图形指针，包括以下步骤：捕捉出现在第二画面中的运动团块，对运动团块进行分析，得到若干近似手的团块，选取所有近似手的团块作为手部候选区域；对每个手部候选区域内的手形进行判断，若有多个所述手部候选区域通过验证，则选取通过验证的手部候选区域总和作为特定区域；在所述特定区域内将真实手势动作转换成图形指针。作为一种可实施方式，所述第一画面是在检测到手势检测信号之前呈现的；显示拍摄到的第二画面中包含了所述第一画面。作为一种可实施方式，所述显示拍摄到的第二画面中包含了所述第一画面，是指所述第一画面与所述第二画面采用AlphaBlending算法进行叠加处理。作为一种可实施方式，拍摄所述第二画面时伴随着对第二画面的预处理。作为一种可实施方式，拍摄所述第二画面后对所述第二画面进行预处理。作为一种可实施方式，对所述第二画面进行预处理，包括：缩放处理、白平衡调整、曝光调整和图像去噪处理几种中的至少一种。一种利用手势控制实现虚拟现实交互的装置，包括：第二画面显示模块、指针识别模块和交互显示模块；所述第二画面显示模块用于响应手势检测信号，显示拍摄到的第二画面；所述指针识别模块用于识别所述第二画面中的真实手势动作，将所述真实手势动作转化成图形指针；所述交互显示模块用于显示第一画面，并在所述第一画面对应的位置显示所述图形指针，进行交互。作为一种可实施方式，所述指针识别模块包括捕捉分析模块、检测手形模块和转换图形指针模块；所述捕捉分析模块用于捕捉出现在第二画面中的运动团块，对运动团块进行分析，得到若干近似手的团块，选取所有近似手的团块作为手部候选区域；所述检测手形模块用于对每个手部候选区域内的手形进行判断，若有多个所述手部候选区域通过验证，则选取通过验证的手部候选区域总和作为特定区域；所述转换图形指针模块用于在所述特定区域内将真实手势动作转换成图形指针。作为一种可实施方式，所述交互显示模块被设置为所述第一画面是在检测到手势检测信号之前呈现的。作为一种可实施方式，所述交互显示拍摄到的第二画面中包含了所述第一画面。作为一种可实施方式，所述交互显示模块被设置为对所述显示拍摄到的第二画面中包含了所述第一画面，是指所述第一画面与所述第二画面采用AlphaBlending算法进行叠加处理。作为一种可实施方式，所述交互显示模块被设置为拍摄所述第二画面时伴随着对第二画面的预处理。作为一种可实施方式，所述交互显示模块被设置为对所述第二画面进行的预处理，包括：缩放处理、白平衡调整、曝光调整和图像去噪处理几种中的至少一种。本专利技术相比于现有技术的有益效果在于：本专利技术利用手势控制实现虚拟现实交互的方法的是：响应于手势检测信号，显示拍摄到的第二画面；识别所述第二画面中的真实手势动作，将所述真实手势动作转化成图形指针；显示第一画面，并在所述第一画面对应的位置显示所述图形指针，进行交互。用户可以直接采用手势来控制实现虚拟现实，不仅解决了用户无法看到真实场景的问题，还提高了虚拟现实的易用性。附图说明图1为本专利技术实施例的利用手势控制实现虚拟现实交互方法的流程示意图；图2为本专利技术识别第二画面中的真实手势动作，将真实手势动作转化成图形指针的流程示意图；图3-图6为本专利技术实施例的具体应用场景示意图；图7为本专利技术利用手势控制实现虚拟现实交互的装置的结构示意图；图8为本专利技术指针识别模块的结构示意图。具体实施方式以下结合附图，对本专利技术上述的和另外的技术特征和优点进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术的部分实施例，而不是全部实施例。应用场景总览，本专利技术依赖于虚拟现实装置来实现，当用户使用虚拟现实装置(VR设备)时，突然有手势检测信号接入，此时，显示出了拍摄到的第二画面，将第二画面中的真实手势动作转换成图形指针，此时显示第一画面，并且在第一画面的相互对应的位置显示图形指针，通过手势动作来控制虚拟现实交互。可选地，第一画面在显示第二画面出现或者是在第二画面消失后出现。也就是说，接下来将要描述的本专利技术的实施方式的方法中的步骤，可以全部依赖于虚拟现实装置或者类似于虚拟现实装置来执行。示例性方法：请参照附图1所示，利用手势控制实现虚拟现实交互的方法，包括以下步骤：步骤S1，响应于手势检测信号，显示拍摄到的第二画面；步骤S2，识别第二画面中的真实手势动作，将真实手势动作转化成图形指针；步骤S3，显示第一画面，并在第一画面对应的位置显示图形指针，进行交互。进一步地，识别第二画面中的真实手势动作，将真实手势动作转化成图形指针的具体过程为：S201，捕捉出现在第二画面中的运动团块，对运动团块进行分析，得到若干近似手的团块，选取所有近似手的团块作为手部候选区域；S202，对每个手部候选区域内的手形进行判断，若有多个手部候选区域通过验证，则选取通过验证的手部候选区域总和作为特定区域；S203，在特定区域内将真实手势动作转换成图形指针。通过使用利用手势控制实现虚拟现实交互的方法以及具体的识别第二画面中的真实手势动作，将真实手势动作转化成图形指针的过程，用户可以直接采用手势来控制实现虚拟现实，不仅解决了用户无法看到真实场景的问题，还提高了虚拟现实的易用性。可选地，可以在检测到手势检测信号之前显示第一画面，当检测到手势检测信号，显示拍摄到的第二画面，此时，显示拍摄到的第二画面包含了第一画面。实施例1参照场景示意图3到场景示意图6来详细说明利用手势控制实现虚拟现实交互的方法。本实施例中，如图3所示，用户在观看第一画面，如图4所示，用户有电话接入，即检测到手势检测信号，开始显示拍摄到的第二画面，但是，此时显示出来的第二画面是经过处理的，其中包含了第一画面，如图5所示，第二画面出现真实手势动作，对真实手势动作进行转换，将其转换成图形指针，如图6所示本文档来自技高网...

【技术保护点】
一种利用手势控制实现虚拟现实交互的方法，其特征在于，包括以下步骤：响应于手势检测信号，显示拍摄到的第二画面；识别所述第二画面中的真实手势动作，将所述真实手势动作转化成图形指针；显示第一画面，并在所述第一画面对应的位置显示所述图形指针，进行交互。

【技术特征摘要】
1.一种利用手势控制实现虚拟现实交互的方法，其特征在于，包括以下步骤：响应于手势检测信号，显示拍摄到的第二画面；识别所述第二画面中的真实手势动作，将所述真实手势动作转化成图形指针；显示第一画面，并在所述第一画面对应的位置显示所述图形指针，进行交互。2.根据权利要求1所述的利用手势控制实现虚拟现实交互的方法，其特征在于：所述识别第二画面中的真实手势动作，将真实手势动作转化成图形指针，包括以下步骤：捕捉出现在第二画面中的运动团块，对运动团块进行分析，得到若干近似手的团块，选取所有近似手的团块作为手部候选区域；对每个手部候选区域内的手形进行判断，若有多个所述手部候选区域通过验证，则选取通过验证的手部候选区域总和作为特定区域；在所述特定区域内将真实手势动作转换成图形指针。3.根据权利要求1所述的利用手势控制实现虚拟现实交互的方法，其特征在于：所述第一画面在检测到手势检测信号之前呈现的。4.根据权利要求3所述的利用手势控制实现虚拟现实交互的方法，其特征在于：所述显示拍摄到的第二画面中包含了所述第一画面。5.根据权利要求4所述的利用手势控制实现虚拟现实交互的方法，其特征在于：所述显示拍摄到的第二画面中包含了所述第一画面，是指所述第一画面与所述第二画面采用AlphaBlending算法进行叠加处理。6.根据权利要求5所述的利用手势控制实现虚拟现实交互的方法，其特征在于：拍摄所述第二画面时伴随着对第二画面的预处理。7.根据权利要求6所述的利用手势控制实现虚拟现实交互的方法，其特征在于：对所述第二画面进行预处理，包括：缩放处理、白平衡调整、曝光调整和图像去噪处理几种中的至少一种。8.一种利用手势控制实现虚拟现实交互的装置，其特征在于，包括：第二画面显示模块、指针识别模块和交互显示模块；所述第二画面显示模块用于响应手势检测信...

【专利技术属性】
技术研发人员：邓晖，林崇仰，
申请(专利权)人：虹软杭州多媒体信息技术有限公司，
类型：发明
国别省市：浙江,33