移动设备的空间交互方法技术

本发明专利技术公开了一种具有人机交互能力的移动设备的空间交互方法，包括如下步骤：根据移动设备实时拍摄的二维图像，重建关于该图像的深度图；对所述深度图进行区域分割，得到该深度图中的人体部位区域；将所述深度图中的人体部位区域映射到一个虚拟场景中；检测所述虚拟场景中的人体部位是否与该虚拟场景中的其他物体发生碰撞，若发生碰撞，则根据所述虚拟场景中的人体部位在时间上的空间变化来确定肢体语言，所述虚拟场景根据所述肢体做出响应。本发明专利技术能够提高空间交互的准确性和实时性。

【技术实现步骤摘要】
本专利技术涉及图像处理、三维图像重建、人机交互和计算机应用等领域，尤其涉及一种移动设备的空间交互方法。
技术介绍
移动设备的空间交互技术是利用具有人机交互能力的移动设备(如手机、IPad等)进行空间交互，使得移动设备中的虚拟物体可以按照人的指示做出相应的响应。图I是现有的移动设备的空间交互技术的示意图。如图I所示，移动设备中显示有一幅猫的图像，通过移动设备的空间交互，我们可以在移动设备的前方(其摄像头可拍摄的地方)用手做一个假的抓取动作的手势，移动设备通过识别该手势，使其显示的虚拟猫被虚拟的手抓取。 空间交互方法通常包括深度图像重建、手部区域分割、坐标归一、碰撞检测、运动过程描述和手势识别、虚拟场景响应等步骤，其中深度图像重建是其中一个关键步骤。在计算机视觉领域中，深度图扮演着十分重要的角色，它的快速获取显得非常重要。深度图不仅可以生成立体图像，还可以实现三维模型的重建和基于图像的渲染。其中在实时的三维模型重建中，深度图获取的准确性和实时性显得尤为重要。对于深度图的获取有着多种多样的方法，例如激光成像雷达、激光测量机法、结构光法、计算机立体视觉法等。其中计算机立体视觉法是一种传统的深度图获本文档来自技高网...

【技术保护点】
一种应用于移动设备的空间交互方法，所述移动设备是指具有人机交互能力和图像拍摄功能的便携式信息处理装置，其特征在于，包括如下步骤：步骤1、利用移动设备拍摄二维图像，重建该二维图像的深度图，所述二维图像中包含人体部位的图像；步骤2、对所述深度图进行区域分割，得到该深度图中的人体部位图像；步骤3、将所述深度图中的人体部位图像映射到一个虚拟场景中；步骤4、检测所述虚拟场景中的人体部位是否与该场景中的其他物体发生碰撞，若发生碰撞，则转到步骤6，若没有发生碰撞，则转到步骤7；步骤5、根据所述虚拟场景中的人体部位在时间上的空间变化来确定人的肢体语言；步骤6、所述虚拟场景根据所述肢体语言做出响应；步骤7、判断...

【技术特征摘要】
1.一种应用于移动设备的空间交互方法，所述移动设备是指具有人机交互能力和图像拍摄功能的便携式信息处理装置，其特征在于，包括如下步骤 步骤I、利用移动设备拍摄二维图像，重建该二维图像的深度图，所述二维图像中包含人体部位的图像； 步骤2、对所述深度图进行区域分割，得到该深度图中的人体部位图像； 步骤3、将所述深度图中的人体部位图像映射到一个虚拟场景中； 步骤4、检测所述虚拟场景中的人体部位是否与该场景中的其他物体发生碰撞，若发生碰撞，则转到步骤6，若没有发生碰撞，则转到步骤7 ； 步骤5、根据所述虚拟场景中的人体部位在时间上的空间变化来确定人的肢体语言； 步骤6、所述虚拟场景根据所述肢体语言做出响应； 步骤7、判断所述移动设备拍摄的人体部位的图像是否进行了更新，如果进行了更新，则返回到步骤1，如果没有进行更新，则该方法结束。2.如权利要求I所述的空间交互方法，其特征在于，在步骤I中，所述人体部位为手部，所述肢体语言为手势。3.如权利要求2所述的空间交互方法，其特征在于，在步骤I中，所述，所述移动设备为具有两个摄像装置的移动设备，所述二维图像为该移动设备拍摄的手部的左右两幅二维图像。4.如权利要求3所述的空间交互方法，其特征在于，所述步骤I包括如下步骤 步骤101、对所述两幅二维图像进行极线校正； 步骤102、对所述两幅二维图像隔行对每个像素提取像素点描述器，该像素点描述器用于描述像素点周围灰度值的变化情况； 步骤103、在所述两幅二维图像中确定显著立体匹配点，并计算其视差，显著立体匹配点是指位于指定位置并且纹理值大于规定阈值的像素点； 步骤104、从所述显著立体匹配点进行扩散，得到所述两幅二维图像的所有像素点的视差; 步骤105、根据所述每个像素的视差重建深度图。5.如权利要求4所述的空间交互方法，其特征在于，所述步骤102包括如下步骤对所述两幅二维图像的当前帧的像素灰度值分别进行横向和纵向的Sobel算子平面卷积，横向 二 I O +1]「+I +2 +1'卷积的核为-2 O +2，纵向卷积的核为O O O ;采用5X5的窗口作为特征点描 -I O +IJ[-1 -2 -I述器的提取窗口，以横向及纵向Sobel卷积后的图像为对象隔行对像素点的Sobel卷积值进行描述器的提取，在横向Sobel卷积后的窗口中提取12个像素点对应的Sobel卷积值，在纵向Sobel卷积后的窗口中提取4个像素点对应的Sobel卷积值。6.如权利要求4所述的空间交互方法，其特征在于，所述步骤103采取隔行计算的方法，并且每隔一定的步长进行一次像素点视差计算。7.如权利要求4所述的空间交互方法，其特征在于，所述步骤104包括采用德劳内三角剖分法将这些稀疏点进行三角剖分，将所述显著立体匹配点剖分成三角网格，得到三角网格三个顶点所对应的像素坐标，计算出三条边的直线方程，确定被该三角网格所包围的每个像素点的坐标，最后对包含在三角网格内的所有像素点进行视差计算。8.如权利要求4所述的空间交互方法，其特征在于，所述步骤105包括如下步骤 步骤1051、对所述两幅二维图像的像素点的左右一致性进行检查； 步...

【专利技术属性】
技术研发人员：黄向生，徐波，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：