基于RGBD图像的三维操控空间的建立方法及设备技术

本发明专利技术提供了一种基于RGBD图像的三维操控空间的建立方法及设备。该方法包括以下步骤：采集用户的连续帧RGBD图像，其中，RGBD图像包括彩色信息和深度信息；根据连续帧RGBD图像获取建立三维操控空间的指令；以RGBD图像中特定点为原点建立三维坐标系；以特定点为中心建立操控边界面，并获取操控边界面上的点在三维坐标系上的位置信息；将操控边界面划分多个指令区域，以根据用户手部穿越指令区域时的穿越信息来识别指令。该设备包括采集模块、指令获取模块、坐标建立模块、边界面建立模块和指令划分模块。本发明专利技术通过利用RGBD图像的彩色信息和深度信息建立三维操控空间，能使得用户的空间手势操控更加方便、准确、快捷，改善了用户体验。

Method and equipment for establishing three-dimensional control space based on RGBD image

The invention provides a method and a device for establishing a three-dimensional control space based on RGBD images. The method comprises the following steps: continuous frame RGBD image acquisition, the image of RGBD users, including the color and depth information; according to the successive frames RGBD images to build three-dimensional space control commands; with RGBD image point as the origin of the coordinate system; to a specific point for the establishment of the boundary control center, and access control on the boundary of position information in three-dimensional coordinate system; will control the boundary division multiple instruction area, to identify the instruction according to user hand through the instruction area through information. The equipment includes acquisition module, instruction fetch module, coordinate establishment module, edge interface establishment module and instruction division module. The invention utilizes the color information and the depth information of the RGBD image to establish a three-dimensional control space, which can make the user's space gesture manipulation more convenient, accurate and fast, and improve the user experience.

【技术实现步骤摘要】
基于RGBD图像的三维操控空间的建立方法及设备
本专利技术涉及空间手势操控
，特别是涉及一种基于RGBD图像的三维操控空间的建立方法及设备。
技术介绍
利用RGBD相机获取RGBD图像，图像中的像素信息包括彩色信息和深度信息，其彩色信息与深度信息一一对应。对RGBD图像中的目标区域进行跟踪，可以根据目标区域的深度信息自动获取其彩色信息，反之亦然。对RGBD相机获取的RGBD图像进行处理，其中深度图像的每一个像素值，对应于该像素所反映目标在物理空间中到深度相机的距离。对深度图像中的目标区域，可以直接获取其空间位置信息，进一步根据深度图像可以实现3D物体重建、手势识别手势操控等功能。因而相比彩色信息，深度信息在对手部位置跟踪，运动轨迹获取等方面具有优势。现有的手势操控中，需要定位屏幕光标，因此，要求用户在特定的空间范围内进行操作，并需要将用户的手势的空间位置转换为操控界面的坐标，即将用户的手势映射到操控界面中，才能实现利用手势定位屏幕光标的目的。上述手势操控方法将用户手势限制在一个固定的区域内，才可以实现用户的手势与操控界面的对应关系，并且，用户需要根据光标在操控界面内的位置来进行手势操控，因而，给用户的操作带来了不便，用户体验不佳。
技术实现思路
本专利技术提供一种基于RGBD图像的三维操控空间的建立方法及设备，能够解决现有技术存在的空间三维操控需映射到操控界面导致操控不便，体验不佳的问题。为解决上述技术问题，本专利技术采用的一个技术方案是：提供一种基于RGBD图像的三维操控空间的建立方法，该方法包括以下步骤：采集用户的连续帧RGBD图像，其中，所述RGBD图像包括彩色信息和深度信息；根据所述连续帧RGBD图像获取建立所述三维操控空间的指令；以所述RGBD图像中特定点为原点建立三维坐标系；以所述特定点为中心建立操控边界面，并获取所述操控边界面上的点在所述三维坐标系上的位置信息；将所述操控边界面划分多个指令区域，以根据用户手部穿越所述指令区域时的穿越信息来识别指令。其中，所述根据所述RGBD图像获取建立所述三维操控空间的指令的步骤包括：根据所述RGBD图像识别用户的手部区域；根据所述手部区域在所述连续帧RGBD图像中的变化判断所述手部区域是否完成特定的手势动作；若是，则获取建立所述三维操控空间的指令。其中，所述根据所述手部区域在所述连续帧RGBD图像中的变化判断所述手部区域是否完成特定的手势动作的步骤之前包括：预先设定一个手势动作作为特定的手势动作，并保存；所述根据所述手部区域在所述连续帧RGBD图像中的变化判断所述手部区域是否完成特定的手势动作的步骤进一步包括：利用所述连续帧RGBD图像中手部区域的所述彩色信息，对所述手部区域的形态变化形成的所述手势动作进行识别；将识别到的所述手势动作与预设的所述特定的手势动作进行匹配，若匹配成功，则判断所述手部区域完成所述特定的手势动作。其中，所述根据所述手部区域在所述连续帧RGBD图像中的变化判断所述手部区域是否完成特定的手势动作的步骤进一步包括：利用所述连续帧RGBD图像中手部区域的所述彩色信息，识别所述手部区域的手部中心点；利用所述手势动作终止状态时的所述RGBD图像中手部区域的所述深度信息识别手部中心点的空间位置；所述以所述RGBD图像中特定点为原点建立三维坐标系的步骤和所述以所述特定点为中心建立操控边界面，并获取所述操控边界面上的点在所述三维坐标系上的位置信息的步骤中，所述特定点为手部中心点，所述手部中心点的空间位置即该特定点的空间位置。其中，所述特定的手势动作为手部从张开到握拳的手势动作。为解决上述技术问题，本专利技术采用的另一个技术方案是：提供一种建立基于RGBD图像的三维操控空间的设备，该设备包括：采集模块、指令获取模块、坐标建立模块、边界面建立模块和指令划分模块。采集模块用于采集用户的连续帧RGBD图像，其中，所述RGBD图像包括彩色信息和深度信息；指令获取模块与所述采集模块连接，用于根据所述连续帧RGBD图像获取建立所述三维操控空间的指令；坐标建立模块与所述指令获取模块连接，用于以所述RGBD图像中特定点为原点建立三维坐标系；边界面建立模块与所述坐标建立模块连接，用于以所述特定点为中心建立操控边界面，并获取所述操控边界面上的点在所述三维坐标系上的位置信息；指令划分模块与所述边界面建立模块连接，用于将所述操控边界面划分多个指令区域，以根据用户手部穿越所述指令区域时的穿越信息来识别指令。其中，所述指令获取模块进一步包括第一识别模块和判断模块；第一识别模块与所述采集模块连接，用于根据所述RGBD图像识别用户的手部区域；判断模块与所述第一识别模块连接，用于根据所述手部区域在所述连续帧RGBD图像中的变化判断所述手部区域是否完成特定的手势动作，并在完成所述特定的手势动作时，获取建立所述三维操控空间的指令。其中，所述设备还包括预设模块，所述预设模块用于预先设定一个手势动作作为特定的手势动作，并保存；所述判断模块进一步包括第二识别模块和匹配模块；第二识别模块与所述第一识别模块连接，用于利用所述连续帧RGBD图像中手部区域的所述彩色信息，对所述手部区域的形态变化形成的所述手势动作进行识别；匹配模块与所述第二识别模块和所述预设模块连接，用于将识别到的所述手势动作与预设的所述特定的手势动作进行匹配，并在匹配成功时判断所述手部区域完成所述特定的手势动作。其中，所述判断模块进一步包括第三识别模块和第四识别模块；第三识别模块与所述第一识别模块连接，用于利用所述连续帧RGBD图像中手部区域的所述彩色信息，识别所述手部区域的手部中心点；第四识别模块与所述第三识别模块连接，用于利用所述手势动作终止状态时的所述RGBD图像中手部区域的所述深度信息识别手部中心点的空间位置；其中，所述特定点为手部中心点，所述手部中心点的空间位置即该特定点的空间位置。其中，所述特定的手势动作为手部从张开到握拳的手势动作。本专利技术的有益效果是：区别于现有技术的情况，本专利技术由于建立了三维操控空间，能够限定用户在提高手势操控指令时手势动作的空间位置，防止误识别了用户并非用于手势遥控的手势动作，例如，在三维操控空间外的其他人的手势动作，或者，用户另一个手的手势动作等。相对与现有技术对用户手势操控的限定，本专利技术中，用户在操作的时候，不需要将手势映射到显示屏幕中，手的位置也不需要与显示屏幕中显示的按键等对应来进行操控，而是通过手与三维操控空间的位置关系来触发指令，由于本专利技术建立三维操控空间的指令是通过连续帧RGBD图像来获取，由于RGBD图像具有彩色信息和深度信息，其具有较高的分辨率，因而可以获取更加准确信息，因而能清晰准确地识别出RGBD图像中的指令。并且，三维操控空间的建立是以用户的RGBD图像中的特定点为原点来建立，而该三维操控空间的原点位置是深度图像中用户在触发建立三维操控空间时某一特定点位置，因此，该三维操控空间建立在一个能方便于用户操作的位置。另外，本专利技术由于将三维操控空间的操控边界面划分为多个指令区域，并通过用户手部穿越指令区域时的穿越信息来识别指令，提高了指令的触发相应速度。因而，本专利技术能使得用户的空间手势操控更加方便，改善了用户体验。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描本文档来自技高网...

【技术保护点】
一种基于RGBD图像的三维操控空间的建立方法，其特征在于，包括以下步骤：采集用户的连续帧RGBD图像，其中，所述RGBD图像包括彩色信息和深度信息；根据所述连续帧RGBD图像获取建立所述三维操控空间的指令；以所述RGBD图像中特定点为原点建立三维坐标系；以所述特定点为中心建立操控边界面，并获取所述操控边界面上的点在所述三维坐标系上的位置信息；将所述操控边界面划分多个指令区域，以根据用户手部穿越所述指令区域时的穿越信息来识别指令。

【技术特征摘要】
1.一种基于RGBD图像的三维操控空间的建立方法，其特征在于，包括以下步骤：采集用户的连续帧RGBD图像，其中，所述RGBD图像包括彩色信息和深度信息；根据所述连续帧RGBD图像获取建立所述三维操控空间的指令；以所述RGBD图像中特定点为原点建立三维坐标系；以所述特定点为中心建立操控边界面，并获取所述操控边界面上的点在所述三维坐标系上的位置信息；将所述操控边界面划分多个指令区域，以根据用户手部穿越所述指令区域时的穿越信息来识别指令。2.根据权利要求1所述的三维操控空间的建立方法，其特征在于，所述根据所述连续帧RGBD图像获取建立所述三维操控空间的指令的步骤包括：根据所述RGBD图像识别用户的手部区域；根据所述手部区域在所述连续帧RGBD图像中的变化判断所述手部区域是否完成特定的手势动作；若是，则获取建立所述三维操控空间的指令。3.根据权利要求2所述的三维操控空间的建立方法，其特征在于，所述根据所述手部区域在所述连续帧RGBD图像中的变化判断所述手部区域是否完成特定的手势动作的步骤之前包括：预先设定一个手势动作作为特定的手势动作，并保存；所述根据所述手部区域在所述连续帧RGBD图像中的变化判断所述手部区域是否完成特定的手势动作的步骤进一步包括：利用所述连续帧RGBD图像中手部区域的所述彩色信息，对所述手部区域的形态变化形成的所述手势动作进行识别；将识别到的所述手势动作与预设的所述特定的手势动作进行匹配，若匹配成功，则判断所述手部区域完成所述特定的手势动作。4.根据权利要求3所述的三维操控空间的建立方法，其特征在于，所述根据所述手部区域在所述连续帧RGBD图像中的变化判断所述手部区域是否完成特定的手势动作的步骤进一步包括：利用所述连续帧RGBD图像中手部区域的所述彩色信息，识别所述手部区域的手部中心点；利用所述手势动作终止状态时的所述RGBD图像中手部区域的所述深度信息识别手部中心点的空间位置；所述以所述RGBD图像中特定点为原点建立三维坐标系的步骤和所述以所述特定点为中心建立操控边界面，并获取所述操控边界面上的点在所述三维坐标系上的位置信息的步骤中，所述特定点为手部中心点，所述手部中心点的空间位置即该特定点的空间位置。5.根据权利要求2所述的三维操控空间的建立方法，其特征在于，所述特定的手势动作为手...

【专利技术属性】
技术研发人员：黄源浩，肖振中，许宏淮，
申请(专利权)人：深圳奥比中光科技有限公司，
类型：发明
国别省市：广东,44