用于提取手势的方法及其装置制造方法及图纸

本发明专利技术的实施例提供了用于提取手势的方法。在该方法中，获取手势的彩色图像和整体深度图像。根据彩色图像，确定彩色图像中的肤色区域，并根据整体深度图像，确定位于第一距离范围内的第一深度图像。根据所述第一深度图像和所述肤色区域，确定手势深度图像，并将手势深度图像转换成三维空间图像。在所述三维空间图像中，确定与预设点之间的距离位于第二距离内的空间点，并在所述手势深度图像中，确定与所述空间点对应的部分为手势区域。根据本发明专利技术的实施例，能够准确地提取手势，并具有较好的实时性。

Method and device for extracting gesture

Embodiments of the invention provide a method for extracting gestures. In this method, the color image and the overall depth image of the gesture are acquired. According to the color image, the skin color region in the color image is determined, and the first depth image located in the first distance range is determined according to the overall depth image. According to the first depth image and the skin color region, the gesture depth image is determined, and the gesture depth image is converted into a three-dimensional spatial image. In the three-dimensional space image, a space point with a distance between the preset point and the second distance is determined, and in the gesture depth image, a part corresponding to the space point is determined to be a gesture area. According to the embodiment of the invention, the gesture can be accurately extracted and has good real-time performance.

【技术实现步骤摘要】
用于提取手势的方法及其装置
本专利技术涉及手势识别领域，尤其涉及用于提取手势的方法及其装置。
技术介绍
随着虚拟现实(VR)和增强现实(AR)技术的发展，人机交互越来越受到关注。手势作为一种重要的人机交互方式，在VR/AR
得到了广泛的应用。深度相机可以同时获取彩色图像(例如，RGB图像)和深度图像，因此，深度相机也被众多VR/AR设备的厂家作为主要的相机。利用深度相机对VR/AR设备进行手势提取成为了主流趋势。但是，简单的手势提取算法不能很好的去除周围环境的干扰，而复杂的算法又不能达到系统所要求的实时性。
技术实现思路
本专利技术的实施例提供了用于提取手势的方法及其装置，能够准确地提取手势，并具有较好的实时性。根据本专利技术的第一方面，提供了一种用于提取手势的方法。在该方法中，获取手势的彩色图像和整体深度图像。根据在彩色图像确定彩色图像中的肤色区域，并根据整体深度图像确定位于第一距离范围内的第一深度图像。根据第一深度图像和肤色区域，确定手势深度图像。将手势深度图像转换成三维空间图像。在三维空间图像中，确定与预设点之间的距离位于第二距离内的空间点，并在手势深度图像中，确定与空间点对应的部分为手势区域。在本专利技术的实施例中，预设点基于拍摄手势的图像设备与手势的相对位置而确定。在本专利技术的实施例中，预设点是距离图像设备最远的空间点。在本专利技术的实施例中，根据第一深度图像和肤色区域，确定手势深度图像包括：在第一深度图像中，确定与肤色区域对应的区域为手势深度图像。在本专利技术的实施例中，将手势深度图像转换成三维空间图像包括：通过以下公式，将手势深度图像中的像素的像素坐标(u，v)转换成三维空间图像中的空间点的三维坐标(x，y，z)：x＝(u*d-d*Cx)/fx；y＝(v*d-d*Cy)/fy；z＝d，其中，fx、fy表示拍摄手势的图像设备在x轴和y轴上的焦距，Cx、Cy表示手势深度图像的中心和图像设备的光轴的中心在x和y方向上的偏移，d表示所述手势深度图像中各像素点的深度值。在本专利技术的实施例中，根据彩色图像确定彩色图像中的肤色区域包括：将彩色图像中的像素的R、G和B分量转换成YCrCb空间中的Y、Cr和Cb分量；对YCrCb空间中的Y、Cr和Cb分量进行非线性变换，以获得Cr’和Cb’分量；以及确定包括Cr’分量的值在133至173的范围内并且Cb’分量的值在77至127的范围内的像素的区域为肤色区域。在本专利技术的实施例中，对YCrCb空间中的Y、Cr和Cb分量进行非线性变换，以获得Cr’和Cb’分量包括：对Y分量进行变换以获得和对Y分量进行变换以获得肤色区域的宽度Wcb和Wcr：以及基于Wcb和Wcr进行非线性变换以获得Cr’和Cb’分量：其中，Ki、Kh为常数，Ymin、Ymax为常数，Wci、WLci、WHci为常数，i＝b或r。在本专利技术的实施例中，基于肤色区域，对彩色图像进行二值化处理。在本专利技术的实施例中，所述二值化处理包括：将所述彩色图像中的肤色区域的像素的灰度设为255，将所述彩色图像中肤色区域以外的像素的灰度设为0。在本专利技术的实施例中，所述方法还包括以下步骤中的至少一个：将第一深度图像之外的像素的灰度设置为零；将手势深度图像之外的像素的灰度设置为零；将手势区域之外的像素的灰度设置为零。在本专利技术的实施例中，第一距离范围是0.5米至1米。在本专利技术的实施例中，第二距离是在0.16米至0.23米内。根据本专利技术的第二方面，提供了一种用于提取手势的装置。该装置包括：一个或多个处理器；存储器，其与处理器耦接，并存储有计算机程序指令；与所述处理器耦接的图像设备，被配置为采集手势的彩色图像和整体深度图像；其中，计算机程序指令在被处理器执行时使得装置：获取手势的彩色图像和整体深度图像；根据彩色图像确定彩色图像中的肤色区域；根据整体深度图像确定位于第一距离范围内的第一深度图像；根据第一深度图像和肤色区域，确定手势深度图像；将手势深度图像转换成三维空间图像；在三维空间图像中，确定与预设点之间的距离位于第二距离内的空间点；以及在手势深度图像中，确定与空间点对应的部分为手势区域。在本专利技术的实施例中，预设点基于拍摄手势的图像设备与手势的相对位置来确定。在本专利技术的实施例中，预设点是距离图像设备最远的空间点。在本专利技术的实施例中，计算机程序指令在被处理器执行时使得装置通过以下操作根据第一深度图像和肤色区域确定手势深度图像：在第一深度图像中，将与肤色区域对应的区域确定为手势深度图像。在本专利技术的实施例中，计算机程序指令在被处理器执行时使得装置通过以下操作将手势深度图像转换成三维空间图像：通过以下公式，将手势深度图像中的像素的像素坐标(u，v)转换成三维空间图像中的空间点的三维坐标(x，y，z)：x＝(u*d-d*Cx)/fx；y＝(v*d-d*Cy)/fy；z＝d，其中，fx、fy表示拍摄手势的图像设备在x轴和y轴上的焦距，Cx、Cy表示手势深度图像的中心和图像设备的光轴的中心在x和y方向上的偏移，d表示所述手势深度图像中各像素点的深度值。在本专利技术的实施例中，计算机程序指令在被处理器执行时使得装置通过以下操作根据彩色图像确定彩色图像中的肤色区域：将彩色图像中的像素的R、G和B分量转换成YCrCb空间中的Y、Cr和Cb分量；对YCrCb空间中的Y、Cr和Cb分量进行非线性变换，以获得Cr’和Cb’分量；以及确定包括Cr’分量的值在133至173的范围内并且Cb’分量的值在77至127的范围内的像素的区域为肤色区域。在本专利技术的实施例中，计算机程序指令在被处理器执行时进一步使得装置基于肤色区域，对彩色图像进行二值化处理。在本专利技术的实施例中，计算机程序指令在被处理器执行时使得装置将第一深度图像之外的像素的灰度设置为零。在本专利技术的实施例中，计算机程序指令在被处理器执行时使得装置将手势深度图像之外的像素的灰度设置为零。在本专利技术的实施例中，计算机程序指令在被处理器执行时使得装置将手势区域之外的像素的灰度设置为零。根据本专利技术的实施例，通过结合手势的彩色图像和整体深度图像，能够去除其它环境因素的干扰，准确地提取手势，并具有较好的实时性。适应性的进一步的方面和范围从本文中提供的描述变得明显。应当理解，本申请的各个方面可以单独或者与一个或多个其它方面组合实施。还应当理解，本文中的描述和特定实施例旨在说明的目的，并不旨在限制本申请的范围。附图说明本文中描述的附图用于仅对所选择的实施例的说明的目的，并不是所有可能的实施方式，并且不旨在限制本申请的范围，其中：图1是根据本专利技术的实施例的用于提取手势的方法的示意性流程图；图2示出了示例性的手势的深度图像；图3是说明图1所示的实施例中确定肤色区域的过程的示意性流程图；图4是根据本专利技术的实施例的用于提取手势的装置的示意性框图。具体实施方式为使本专利技术的实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术的实施例的附图，对本专利技术的实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本专利技术的一部分实施例，而不是全部的实施例。基于所描述的本专利技术的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。下文中将参考附图并结合实施例来详细说明本专利技术的实施例。需要说明的是，在不冲突的情本文档来自技高网...

【技术保护点】
1.一种用于提取手势的方法，包括：获取所述手势的彩色图像和整体深度图像；根据所述彩色图像确定所述彩色图像中的肤色区域；根据所述整体深度图像确定位于第一距离范围内的第一深度图像；根据所述第一深度图像和所述肤色区域，确定手势深度图像；将所述手势深度图像转换成三维空间图像；在所述三维空间图像中，确定与预设点之间的距离位于第二距离内的空间点；以及在所述手势深度图像中，确定与所述空间点对应的部分为手势区域。

【技术特征摘要】
1.一种用于提取手势的方法，包括：获取所述手势的彩色图像和整体深度图像；根据所述彩色图像确定所述彩色图像中的肤色区域；根据所述整体深度图像确定位于第一距离范围内的第一深度图像；根据所述第一深度图像和所述肤色区域，确定手势深度图像；将所述手势深度图像转换成三维空间图像；在所述三维空间图像中，确定与预设点之间的距离位于第二距离内的空间点；以及在所述手势深度图像中，确定与所述空间点对应的部分为手势区域。2.根据权利要求1所述的方法，其中，所述预设点基于拍摄所述手势的图像设备与所述手势的相对位置而确定。3.根据权利要求2所述的方法，其中，所述预设点是距离所述图像设备最远的空间点。4.根据权利要求1所述的方法，其中，根据所述第一深度图像和所述肤色区域，确定手势深度图像包括：在所述第一深度图像中，确定与所述肤色区域对应的区域为所述手势深度图像。5.根据权利要求1所述的方法，其中，将所述手势深度图像转换成所述三维空间图像包括：通过以下公式，将所述手势深度图像中的像素的像素坐标(u，v)转换成三维空间图像中的空间点的三维坐标(x，y，z)：x＝(u*d-d*Cx)/fx；y＝(v*d-d*Cy)/fy；z＝d，其中，fx、fy表示拍摄所述手势的图像设备在x轴和y轴上的焦距，Cx、Cy表示所述手势深度图像的中心和所述图像设备的光轴的中心在x和y方向上的偏移，d表示所述手势深度图像中各像素点的深度值。6.根据权利要求1所述的方法，其中，根据所述彩色图像确定所述彩色图像中的肤色区域包括：将所述彩色图像中的像素的R、G和B分量转换成YCrCb空间中的Y、Cr和Cb分量；对YCrCb空间中的Y、Cr和Cb分量进行非线性变换，以获得Cr’和Cb’分量；以及确定包括所述Cr’分量的值在133至173的范围内并且所述Cb’分量的值在77至127的范围内的像素的区域为所述肤色区域。7.根据权利要求6所述的方法，其中，对所述YCrCb空间中的所述Y、Cr和Cb分量进行所...

【专利技术属性】
技术研发人员：刘小磊，楚明磊，陈丽莉，张浩，
申请(专利权)人：京东方科技集团股份有限公司，北京京东方光电科技有限公司，
类型：发明
国别省市：北京,11