一种三维人手关键点定位方法及装置制造方法及图纸

本发明专利技术实施例提供了一种三维人手关键点定位方法及装置，所述方法包括：获取实际场景的深度图像；通过第一神经网络对所述深度图像进行手掌区域分割，得到分割后的手掌区域；对所述手掌区域进行归一化处理及尺寸变换，得到归一化后的手掌区域的深度图；通过第二神经网络判断所述归一化后的手掌区域的深度图对应的实际场景中是否包含真人手掌；若包含，则通过第三神经网络预测所述归一化后的手掌区域的深度图的关键点坐标，并通过预测的所述归一化后的手掌区域的深度图的关键点坐标确定所述实际场景的深度图像中的手掌的关键点坐标，从而可提高人手关键点三维定位的实用性和可靠性。

A method and device for locating key points of 3D human hand

【技术实现步骤摘要】
一种三维人手关键点定位方法及装置
本专利技术属于人工智能
，具体是涉及到一种三维人手关键点定位方法、装置、终端设备及计算机可读介质。
技术介绍
掌纹、掌脉等生物特征识别技术以及手势识别技术均需要对图像进行手掌检测和关键点定位。掌纹识别中，快速准确识别手掌区域是关键，会影响到掌纹识别的性能。手势识别过程中，如果能够获得人手指、手掌的关节点的坐标位置，就可以通过手指和手掌的相对位置关系判断手势。因此，手掌区域定位和手掌关键点定位非常重要。已有的手掌关键点检测主要基于二维RGB图像或者近红外图像进行检测，主要技术包括三类。第一类是利用手掌的颜色信息进行手掌与背景的分割，并根据手掌的轮廓信息进行关键点位置推断；第二类是直接使用轮廓提取算法对图像中的手掌进行轮廓提取，获得包含手指、手掌、手腕等部位的轮廓信息，并依据此信息进行进一步的关键点推断；第三类是利用深度学习技术，对图像使用物体检测的深度神经网络，直接得到包含手掌的矩形框，然后定位手指指节纹线线段，进而获得手指、手掌的关节点位置，即关键点位置。与本专利技术最相近的专利为CN108427942A，该专利包括以下步骤：S1、采集训练样本；S2、构建网络模型：构建CNN（卷积神经网络）特征提取网络、RPN（区域生成网络）候选区域提取网络和判别网络；S3、训练网络模型：初始化CNN特征提取网络、RPN候选区域提取网络和判别网络；S4、构建检测模型；S5：手掌检测和关键点定位。该专利提出的技术使用了当时性能最高的物体检测框架FasterR-CNN进行手掌区域快速定位，并使用关键点定位网络模型对待检测的手掌图像进行手掌轮廓检测与关键点定位。该专利使用近红外图像作为物体检测框架和关键点定位网络模型的输入，与RGB图像相比，受光线影响相对较小，但光线依然会造成影响，同时无法防伪，如果使用打印好的静态二维手掌图片，也能够直接识别，这使得后续的生物特征识别和手势识别不可靠。此外，该专利使用二维近红外图像做关键点定位，无法定位关键点的三维信息，当手掌存在角度偏转时，二维图片的手势识别会受到严重影响。
技术实现思路
有鉴于此，本专利技术实施例提供一种三维人手关键点定位方法、装置、终端设备及计算机可读介质，能够提高人手关键点三维定位的实用性和可靠性。本专利技术实施例的第一方面提供了一种三维人手关键点定位方法，包括：获取实际场景的深度图像；通过第一神经网络对所述深度图像进行手掌区域分割，得到分割后的手掌区域；对所述手掌区域进行归一化处理及尺寸变换，得到归一化后的手掌区域的深度图；通过第二神经网络判断所述归一化后的手掌区域的深度图对应的实际场景中是否包含真人手掌；若包含，则通过第三神经网络预测所述归一化后的手掌区域的深度图的关键点坐标，并通过预测的所述归一化后的手掌区域的深度图的关键点坐标确定所述实际场景的深度图像中的手掌的关键点坐标。本专利技术实施例的第二方面提供了一种三维人手关键点定位装置，包括：获取模块，用于获取实际场景的深度图像；分割模块，用于通过第一神经网络对所述深度图像进行手掌区域分割，得到分割后的手掌区域；归一模块，用于对所述手掌区域进行归一化处理及尺寸变换，得到归一化后的手掌区域的深度图；防伪模块，用于通过第二神经网络判断所述归一化后的手掌区域的深度图对应的实际场景中是否包含真人手掌；定位模块，用于在所述防伪模块检测到深度图对应的实际场景中包含真人手掌时，通过第三神经网络预测所述归一化后的手掌区域的深度图的关键点坐标，并通过预测的所述归一化后的手掌区域的深度图的关键点坐标确定所述实际场景的深度图像中的手掌的关键点坐标。本专利技术实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述三维人手关键点定位方法的步骤。本专利技术实施例的第四方面提供了一种计算机可读介质，所述计算机可读介质存储有计算机程序，所述计算机程序被处理执行时实现上述三维人手关键点定位方法的步骤。本专利技术实施例提供的三维人手关键点定位方法，可获取实际场景的深度图像，通过第一神经网络对所述深度图像进行手掌区域分割，得到分割后的手掌区域，对所述手掌区域进行归一化处理及尺寸变换，得到归一化后的手掌区域的深度图，并通过第二神经网络判断所述归一化后的手掌区域的深度图对应的实际场景中是否包含真人手掌，若包含，则通过第三神经网络预测所述归一化后的手掌区域的深度图的关键点坐标，并通过预测的所述归一化后的手掌区域的深度图的关键点坐标确定所述实际场景的深度图像中的手掌的关键点坐标，从而可提高人手关键点三维定位的实用性和可靠性。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的一种三维人手关键点定位方法的流程图；图2本专利技术实施例提供的一种三维人手关键点定位装置的结构示意图；图3是图2中的分割模块的细化结构示意图；图4是图2中的防伪模块的细化结构示意图；图5是本专利技术实施例提供的终端设备的示意图。具体实施方式以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本专利技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本专利技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本专利技术的描述。为了说明本专利技术所述的技术方案，下面通过具体实施例来进行说明。请参阅图1，图1是本专利技术实施例提供的一种三维人手关键点定位方法。如图1所示，本实施例的三维人手关键点定位方法包括以下步骤：S101：获取实际场景的深度图像。在本专利技术实施例中，在实际场景下，可通过深度摄像头设备获取待识别的深度（depth）图像。深度图像中的每个像素点的值表示该像素点上的物体距离深度摄像头的距离值。S102：通过第一神经网络对所述深度图像进行手掌区域分割，得到分割后的手掌区域。在本专利技术实施例中，可对所述深度图像进行尺寸变换，得到固定尺寸的深度图像；再可将所述固定尺寸的深度图像输入到第一神经网络，使用所述第一神经网络对所述固定尺寸的深度图像进行手掌区域分割；最后可对进行手掌区域分割后的所述固定尺寸的深度图像进行去噪处理，得到分割后的手掌区域。更具体地，所述第一神经网络为卷积神经网络，该卷积神经网络包括一个编码器和一个解码器。编码器中包含四个8层卷积层，每个卷积层后连接一个激活函数层，激活函数优选为线性整流函数，即ReLU。前面6个卷积层后接降采样层，降采样窗口大小为2*2，后面2个卷积层后不接降采样层。8个卷积层的卷积核大小均为3*3，输出特征图的本文档来自技高网...

【技术保护点】
1.一种三维人手关键点定位方法，其特征在于，包括：/n获取实际场景的深度图像；/n通过第一神经网络对所述深度图像进行手掌区域分割，得到分割后的手掌区域；/n对所述手掌区域进行归一化处理及尺寸变换，得到归一化后的手掌区域的深度图；/n通过第二神经网络判断所述归一化后的手掌区域的深度图对应的实际场景中是否包含真人手掌；/n若包含，则通过第三神经网络预测所述归一化后的手掌区域的深度图的关键点坐标，并通过预测的所述归一化后的手掌区域的深度图的关键点坐标确定所述实际场景的深度图像中的手掌的关键点坐标。/n

【技术特征摘要】
1.一种三维人手关键点定位方法，其特征在于，包括：
获取实际场景的深度图像；
通过第一神经网络对所述深度图像进行手掌区域分割，得到分割后的手掌区域；
对所述手掌区域进行归一化处理及尺寸变换，得到归一化后的手掌区域的深度图；
通过第二神经网络判断所述归一化后的手掌区域的深度图对应的实际场景中是否包含真人手掌；
若包含，则通过第三神经网络预测所述归一化后的手掌区域的深度图的关键点坐标，并通过预测的所述归一化后的手掌区域的深度图的关键点坐标确定所述实际场景的深度图像中的手掌的关键点坐标。


2.根据权利要求1所述的三维人手关键点定位方法，其特征在于，所述第一神经网络为卷积神经网络，所述通过第一神经网络对所述深度图像进行手掌区域分割，得到分割后的手掌区域，包括：
对所述深度图像进行尺寸变换，得到固定尺寸的深度图像；
将所述固定尺寸的深度图像输入到第一神经网络，使用所述第一神经网络对所述固定尺寸的深度图像进行手掌区域分割；
对进行手掌区域分割后的所述固定尺寸的深度图像进行去噪处理，得到分割后的手掌区域。


3.根据权利要求2所述的三维人手关键点定位方法，其特征在于，所述对进行手掌区域分割后的所述固定尺寸的深度图像进行去噪处理，得到分割后的手掌区域，包括：
在分割后的所述固定尺寸的深度图像中选择第一起始点，从该起始点开始把附近与该起始点连通的像素点提取出来，保存到第一列表中，同时标记这些像素点为已处理；其中，该起始点的像素值与连通于该起始点的像素点的分割值相等；
在分割后的所述固定尺寸的深度图像中的未处理的像素点中不断寻找与所述第一列表中的点邻接且分割值相同的点，加入到所述第一列表中，直到所有与所述第一起始点连通的像素点均被找到和标记为已处理，且加入到所述第一列表中；
在分割后的所述固定尺寸的深度图像中的未处理的像素点中选择第二起始点，并找到和标记所有与所述第二起始点连通的像素点，且加入第二列表中；
在分割后的所述固定尺寸的深度图像中的未处理的像素点中选择除所述第一起始点和第二起始点外的其它起始点，并找到和标记所有与所述其它起始点连通的像素点，直至分割后的所述固定尺寸的深度图像中所有点均被标记为已处理，并得到多个列表，每个列表维护1个连通区域对应的所有像素点；
找到所有列表中像素点值为1且像素点数量最多的一个列表，并确定所述像素点值为1且像素点数量最多的一个列表对应的为手掌区域。


4.根据权利要求2所述的三维人手关键点定位方法，其特征在于，所述对所述手掌区域进行归一化处理及尺寸变换，得到归一化后的手掌区域的深度图，包括：
选取所述手掌区域中所有像素点相对所述固定尺寸的深度图像所对应的坐标系的横纵坐标中的最大值和最小值，得到，并由所述横纵坐标的最大值和最小值得到包含人手的矩形框的对角线位置坐标；其中，左上角位置坐标为()，右下角位置坐标为()；
通过所述矩形框对所述深度图像进行裁剪，获取所述手掌区域的深度图，将所述手掌区域的深度值归一化，并将所述手掌区域进行尺寸变换，得到归一化后的固定大小的手掌区域的深度图。


5.根据权利要求1所述的三维人手关键点定位方法，其特征在于，所述第二神经网络为用于判断获取的所述深度图像是否属于恶意攻击的防伪卷积神经网络，所述通过第二神经网络判断所述归一化后的手掌区域的深度图对应的实际场景中是否包含真人手掌，包括：
将所述归一化后的手掌区域的深度图送入第二神经网络中；
通过所述第二神经网络得到判断值，...

【专利技术属性】
技术研发人员：陈俊逸，
申请(专利权)人：长沙小钴科技有限公司，
类型：发明
国别省市：湖南;43