手势骨架构建方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种手势骨架构建方法、装置、设备及存储介质，属于手势识别领域。该方法包括：将深度图片输入手势分割神经网络，输出手部置信区域，深度图片中包含各个像素点的深度值，深度值用于表征像素点对应物体与深度摄像头之间的距离；根据手部置信区域中各个像素点的深度值，从深度图片中提取出手部图像；将手部图像输入手势识别神经网络，得到手部各个关节的三维坐标；根据所述三维坐标在三维空间中构建手势骨架。相较于在指定区域进行手势交互，本申请实施例中，借助手势分割神经网络输出的手部置信区域进行手部图像提取，用户可以在深度摄像头前任意区域进行手势交互，有助于提高识别手势图像以及构建手势骨架的准确率，以及后续手势交互的交互效果。

【技术实现步骤摘要】
手势骨架构建方法、装置、设备及存储介质
本申请实施例涉及手势识别
，特别涉及一种手势骨架构建方法、装置、设备及存储介质。
技术介绍
随着人工智能技术的不断成熟，越来越多的应用场景开始支持人机交互，而手势交互则是一种常见的人机交互方式。手势交互的关键在于三维手势骨架构建。在一种手势构建方式中，终端通过深度摄像头进行图像采集，并标记出深度图片中手指关节的三维坐标，从而绘制出手势对应的三维手势骨架。为了提高深度图片中手势图像的识别准确性，用户需要在距离深度摄像头预定距离的区域进行手势交互，比如，在距离摄像头1至1.5米处进行手势交互。后续终端即根据深度图片中各个像素点的深度值去除深度图片中的干扰因素，进而提取出深度图片中的手势图像。然而，采用上述方法进行手势交互时，若用户未在预定距离处进行手势交互，终端识别手势图像的准确率降低，导致三维手势骨架构建的准确率较低，甚至无法构建，影响手势交互的交互效果。
技术实现思路
本申请实施例提供了一种手势骨架构建方法、装置、设备及存储介质，可以解决相关技术中，用户未在预定距离处进行手势交互时，终端识别手势图像的准确率降低，导致三维手势骨架构建的准确率较低，甚至无法构建，影响手势交互效果的问题。所述技术方案如下：第一方面，提供了一种手势骨架构建方法，所述方法包括：将深度图片输入手势分割神经网络，输出手部置信区域，所述深度图片中包含各个像素点的深度值，所述深度值用于表征像素点对应物体与深度摄像头之间的距离；根据所述手部置信区域中各个像素点的所述深度值，从所述深度图片中提取出手部图像；将所述手部图像输入手势识别神经网络，得到手部各个关节的三维坐标；根据所述三维坐标在三维空间中构建手势骨架。第二方面，提供了一种手势骨架构建装置，所述装置包括：第一输入模块，用于将深度图片输入手势分割神经网络，输出手部置信区域，所述深度图片中包含各个像素点的深度值，所述深度值用于表征像素点对应物体与深度摄像头之间的距离；提取模块，用于根据所述手部置信区域中各个像素点的所述深度值，从所述深度图片中提取出手部图像；第二输入模块，用于将所述手部图像输入手势识别神经网络，得到手部各个关节的三维坐标；构建模块，用于根据所述三维坐标在三维空间中构建手势骨架。第三方面，提供了一种手势骨架构建设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器执行以实现如第一方面所述的手势骨架构建方法。第四方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器执行以实现如第一方面所述的手势骨架构建方法。本申请实施例提供的技术方案带来的有益效果包括：通过将深度图片输入手势分割神经网络，从而利用该手势分割神经网络识别深度图片中的手部置信区域，并基于该手部置信区域中各个像素点的深度值，提取出深度图片中的手部图像，进而将手部图像输入手势识别神经网络，得到手部各个关键的三维坐标，最终根据三维坐标构建出手势骨架。相较于相关技术中需要在指定区域进行手势交互，本实施例中，借助手势分割神经网络输出的手部置信区域进行手部图像提取，用户可以在深度摄像头前任意区域进行手势交互，有助于提高识别手势图像以及构建手势骨架的准确率，以及后续手势交互的交互效果。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1示出了本申请一个实施例提供的手势骨架构建方法所涉及实施环境的示意图；图2是本申请实施例提供的手势骨架构建方法的流程示意图；图3A示出了本申请一个实施例提供的手势骨架构建方法的流程图；图3B是样本深度图片的示意图；图4示出了本申请另一个实施例提供的手势骨架构建方法的流程图；图5是对深度图片进行去背景处理的实施示意图；图6是本申请一个实施例提供的手势分割神经网络的网络结构图；图7是对概率矩阵进行二值化处理的实施示意图；图8是本申请一个实施例提供的手势识别神经网络的网络结构图；图9示出了本申请一个实施例提供的手势骨架构建装置的框图；图10示出了本申请一个示例性实施例提供的终端的结构框图。具体实施方式为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。为了方便理解，下面对本申请实施例中涉及的名词进行解释。深度图片：指通道中存储有深度信息(即深度值)的图片，深度图片采用专用深度拍摄设备拍摄得到。常见的深度拍摄设备基于结构光拍摄深度图片。深度拍摄设备拍摄深度图片的原理为：深度拍摄设备将结构光(点、线、面等模式图案)投射到拍摄场景，并通过其深度摄像头采集带有结构光的图像。由于结构光的模式图案会因物体的形状发生形变，因此根据采集到图像的形变程度即可计算出场景中各个物体的深度信息。本专利技术实施例中，该深度图片是采用无符号16位整数型(UnsignedInteger16，UINT16)存储的单通道图，其中，深度图片中每个像素点的深度值表示该像素点对应的物体与深度摄像头之间的距离，深度值越大，表示该像素点对应的物体与深度摄像头之间的距离越远。在一种可能的实施方式中，该深度图片采用32位的红绿蓝(RedGreenBlue，RGB)图进行存储。其中，第一个R通道中存储标签信息，对于判断为手部区域的像素点，且取值为255，其他非手部区域像素点的取值为0。G通道和B通道分别存储深度值的前8位以及后8位信息，进行组合后可以得到UINT16格式的深度值，采用这种方式，一张32位RGB图片就可以同时存储标签信息和深度值。卷积(convolution)激活(activation)层：卷积神经网络中用于提取特征的层，分为卷积操作和激活操作两部分。其中，进行卷积操作时，使用预先经过训练学习得到的卷积核进行特征提取，进行激活操作时，使用激活函数(activationfunction)对卷积得到的特征图进行激活处理，常用的激活函数包括线性整流(RectifiedLinearUnit，ReLU)函数、S型(Sigmoid)函数和双曲正切(Tanh)函数。池化(pooling)层：通常位于卷积神经网络中卷积激活层之后，用于降低卷积激活层输出的特征向量(即缩小特征图的尺寸)，同时改善过拟合问题。常用的池化方式包括平均池化(mean-pooling)、最大池化(max-pooling)和随机池化(stochastic-pooling)。反卷积层(deconvolution)层：卷积神经网络中用于对特征向量进行上采样的层，即用于增大特征图的尺寸。拼接：本申请实施例中，拼接是指将两张同尺寸的多通道特征图进行融合过程。残差网络(ResidualNetwork，ResNet)：一种通过ResNet结构进行特征提取的层结构，本申请实施例中，ResNet用于对提取出的手部图像进行特征提取。内积层：又称为全连接层。在卷积神经网络中，经过卷积激活层、池化层处理后本文档来自技高网...

【技术保护点】
1.一种手势骨架构建方法，其特征在于，所述方法包括：将深度图片输入手势分割神经网络，输出手部置信区域，所述深度图片中包含各个像素点的深度值，所述深度值用于表征像素点对应物体与深度摄像头之间的距离；根据所述手部置信区域中各个像素点的所述深度值，从所述深度图片中提取出手部图像；将所述手部图像输入手势识别神经网络，得到手部各个关节的三维坐标；根据所述三维坐标在三维空间中构建手势骨架。

【技术特征摘要】
1.一种手势骨架构建方法，其特征在于，所述方法包括：将深度图片输入手势分割神经网络，输出手部置信区域，所述深度图片中包含各个像素点的深度值，所述深度值用于表征像素点对应物体与深度摄像头之间的距离；根据所述手部置信区域中各个像素点的所述深度值，从所述深度图片中提取出手部图像；将所述手部图像输入手势识别神经网络，得到手部各个关节的三维坐标；根据所述三维坐标在三维空间中构建手势骨架。2.根据权利要求1所述的方法，其特征在于，所述手势分割神经网络包括2n+1级卷积激活层、n级池化层和n级反卷积层，n≥2，n为整数；所述将深度图片输入手势分割神经网络，输出手部置信区域，包括：通过2n+1级所述卷积激活层、n级所述池化层和n级所述反卷积层，对所述深度图片进行处理，得到所述深度图片对应的目标特征图；根据所述目标特征图输出所述手部置信区域；其中，所述卷积激活层用于提取特征，所述池化层用于缩小特征图的尺寸，所述反卷积层用于放大特征图的尺寸。3.根据要求2所述的方法，其特征在于，所述通过2n+1级所述卷积激活层、n级所述池化层和n级所述反卷积层，对所述深度图片进行处理，得到所述深度图片对应的目标特征图，包括：通过第1至第n级卷积激活层和所述n级池化层，对所述深度图片进行卷积激活以及池化处理，得到中间特征图，所述中间特征图的通道数大于所述深度图片的通道数，且所述中间特征图的尺寸小于所述深度图片的尺寸；通过第n+1至第2n+1级卷积激活层和所述n级反卷积层，对所述中间特征图进行卷积激活以及反卷积处理，得到所述目标特征图，所述中间特征图的通道数等于所述深度图片的通道数，且所述目标特征图的尺寸等于所述深度图片的尺寸。4.根据权利要求23所述的方法，其特征在于，所述通过第1至第n级卷积激活层和所述n级池化层，对所述深度图片进行卷积激活以及池化处理，得到中间特征图，包括：通过第i级卷积激活层对第i-1特征图进行卷积激活处理，并将处理后的所述第i-1特征图输入第i级池化层，2≤i≤n；通过所述第i级池化层对处理后的所述第i-1特征图进行池化处理，得到第i特征图；将所述第i特征图输入第i+1级卷积激活层。5.根据权利要求3所述的方法，其特征在于，所述通过第n+1至第2n+1级卷积激活层和所述n级反卷积层，对所述中间特征图进行卷积激活以及反卷积处理，得到所述目标特征图，包括：通过第j级反卷积层对第j+n级卷积激活层输出的特征图进行反卷积处理，1≤j≤n；对反卷积处理后的特征图与第n-j+1级卷积激活层输出的特征图进行拼接，并将拼接后的特征图输入第j+n+1级卷积激活层，所述反卷积处理后的特征图与所述第n-j+1级卷积激活层输出的特征图的尺寸相同；通过第j+n+1级卷积激活层对所述拼接后的特征图进行卷积激活处理。6.根据权利要求2所述的方法，其特征在于，所述根据所述目标特征图输出所述手部置信区域，包括：根据所述目标特征图对所述深度图片中的各个像素点进行识别分类，生成概率矩阵，所述概率矩阵用于表征所述深度图片中各个像素点是手部的概率，所述概率矩阵与所述深度图片的尺寸相同；对所述概率矩阵进行二值化处理，输出所述手部区域对应的评分图，所述评分图用于指示所述深度图片中的所述手部置信区域。7.根据权利要求1至6任一所述的方法，其特征在于，所述根据所述手部置信区域的深度值，从所述深度图片中提取出手部图像，包括：根据所述手部置信区域从所述深度图片中提取出候选图像，所述候选图像中包含所述...

【专利技术属性】
技术研发人员：赵世杰，左小祥，李峰，程君，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44