一种基于深度学习的手姿估计与识别的方法、设备及介质技术

本申请公开了一种基于深度学习的手姿估计与识别的方法、设备及介质，方法包括：对目标图像进行预处理，以得到中间图像；将中间图像输入至预设特征提取模块，以得到目标图像对应的第一手部特征以及物体特征；通过手物交互模块对第一手部特征以及物体特征进行上下文推理，以增强第一手部特征，得到第二手部特征；通过将第二手部特征输入至多任务联合学习模块，以得到目标图像对应的手姿识别结果以及手势识别结果。通过利用改进的Transformer增强手部特征，能够提高手势识别的准确率。可同时解决手势识别任务和手势姿态估计任务，手势姿态估计任务的输出二维关节点热图被用作手势识别任务的输入，从而提高了网络对手势的识别能力。力。力。

【技术实现步骤摘要】
一种基于深度学习的手姿估计与识别的方法、设备及介质


[0001]本申请涉及视觉识别领域，具体涉及一种基于深度学习的手姿估计与识别的方法、设备及介质。

技术介绍

[0002]手势识别是指通过计算机视觉技术，从图像或视频流中提取手部、身体姿态等信息，识别出用户的手势行为。早期的手势识别方法主要依赖于手势的形状和动作等人工提取的特征，需要手动设计特征提取算法，并且根据规则进行分类，但是由于手工设计的特征可能不够全面，而且无法适应复杂场景，所以准确率和鲁棒性较差。
[0003]手势姿态估计是指通过计算机视觉技术，从图像或视频中检测并估计人手的姿态，该技术主要依赖于从单个或多个传感器中获取的深度图像或RGB图像，并通过机器学习或计算机视觉算法进行处理，以获取手部姿态信息。早期的手势估计方法主要基于传感器，这种方法有一定的局限性，例如精度有限、舒适度较差等问题。这些传感器设备需要与人体接触或者紧密贴合，可能会影响使用者的舒适度和自然行为，因此在长时间的使用过程中可能会引起不适感。此外，传感器设备需要进行校准，才能得到准确的姿态估计结果，也会增加使用的难度和时间成本，这对于一些普通用户而言不太友好。
[0004]手势识别和手势姿态估计是计算机视觉领域中的两个重要问题，而在手部交互场景中，由于手部经常会被物体遮挡，因此利用单目RGB图像来实现手势识别和手势姿态估计仍然具有很大的挑战。

技术实现思路

[0005]为了解决上述问题，本申请提出了一种方法、设备及介质，其中方法包括：
[0006]获取目标图像，对所述目标图像进行预处理，以得到中间图像；将所述中间图像输入至预设特征提取模块，以得到所述目标图像对应的第一手部特征以及物体特征；通过手物交互模块对所述第一手部特征以及所述物体特征进行上下文推理，以增强所述第一手部特征，得到第二手部特征；通过将所述第二手部特征输入至多任务联合学习模块，以得到所述目标图像对应的手姿识别结果以及手势识别结果。
[0007]在一个示例中，所述对所述目标图像进行预处理，具体包括：根据预设感兴趣特征，提取所述目标图片中的感兴趣区域图片；对所述感兴趣区域图片进行切割，以得到第一预设尺寸的所述中间图像。
[0008]在一个示例中，所述预设特征提取模块由具有残差神经网路的编码器和RoiAlign算法组成；所述特征提取器采用具有残差连接结构的ResNet
‑
50网络；所述将所述中间图像输入至预设特征提取模块，以得到所述目标图像对应的第一手部特征以及物体特征，具体包括：将第一预设尺寸的所述中间图像传入所述特征提取器，以得到第二预设尺寸的中间特征图；使用RoI Align算法处理所述中间特征图，以在所述中间特征图中分别提取手和物体的特征图，以得到第三预设尺寸下的所述第一手部特征以及所述物体特征。
[0009]在一个示例中，所述通过手物交互模块对所述第一手部特征以及所述物体特征进行上下文推理，以增强所述第一手部特征，得到第二手部特征，具体包括：通过预设的第一参数矩阵将所述第一手部特征转化为键嵌入，通过第二参数矩阵、第三参数矩阵将所述物体特征转化为查询嵌入和值嵌入；改进Transformer模型中的自注意力机制，以提高改进后的Transformer模型的特征表征能力；通过改进后的Transformer模型，对所述第一手部特征以及所述物体特征进行上下文推理，以增强所述第一手部特征，得到第二手部特征。
[0010]在一个示例中，所述通过改进后的Transformer模型，对所述第一手部特征以及所述物体特征进行上下文推理，以增强所述第一手部特征，得到第二手部特征，具体包括：使用k
×
k组卷积，对空间上k
×
k网格内的所有相邻键嵌入进行上下文编码，以使编码后的键嵌入具备上下文信息，并通过1
×
1卷积对值嵌入进行编码；将编码后的所述键嵌入与的哈巡检如拼接，然后通过两个1
×
1卷积和softmax激活函数来生成注意力矩阵；利用深度可分离卷积，捕捉所述第一手部特征的局部特征，然后将所述局部特征与注意力模块输出值进行拼接，以得到键嵌入特征；将所述键嵌入特征送入由多层感知机和层归一化组成的前馈网络中；将所述前馈网络的输出和键嵌入特征融合，得到所述第二手部特征。
[0011]在一个示例中，所述通过将所述第二手部特征输入至多任务联合学习模块，以得到所述目标图像对应的手姿识别结果以及手势识别结果，具体包括：将所述第二手部特征输入至多任务联合学习模块中的二维特征点检测网络以及深度回归网络中，以得到二维关节点热图和所述手姿识别结果；将所述二维关节点热图以及所述第二手部特征输入至手势识别网络，以得到所述手势识别结果。
[0012]在一个示例中，所述将所述第二手部特征输入至多任务联合学习模块中的二维关节点定位网络以及深度回归网络中，以得到二维关节点热图和所述手姿识别结果，具体包括：将所述第二手部特征输入至所述二维关节点定位网络中的堆叠沙漏网络中，以确定二维关节点热图；将预测关节点位置与真是关节点位置之差作为所述二维关节点定位网络的损失函数；具体定义如下：
[0013][0014]其中，L
2D
表示损失函数，K表示关节点数，p
j
表示关节点的预测位置，表示关节点的真实位置；通过将所述二维关节点热图以及所述第二手部特征输入至深度回归网络，以得到MANO模型参数化的手姿参数；通过所述手姿参数，确定所述手姿识别结果。
[0015]在一个示例中，所述将所述二维关节点热图以及所述第二手部特征输入至手势识别网络，以得到所述手势识别结果，具体包括：通过1
×
1卷积，将所述二维关节点热图以及所述第二手部特征结合，并输入至所述手势识别网络中；通过所述手势识别网络在时间轴上使用手势识别网络进行卷积操作，以提取手势序列中的动态特征；根据所述动态特征，确定所述手势识别网络。
[0016]本申请还提供了一种基于深度学习的手姿估计与识别的设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处
理器能够执行：获取目标图像，对所述目标图像进行预处理，以得到中间图像；将所述中间图像输入至预设特征提取模块，以得到所述目标图像对应的第一手部特征以及物体特征；通过手物交互模块对所述第一手部特征以及所述物体特征进行上下文推理，以增强所述第一手部特征，得到第二手部特征；通过将所述第二手部特征输入至多任务联合学习模块，以得到所述目标图像对应的手姿识别结果以及手势识别结果。
[0017]本申请还提供了一种非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为：获取目标图像，对所述目标图像进行预处理，以得到中间图像；将所述中间图像输入至预设特征提取模块，以得到所述目标图像对应的第一手部特征以及物体特征；通过手物交互模块对所述第一手本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的手姿估计与识别的方法，其特征在于，包括：获取目标图像，对所述目标图像进行预处理，以得到中间图像；将所述中间图像输入至预设特征提取模块，以得到所述目标图像对应的第一手部特征以及物体特征；通过手物交互模块对所述第一手部特征以及所述物体特征进行上下文推理，以增强所述第一手部特征，得到第二手部特征；通过将所述第二手部特征输入至多任务联合学习模块，以得到所述目标图像对应的手姿识别结果以及手势识别结果。2.根据权利要求1所述的方法，其特征在于，所述对所述目标图像进行预处理，具体包括：根据预设感兴趣特征，提取所述目标图片中的感兴趣区域图片；对所述感兴趣区域图片进行切割，以得到第一预设尺寸的所述中间图像。3.根据权利要求1所述的方法，其特征在于，所述预设特征提取模块由具有残差神经网路的编码器和RoiAlign算法组成；所述特征提取器采用具有残差连接结构的ResNet
‑
50网络；所述将所述中间图像输入至预设特征提取模块，以得到所述目标图像对应的第一手部特征以及物体特征，具体包括：将第一预设尺寸的所述中间图像传入所述特征提取器，以得到第二预设尺寸的中间特征图；使用RoI Align算法处理所述中间特征图，以在所述中间特征图中分别提取手和物体的特征图，以得到第三预设尺寸下的所述第一手部特征以及所述物体特征。4.根据权利要求1所述的方法，其特征在于，所述通过手物交互模块对所述第一手部特征以及所述物体特征进行上下文推理，以增强所述第一手部特征，得到第二手部特征，具体包括：通过预设的第一参数矩阵将所述第一手部特征转化为键嵌入，通过第二参数矩阵、第三参数矩阵将所述物体特征转化为查询嵌入和值嵌入；改进Transformer模型中的自注意力机制，以提高改进后的Transformer模型的特征表征能力；通过改进后的Transformer模型，对所述第一手部特征以及所述物体特征进行上下文推理，以增强所述第一手部特征，得到第二手部特征。5.根据权利要求4所述的方法，其特征在于，所述通过改进后的Transformer模型，对所述第一手部特征以及所述物体特征进行上下文推理，以增强所述第一手部特征，得到第二手部特征，具体包括：使用k
×
k组卷积，对空间上k
×
k网格内的所有相邻键嵌入进行上下文编码，以使编码后的键嵌入具备上下文信息，并通过1
×
1卷积对值嵌入进行编码；将编码后的所述键嵌入与的哈巡检如拼接，然后通过两个1
×
1卷积和softmax激活函数来生成注意力矩阵；利用深度可分离卷积，捕捉所述第一手部特征的局部特征，然后将所述局部特征与注意力模块输出值进行拼接，以得到键嵌入特征；
将所述键嵌入特征送入由多层感知机和层归一化组成的前馈网络中；将所述前馈网络的输出和键嵌入特征融合，得到所述第二手部特征。6....

【专利技术属性】
技术研发人员：尹青山，冯落落，高岩，
申请(专利权)人：山东新一代信息产业技术研究院有限公司，
类型：发明
国别省市：