一种基于手部关节的人手姿态估计方法及系统技术方案

本发明专利技术提出了一种基于手部关节的人手姿态估计方法及系统，包括以下步骤：S1、采集人手初始图像，并进行预处理，得到多个手部关节图像；S2、使用HRNet网络根据手部关节特征对多个手部关节图像进行特征提取，得到多个手部关节特征图像；S3、根据多个手部关节特征图像分别使用二维关节预测网络进行手部关节的概率密度图预测，得到多个关键点热图；S4、将多个关键点热图合并，得到人手分布图并进行优化得到人手关节姿态特征图；S5、根据人手分布图和人手关节姿态特征图预测人手姿态，得到人手关节三维坐标。本申请通过HRNet网络对手部关节图像进行特征提取，降低HRNet网络的复杂度和计算量的同时保证特征提取的精确度。量的同时保证特征提取的精确度。量的同时保证特征提取的精确度。

【技术实现步骤摘要】
一种基于手部关节的人手姿态估计方法及系统


[0001]本专利技术涉及计算机视觉
，尤其涉及一种基于手部关节的人手姿态估计方法及系统。

技术介绍

[0002]在现实生活中，人手姿态估计广泛应用于许多领域。例如人机交互，手势识别，虚拟现实和增强现实等。起初，研究单目人手姿态估计的方法主要通过深度图来实现。但鉴于RGB相机比深度相机更容易获得且更具有普遍性，目前大多数的研究以单目RGB图像为主。但其存在缺乏深度信息以及严重的手
‑
手/物遮挡问题。现阶段，单目人手姿态估计大致分为基于数据驱动的方法和基于模型的方法。Zimmermann等人首次提出通过深度学习来进行单目RGB图像中的人手三维姿态估计，该方法通过渲染合成人手数据集来模拟不同的手姿态，但其采用的模型比较简单，估计出的3D人手姿态仍有较大改进空间。Ge等人提出了点对点回归预测关节点网络并且直接将3D点云作为该网络的输入，同时输出逐点估计，但该方法需要大量3D点云数据，导致数据收集和处理的成本较高。ROMERO等人提出MANO参数模型用于3D人手重建，该模型是通过对31名受试者的手部进行1000次高分辨率的3D扫描，以学习各种各样的手部姿势，而且MANO模型可以只输入少量的模型参数，就能生成任意的手部姿势，但该数据集缺少表皮部分，而且早期的用于人手姿态估计的性能比较低。Boukhayma等人提出利用一个深度卷积编码器预测手部和相机参数；通过解码器生成由MANO模型产生的3D手部网格，并将生成的手通过重投影模块投影到图像域中，但由于实际中无法准确获取手部掩模，导致预测的关键点在掩模边缘部分准确性不高。Spurr等人首次提出利用大量不含标签的自监督学习的方法来进行人手三维姿态估计,并提出了一个对比学习目标函数，能对外观变换具有不变性，对几何变换具有等变性。
[0003]中国专利CN115170762A公开了一种单视图人手重建方法、设备、及可读存储介质，其使用卷积神经网络得到深层人手特征和二维关节热图，根据二维关节热图提取人手姿态特征，并对深层人手特征进行上采样，与人手姿态特征融合，直至重建得到预设定点数量的三维人手网格模型。
[0004]在以上技术方案中，其利用MANO网格模型输出人手网格从而进行人手的三维重建，但这种方法会增加网络模型计算量和复杂度。

技术实现思路

[0005]有鉴于此，本专利技术提出了一种基于手部关节的人手姿态估计方法及系统，其通过HRNet网络中瓶颈模块和基础模块对手部关节图像进行特征提取，其中基础模块采用深度可分离卷积，输出人手姿态即三维关节位置，降低HRNet网络的复杂度和计算量的同时保证特征提取的精确度。
[0006]本专利技术的技术方案是这样实现的：第一方面，本专利技术提供了一种基于手部关节的人手姿态估计方法，包括以下步骤：
S1、采集人手初始图像，对所述人手初始图像进行预处理，得到多个手部关节图像；S2、使用HRNet网络根据手部关节特征对所述多个手部关节图像进行特征提取，得到多个手部关节特征图像；S3、根据所述多个手部关节特征图像分别使用二维关节预测网络进行手部关节的概率密度图预测，得到多个关键点热图；S4、将所述多个关键点热图合并，得到人手分布图，对所述人手分布图进行优化得到人手关节姿态特征图；S5、根据所述人手分布图和人手关节姿态特征图预测人手姿态，得到人手关节三维坐标，根据所述人手关节三维坐标得到人手姿态估计结果。
[0007]在以上技术方案的基础上，优选的，所述HRNet网络包括瓶颈模块和基础模块，步骤S2具体包括：S21、使用所述瓶颈模块对所述多个手部关节图像进行第一阶段特征提取，得到手部关节图像的第一阶段特征图；S22、使用所述基础模块对第一阶段特征图进行第二阶段特征提取，得到手部关节图像的第二阶段特征图；S23、使用所述基础模块对第二阶段特征图进行第三阶段特征提取，得到第一特征图，将所述第一特征图与第二阶段特征图中最高分辨率特征图进行融合，得到手部关节图像的第三阶段特征图；S24、使用所述基础模块对第三阶段特征图进行第四阶段特征提取，得到第二特征图，将所述第二特征图与第三阶段特征图中最高分辨率特征图进行融合，得到手部关节特征图。
[0008]在以上技术方案的基础上，优选的，步骤S21具体包括：使用瓶颈模块的残差网络对所述多个手部关节图像进行第一阶段特征提取，得到多个第三特征图；使用CBAM注意力机制对所述多个第三特征图进行通道和空间信息整合，得到多个第四特征图；使用连接公式对所述多个第四特征图进行连接，得到手部关节图像的第一阶段特征图。
[0009]在以上技术方案的基础上，优选的，所述连接公式为：；其中，表示第i个手部关节图像的第四特征图，表示第i个第四特征图连接的特征，表示手部关节特征的个数，表示第四特征图通过滤波器进行卷积提取的特征，表示第1个第四特征图，表示第i个手部关节图像的第四特征图与第i
‑
1个第四特征图连接的特征连接后通过滤波器进行卷积提取的特征。
[0010]在以上技术方案的基础上，优选的，步骤S3具体包括：
使用二维关节预测网络根据多个手部关节特征图像生成多张不同关节的概率密度图；计算出所述不同关节的概率密度图中像素点的置信度分数；将所述不同关节的概率密度图中最高置信度分数和次高置信度分数方向的四分之一偏移位置作为概率密度图的关键点，所述关键点构成关键点热图；将所述关键点映射至手部关节特征图像，得到所述关键点的二维坐标。
[0011]在以上技术方案的基础上，优选的，步骤S3中使用关键点坐标公式计算关键点的二维坐标，所述关键点坐标公式如下：；；；其中，表示第j关节像素点对应的二维坐标的横坐标，表示第j关节像素点对应的二维坐标的纵坐标，x表示最高置信度分数对应像素点的横坐标，y表示最高置信度分数对应像素点的纵坐标，表示概率密度图中最高置信度分数对应像素点的x坐标，表示概率密度图中最高置信度分数对应像素点的y坐标，表示与第j关节概率面密度图中最高置信度分数对应像素点坐标相邻右边的置信度分数；表示与第j关节概率面密度图中最高置信度分数对应的像素点坐标相邻左边的置信度分数，表示第j关节的分布图，表示热图中坐标为对应的像素点，表示第j关节的概率密度图，表示第j关节关键点热图。
[0012]在以上技术方案的基础上，优选的，步骤S4具体包括：将所述多个关键点热图合并，得到人手分布图；根据所述人手分布图确定人手的分布区域，将所述人手的分布区域作为感兴趣区域；对所述感兴趣区域进行使用关节姿态编码器进行优化，得到人手关节姿态特征图。
[0013]更进一步优选的，步骤S5中采用两个级联的组卷积进行特征提取，并使用shuffle操作预测人手姿态。
[0014]第二方面，本专利技术还提供了一种基于手部关节的人手姿态估计系统，采用如上述任一项所述的基于手部关节的人手姿态估计方法，包括：采集模块，用于采集人手初始图像，根据手部关节特征对所述人手初始图像进行预处理，得到多个手部关节图像；特征提取模块，用于使用HRNet网络对所述多个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于手部关节的人手姿态估计方法，其特征在于：包括以下步骤：S1、采集人手初始图像，对所述人手初始图像进行预处理，得到多个手部关节图像；S2、使用HRNet网络根据手部关节特征对所述多个手部关节图像进行特征提取，得到多个手部关节特征图像；S3、根据所述多个手部关节特征图像分别使用二维关节预测网络进行手部关节的概率密度图预测，得到多个关键点热图；S4、将所述多个关键点热图合并，得到人手分布图，对所述人手分布图进行优化得到人手关节姿态特征图；S5、根据所述人手分布图和人手关节姿态特征图预测人手姿态，得到人手关节三维坐标，根据所述人手关节三维坐标得到人手姿态估计结果。2.如权利要求1所述的一种基于手部关节的人手姿态估计方法，其特征在于：所述HRNet网络包括瓶颈模块和基础模块，步骤S2具体包括：S21、使用所述瓶颈模块对所述多个手部关节图像进行第一阶段特征提取，得到手部关节图像的第一阶段特征图；S22、使用所述基础模块对第一阶段特征图进行第二阶段特征提取，得到手部关节图像的第二阶段特征图；S23、使用所述基础模块对第二阶段特征图进行第三阶段特征提取，得到第一特征图，将所述第一特征图与第二阶段特征图中最高分辨率特征图进行融合，得到手部关节图像的第三阶段特征图；S24、使用所述基础模块对第三阶段特征图进行第四阶段特征提取，得到第二特征图，将所述第二特征图与第三阶段特征图中最高分辨率特征图进行融合，得到手部关节特征图像。3.如权利要求2所述的一种基于手部关节的人手姿态估计方法，其特征在于：步骤S21具体包括：使用瓶颈模块的残差网络对所述多个手部关节图像进行第一阶段特征提取，得到多个第三特征图；使用CBAM注意力机制对所述多个第三特征图进行通道和空间信息整合，得到多个第四特征图；使用连接公式对所述多个第四特征图进行连接，得到手部关节图像的第一阶段特征图。4.如权利要求3所述的一种基于手部关节的人手姿态估计方法，其特征在于：所述连接公式为：；其中，表示第i个手部关节图像的第四特征图，表示第i个第四特征图连接的特征，表示手部关节特征的个数，表示第四特征图通过滤波器进行卷积提取的特征，表示第1个第四特征图，表示第i个手部关节图像的第四特征图与第i
‑
1个第四特征图连
接的特征连接后通过滤波器进行卷积提取的特征。5.如权利要求1所述的一种基于手部关节的人手姿态估计方法，其特征在于：步骤S3具体包括：使用二维关节预测网络根据多个手部关节特征图像生成多张不同关节的概率密度图；计算出所述不同关节的概率密度图中像素点的置信度分数；将所述不同关节的概率密度图中最高置信度分数和次高置信度分数方向的四分之一偏移位置作为概...

【专利技术属性】
技术研发人员：刘李漫，李生玲，田金山，韩逸飞，胡怀飞，唐奇伶，
申请(专利权)人：中南民族大学，
类型：发明
国别省市：