基于级联并行卷积神经网络的多手姿态关键点估计方法技术

本发明专利技术公开了一种基于级联并行卷积神经网络的多手姿态关键点估计方法，包括：获取公开数据集手势图片和标签文件，对于所述手势图片进行多手关键点标签补齐，制得多手手势数据集；基于公开数据集和所述多手手势数据集，搭建多手目标检测网络，用于通过训练实现对图像中多手目标检测；针对同样的手势图像数据集及手势的关键点标签搭建手部姿态关键点估计网络，用于通过训练实现对图像中手部姿态关键点估计；将多手目标检测网络检测多目标中心点的坐标输出，作为手部姿态关键点估计网络的前端作为输入的一部分；利用手部姿态关键点估计网络进行训练，得到模型，从而实现对图像中多手姿态关键点估计。提高了多手手部关键点估计速度和识别准确率。

【技术实现步骤摘要】
基于级联并行卷积神经网络的多手姿态关键点估计方法
本专利技术属于计算机视觉
，涉及一种估计方法，特别涉及一种基于级联并行卷积神经网络的多手姿态关键点估计方法。
技术介绍
手势是人类交流的一种自然形式。手在日常生活中扮演的重要角色同时也是我们与世界互动的方式:使用工具，演奏乐器，触摸，做手势。手势的重要性使手势自动识别技术占据了计算机视觉研究的一个重要领域，在人机接口中有着广泛的应用。消费者市场的需求推动了智能手势识别技术的发展，一些虚拟现实(VirtualReality，VR)、增强现实(AugmentedReality，AR)产品更多的投入市场。其中手部姿态关键点估计是手势识别的重要内容，是人机交互、虚拟现实、增强现实等实际应用中的关键步骤。因此，基于视觉的手部姿态关键点估计的理论以及技术的研究更具有实际应用价值。现有的手部姿态关键点估计通常是在裁剪后的图像区域进行的，该区域包含固定尺度的单手，对于不同尺度下手部区域的检测还没有得到充分的研究。而通常一幅图像中有多个手部，由于视线距离或手部的物理尺寸而导致其尺度不同，单手检测只能将其分割成多个单手输入再进行整合，这样将消耗大量资源，效率低下，因此研究算法应该能够准确、稳健、同时定位手部区域，从而实现多手手部姿态关键点估计。综上所述，实现手部姿态关键点估计已成为当前计算机视觉领域的热点问题，且具有重要的意义和研究价值。但由于姿势和外观的歧义，强烈的清晰度，和严重的自遮挡以及彩色图像中灵活的手指运动和外观模糊，相似的手色和背景色等问题使得实现这一目标仍然具有挑战性。
技术实现思路
为了解决现有手部姿态关键点估计卷积神经网络模型识别多手不准确，耗时及计算量大导致的网络模型应用受限的技术问题，本专利技术的目的在于，提供一种基于级联并行卷积神经网络的多手姿态关键点估计方法，能够提升识别速度和准确率。为了实现上述任务，本专利技术采用如下的技术解决方案：一种基于级联并行卷积神经网络的多手姿态关键点估计方法，其特征在于，包括以下步骤：步骤一，获取公开数据集手势图片和标签文件，对于所述手势图片进行多手关键点标签补齐，制得多手手势数据集；步骤二，基于公开数据集和所述多手手势数据集，搭建多手目标检测网络，用于通过训练实现对图像中多手目标检测；针对同样的手势图像数据集及手势的关键点标签搭建手部姿态关键点估计网络，用于通过训练实现对图像中手部姿态关键点估计；步骤三，将多手目标检测网络检测多目标中心点的坐标输出，作为手部姿态关键点估计网络的前端作为输入的一部分；步骤四，利用手部姿态关键点估计网络进行训练，得到模型，从而实现对图像中多手姿态关键点估计。根据本专利技术，步骤一所述的多手手势数据集制作方法为：图像数据集包含原始样本图像及对原始样本图像进行手工补齐标注后的标签图像，其中，补齐后的标注信息记录的图像手部关键点标签与原始图像一一对应；采用对原始图像做镜面对称处理的方式重新标记对应图像，以达到强化静态数据集的目的。进一步地，步骤二中所述的多手目标检测网络为YOLO网络；手部姿态关键点估计网络为Hrnet人脸检测网络迁移学习为手部姿态关键点估计网络。具体地，步骤二中所述的手部姿态关键点估计网络对所述手部图像进行归一化处理，经过基础提取特征的前期卷积网络后，采用四个连续的多尺度多分辨率的级联并行卷积神经网络进行关节点预测，通过高分辨率的第一层子网，后面网络并行连接高低分辨率子网并且不同分辨率的图像采样到相同尺度反复的融合，即每一层并行子网的分辨率都由前一层高分辨率和依次下降的分辨率组成；得到位置预测结果，所述位置预测结果包括所述手部姿态关键点的位置。进一步优选地，步骤三中所述多手目标检测网络输出一张图片的多个手掌中心点坐标(x1,y1),(x2,y2).......(xn,yn)，并将其写入手部姿态关键点估计网络的数据输入文件，所述数据集原图像，标签以及手掌中心点坐标进行级联并行卷积神经网络的多手姿态关键点估计的深度学习网络的训练。本专利技术的基于级联并行卷积神经网络的多手姿态关键点估计方法，与现有技术相比，具有以下优点：1、使用大型的公开数据集对手部姿态关键点估计网络预训练，得到神经网络模型的基础权重，使用补齐标签的多手手势数据集对神经网络模型的基础权重进行微调，得到泛化能力更好的手部姿态关键点估计网络模型，该方法有效地解决了手势图片数据匮乏导致的卷积神经网络模型过拟合问题，大幅提高了训练所得手部姿态关键点估计网络模型的准确率和鲁棒性。同时快速训练适用于更多手势类型的新网络模型。2、由于将两个单一功能的卷积神经网络结合，利用多目标检测网络得到手掌中心坐标作为手部姿态关键点估计网络的部分输入，有效解决了单一手部姿态关键点估计网络模型找手不准确的的问题，从而实现多手手部姿态关键点检测。3、由于直接输入是多手图片，输出的也是识别后的多手手部关键点图片，所以该框架有端到端的优点，以上特性，不仅提高了多手手部关键点估计的速度，更大大的提高了识别准确率。附图说明图1是本专利技术的基于级联并行卷积神经网络的多手姿态关键点估计方法流程图。图2是本专利技术的基于级联并行卷积神经网络的多手姿态关键点估计方法框架图。图3是手部姿态关键点估计网络的框架图。图4是是手部姿态关键点估计网络的高分辨率模块框架图。图5是手部姿态关键点估计网络的关键点预测模块框架图。图6是采用本专利技术的方法结果示意图。下面结合附图和具体实施例进一步阐述本专利技术。具体实施方式首先需要说明的是，以下的实施例是较优的例子，应理解，本专利技术不限于这些实施例。本领域普通技术人员可以对本专利技术的技术方案作各种添加、替换或改动，这些等价形式同样属于本专利技术的保护范围。实施例：如图1和图2所示，本实施例给出一种基于级联并行卷积神经网络的多手姿态关键点估计方法，包括：获取公开数据集手势图片和标签文件，基于公开数据集和多手手势数据集，搭建多手手部姿态关键点检测的级联并行卷积神经网络，用于通过训练实现对图像中多手目标检测，多目标中心点的坐标输出；基于所述手势图片数据集，对所述手势图片进行多手关键点标签补齐，制得新的多手手势数据集。所述多手手势数据集的制作方法为：图像数据集包含原始样本图像及对原始样本图像进行手工补齐标注后的标签图像，其中，补齐后的标注信息记录的图像手部关键点标签与原始图像一一对应；采用对原始图像做镜面对称处理的方式重新标记对应图像，以达到强化静态数据集的目的。所述的多手手部姿态关键点检测的级联并行卷积神经网络是指：多手目标检测网络和手部姿态关键点估计网络；其中，多手目标检测网络为YOLO网络，是基于公开数据集和所述多手手势数据集搭建的，用于通过训练实现对图像中多手目标检测；手部姿态关键点估计网络为Hrnet人脸检测网络迁移学习为手部姿态关键点估计网络，是针对同样的手势图像数据集及手势的关键点标签所搭建的，用于通过训练实现对图像中手部姿态关键本文档来自技高网...

【技术保护点】
1.一种基于级联并行卷积神经网络的多手姿态关键点估计方法，其特征在于，包括如下步骤：/n步骤一，获取公开数据集手势图片和标签文件，对于所述手势图片进行多手关键点标签补齐，制得多手手势数据集；/n步骤二，基于公开数据集和所述多手手势数据集，搭建多手目标检测网络，用于通过训练实现对图像中多手目标检测；针对同样的手势图像数据集及手势的关键点标签搭建手部姿态关键点估计网络，用于通过训练实现对图像中手部姿态关键点估计；/n步骤三，将多手目标检测网络检测多目标中心点的坐标输出，作为手部姿态关键点估计网络的前端作为输入的一部分；/n步骤四，利用手部姿态关键点估计网络进行训练，得到模型，从而实现对图像中多手姿态关键点估计。/n

【技术特征摘要】
1.一种基于级联并行卷积神经网络的多手姿态关键点估计方法，其特征在于，包括如下步骤：
步骤一，获取公开数据集手势图片和标签文件，对于所述手势图片进行多手关键点标签补齐，制得多手手势数据集；
步骤二，基于公开数据集和所述多手手势数据集，搭建多手目标检测网络，用于通过训练实现对图像中多手目标检测；针对同样的手势图像数据集及手势的关键点标签搭建手部姿态关键点估计网络，用于通过训练实现对图像中手部姿态关键点估计；
步骤三，将多手目标检测网络检测多目标中心点的坐标输出，作为手部姿态关键点估计网络的前端作为输入的一部分；
步骤四，利用手部姿态关键点估计网络进行训练，得到模型，从而实现对图像中多手姿态关键点估计。


2.如权利要求1所述的方法，其特征在于，步骤一所述的多手手势数据集制作方法为：图像数据集包含原始样本图像及对原始样本图像进行手工补齐标注后的标签图像，其中，补齐后的标注信息记录的图像手部关键点标签与原始图像一一对应；采用对原始图像做镜面对称处理的方式重新标记对应图像，以达到强化静态数据集的目的。

【专利技术属性】
技术研发人员：李斌，李红颖，彭进业，范建平，乐明楠，张薇，刘宇馨，
申请(专利权)人：西北大学，
类型：发明
国别省市：陕西;61