手势识别方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种手势识别方法、装置、计算机设备和存储介质。所述方法包括：获取待检测图像，并通过手部检测模型对所述待检测图像进行手部检测。当检测出图像中有手存在时，从图像中裁剪出手部图像。分别通过静态手势分类模型、单点热力图回归模型以及全局热力图回归模型对手部图像进行处理以得到对应的手势类型识别结果。综合静态手势分类模型、单点热力图回归模型以及全局热力图回归模型所得到的手势类型识别结果，得到目标手势类型。采用本方法有效地解决了复杂环境下手势识别模型容易受到干扰的问题，极大地提高了手势识别的准确率。

【技术实现步骤摘要】
手势识别方法、装置、计算机设备和存储介质
本申请涉及图像识别
，特别是涉及一种手势识别方法、装置、计算机设备和存储介质。
技术介绍
随着计算机视觉技术的发展，以前可通过人眼进行的各种重要的信息交流方式，逐渐在智能设备中得到了应用，手部的表达信息便是其中重要的一种。在虚拟现实或增强现实等应用场景下，智能识别手部姿态信息是非常关键的技术，在其他需要进行信息交互的场景中同样如此，例如汽车内的多媒体系统控制、外科手术机器人控制以及手语交流等。但在传统技术中，手势识别的准确率较低。
技术实现思路
基于此，有必要针对上述技术问题，提供一种能够适用于复杂场景的手势识别方法、装置、计算机设备和存储介质。一种手势识别方法，所述方法包括：获取待检测图像，并通过手部检测模型对所述待检测图像进行手部检测；当检测出所述图像中有手存在时，从所述图像中裁剪出手部图像；分别通过静态手势分类模型、单点热力图回归模型以及全局热力图回归模型对所述手部图像进行处理得到对应的手势类型识别结果；综合所述静态手势分类模型、单点热力图回归模型以及全局热力图回归模型所得到的手势类型识别结果，得到目标手势类型。在其中一个实施例中，所述通过手部检测模型对所述待检测图像进行手部检测，包括：通过手部检测模型中的骨干网络提取所述待检测图像的多尺度特征图；计算所述多尺度特征图中的锚点框中存在手部的第一置信度；获取所述第一置信度符合要求的锚点框的位置；根据所述多尺度特征图确定所述待检测图像中手部存在结果；将所述手部存在结果、所述锚点框的位置以及对应的第一置信度作为所述手部检测模型的输出结果。在其中一个实施例中，所述分别通过静态手势分类模型、单点热力图回归模型以及全局热力图回归模型对所述手部图像进行处理以得到对应的手势类型识别结果，包括：将所述手部图像输入到所述静态手势分类模型中得到所述手部图像中是否存在手部的第二置信度、静态手势类型以及与所述静态手势类型对应的第一手势置信度；通过单点热力图回归模型以及全局热力图回归模型分别对所述手部图像分别进行处理得到对应的关键点坐标；当根据所述第二置信度判断所述手部图像中不存在手部时，则继续获取待检测图像；当根据所述第二置信度判断所述手部图像中存在手部时，根据所述单点热力图回归模型以及全局热力图回归模型计算得到的关键点坐标得到所述单点热力图回归模型以及全局热力图回归模型对应的手势类型识别结果。在其中一个实施例中，所述根据所述单点热力图回归模型以及全局热力图回归模型计算得到的关键点坐标得到所述单点热力图回归模型以及全局热力图回归模型对应的手势类型识别结果之前，还包括：根据预设的单点热力图清洗规则清洗对所述单点热力图回归模型处理得到的关键点进行清洗处理；根据预设的全局热力图清洗规则对所述全局热力图回归模型处理得到的关键点进行清洗处理。在其中一个实施例中，所述单点热力图回归模型对所述手部图像进行处理得到手势类型识别结果的方式，包括：将所述手部图像输入到单点热力图回归模型得到每个第一关键点对应的单点热力图；解析每个所述单点热力图分别得到所述第一关键点的坐标；根据所述第一关键点的坐标得到手势类型识别结果。在其中一个实施例中，所述全局热力图回归模型对所述手部图像进行处理得到手势类型识别结果的方式，包括：将所述手部图像输入至全局热力图回归模型中得到背景热力图以及包括所有第二关键点的前景热力图；对所述前景热力图进行解析得到所述第二关键点的坐标；根据所述第二关键点的坐标得到手势类型识别结果。在其中一个实施例中，所述综合所述静态手势分类模型、单点热力图回归模型以及全局热力图回归模型所得到的手势类型识别结果，得到目标手势类型，包括：将所述静态手势分类模型、单点热力图回归模型以及全局热力图回归模型对应的所述手势类型识别结果中的手势类型分别添加至三个预设帧数的手势时间窗中；从所述手势时间窗内所有所述手势类型中获取具有最高出现频率的所述手势类型以及对应的出现频率作为所述手势时间窗对应的初始手势类型识别结果；根据预设的融合判断规则，将所述静态手势分类模型、单点热力图回归模型以及全局热力图回归模型对应的手势时间窗的初始手势类型识别结果和所述静态手势分类模型对应的手势类型识别结果进行处理得到目标手势和对应的置信度。一种手势识别装置，所述装置包括：手部检测模块，用于获取待检测图像，并通过手部检测模型对所述待检测图像进行手部检测；图像裁剪模块，用于当检测出所述图像中有手存在时，从所述图像中裁剪出手部图像；模型识别模块，用于分别通过静态手势分类模型、单点热力图回归模型以及全局热力图回归模型对所述手部图像进行处理以得到对应的手势类型识别结果；综合判定模块，用于综合所述静态手势分类模型、单点热力图回归模型以及全局热力图回归模型所得到的手势类型识别结果，得到目标手势类型。一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一实施例中所述的方法的步骤。一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例中所述的方法的步骤。上述手势识别方法、装置、计算机设备和存储介质，通过融合单点热力图、全局热力图以及静态手势分类模型的输出数据，有效地解决了复杂环境下手势识别模型容易受到干扰的问题，极大地提高了手势识别的准确率。附图说明图1为一个实施例中手势识别方法的流程示意图；图2为一个实施例中训练静态手势分类模型的流程示意图；图3为一个实施例中静态手势分类模型的网络结构图；图4为一个实施例中手势样本集示例图；图5为一个实施例中热力图回归模型训练流程图；图6为一个实施例中单点热力图的网络结构图；图7为一个实施例中全局热力图的网路结构图；图8为一个实施例中手部检测模型结构对比图；图9为一个实施例中根据三模型输出结果确定后续步骤的流程示意图；图10为一个实施例中手部关键点标号示意图；图11为一个实施例中手势类型对应关系图；图12为一个实施例中手势识别综合判断流程示意图；图13为一个实施例中手势识别整体流程示意图；图14为一个实施例中一个测试集的效果图；图15为一个实施例中手势识别装置的结构框图；图16为一个实施例中计算机设备的内部结构图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。在一个实施例中，如图1所示，提供了一种手势识别方法，本实施例以该方法应用于终端为例进行说明，可以理解的是，该方法也可以应用于服务本文档来自技高网...

【技术保护点】
1.一种手势识别方法，其特征在于，所述方法包括：/n获取待检测图像，并通过手部检测模型对所述待检测图像进行手部检测；/n当检测出所述图像中有手存在时，从所述图像中裁剪出手部图像；/n分别通过静态手势分类模型、单点热力图回归模型以及全局热力图回归模型对所述手部图像进行处理得到对应的手势类型识别结果；/n综合所述静态手势分类模型、单点热力图回归模型以及全局热力图回归模型所得到的手势类型识别结果，得到目标手势类型。/n

【技术特征摘要】
1.一种手势识别方法，其特征在于，所述方法包括：
获取待检测图像，并通过手部检测模型对所述待检测图像进行手部检测；
当检测出所述图像中有手存在时，从所述图像中裁剪出手部图像；
分别通过静态手势分类模型、单点热力图回归模型以及全局热力图回归模型对所述手部图像进行处理得到对应的手势类型识别结果；
综合所述静态手势分类模型、单点热力图回归模型以及全局热力图回归模型所得到的手势类型识别结果，得到目标手势类型。


2.根据权利要求1所述的方法，其特征在于，所述通过手部检测模型对所述待检测图像进行手部检测，包括：
通过手部检测模型中的骨干网络提取所述待检测图像的多尺度特征图；
计算所述多尺度特征图中的锚点框中存在手部的第一置信度；
获取所述第一置信度符合要求的锚点框的位置；
根据所述多尺度特征图确定所述待检测图像中手部存在结果；
将所述手部存在结果、所述锚点框的位置以及对应的第一置信度作为所述手部检测模型的输出结果。


3.根据权利要求1所述的方法，其特征在于，所述分别通过静态手势分类模型、单点热力图回归模型以及全局热力图回归模型对所述手部图像进行处理以得到对应的手势类型识别结果，包括：
将所述手部图像输入到所述静态手势分类模型中得到所述手部图像中是否存在手部的第二置信度、静态手势类型以及与所述静态手势类型对应的第一手势置信度；
通过单点热力图回归模型以及全局热力图回归模型分别对所述手部图像分别进行处理得到对应的关键点坐标；
当根据所述第二置信度判断所述手部图像中不存在手部时，则继续获取待检测图像；
当根据所述第二置信度判断所述手部图像中存在手部时，根据所述单点热力图回归模型以及全局热力图回归模型计算得到的关键点坐标得到所述单点热力图回归模型以及全局热力图回归模型对应的手势类型识别结果。


4.根据权利要求3所述的方法，其特征在于，所述根据所述单点热力图回归模型以及全局热力图回归模型计算得到的关键点坐标得到所述单点热力图回归模型以及全局热力图回归模型对应的手势类型识别结果之前，还包括：
根据预设的单点热力图清洗规则清洗对所述单点热力图回归模型处理得到的关键点进行清洗处理；
根据预设的全局热力图清洗规则对所述全局热力图回归模型处理得到的关键点进行清洗处理。


5.根据权利要求1所述的方法，其特征在于，所述单点热力图回归模型对所述手部图像进行处理得...

【专利技术属性】
技术研发人员：程校昭，丘延君，
申请(专利权)人：风变科技深圳有限公司，
类型：发明
国别省市：广东;44