一种手势检测方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种手势检测方法、装置、设备及存储介质。该方法包括：获取原始图片；将原始图片输入手势检测模型，得到原始图片的预测标注信息，原始图片的预测标注信息包括原始图片的预测手势边界框的位置信息和类别概率，手势检测模型为在对卷积神经网络训练过程中通过平衡训练图片中目标正样本和目标负样本在卷积神经网络的损失函数中所占权重得到；根据原始图片的预测标注信息，基于非极大值抑制方法从原始图片的预测手势边界框中确定目标手势边界框(即确定手势)。本发明专利技术实施例通过采用平衡训练图片中目标正样本和目标负样本在卷积神经网络中所占权重得到的手势检测模型进行手势检测，提高了手势检测模型对目标手势检测框的预测精度。

【技术实现步骤摘要】
一种手势检测方法、装置、设备及存储介质
本专利技术实施例涉及计算机视觉技术，尤其涉及一种手势检测方法、装置、设备及存储介质。
技术介绍
近年来，随着计算机硬件性能的提升和大规模图像数据的出现，使得深度学习在计算机视觉领域得到广泛应用，其中，卷积神经网络是在计算机视觉领域具有突出成就的一个深度学习的神经网络结构。手势检测是计算机视觉中目标检测的一个垂直应用，被广泛应用于人机交互和虚拟现实等领域。针对手势检测来说，采用基于卷积神经网络训练生成的手势检测模型进行手势检测得到广泛应用。基于卷积神经网络训练生成的手势检测模型进行手势检测的处理流程是：将图片输入手势检测模型中，得到图片的预测标注信息，图片的预测标注信息包括预测手势边界框的位置信息和类别概率。在实现本专利技术过程中，专利技术人发现现有技术中至少存在如下问题：对于通常图片来说，除手势外的其它对象占据了图片中大部分像素区域，即手势占据了图片中少部分的像素区域，换句话说，手势作为目标对象出现在图片中的数量少，上述使得包含手势的边界框的数量也较少，这里将包含手势的边界框称为正样本。在本文档来自技高网...

【技术保护点】
1.一种手势检测方法，其特征在于，包括：/n获取原始图片；/n将所述原始图片输入手势检测模型，得到所述原始图片的预测标注信息，所述原始图片的预测标注信息包括所述原始图片的预测手势边界框的位置信息和类别概率，所述原始图片的预测手势边界框的个数为两个或两个以上，所述手势检测模型为在对卷积神经网络训练过程中通过平衡训练图片中目标正样本和目标负样本在卷积神经网络的损失函数中所占权重得到；/n根据所述原始图片的预测标注信息，基于非极大值抑制方法从所述原始图片的预测手势边界框中确定目标手势边界框。/n

【技术特征摘要】
1.一种手势检测方法，其特征在于，包括：
获取原始图片；
将所述原始图片输入手势检测模型，得到所述原始图片的预测标注信息，所述原始图片的预测标注信息包括所述原始图片的预测手势边界框的位置信息和类别概率，所述原始图片的预测手势边界框的个数为两个或两个以上，所述手势检测模型为在对卷积神经网络训练过程中通过平衡训练图片中目标正样本和目标负样本在卷积神经网络的损失函数中所占权重得到；
根据所述原始图片的预测标注信息，基于非极大值抑制方法从所述原始图片的预测手势边界框中确定目标手势边界框。


2.根据权利要求1所述的方法，其特征在于，所述手势检测模型为在对卷积神经网络训练过程中通过平衡训练图片中目标正样本和目标负样本在卷积神经网络的损失函数中所占权重得到，包括：
获取训练图片以及训练图片的原始标注信息，所述训练图片的原始标注信息包括原始手势边界框的位置信息、置信度和类别概率，所述训练图片的原始边界框的个数为两个或两个以上；
将所述训练图片输入卷积神经网络，得到所述训练图片的预测标注信息，所述训练图片的预测标注信息包括所述训练图片的预测手势边界框的位置信息、置信度和类别概率，所述训练图片的预测手势边界框的个数为两个或两个以上；
根据所述训练图片的预测手势边界框的位置信息和所述训练图片的原始手势边界框的位置信息，计算所述训练图片的预测手势边界框与所述训练图片的原始手势边界框的交并比，并根据所述交并比与交并比阈值的关系，将所述训练图片的预测手势边界框划分为正样本、第一负样本和第二负样本，所述第一负样本和所述第二负样本组成负样本；
根据正样本数量和第一负样本数量，确定目标正样本、目标正样本权重、目标负样本和目标负样本权重；
根据目标正样本的预测标注信息、目标正样本的原始标注信息、目标负样本的预测标注信息、目标负样本的原始标注信息、所述目标正样本权重和所述目标负样本权重，得到所述卷积神经网络的损失函数；
调整所述卷积神经网络的网络参数，直至所述损失函数的输出值小于等于预设阈值，则将所述卷积神经网络作为所述手势检测模型。


3.根据权利要求2所述的方法，其特征在于，所述根据正样本数量和第一负样本数量，确定目标正样本、目标正样本权重、目标负样本和目标负样本权重，包括：
根据正样本数量与正样本数量阈值的关系，确定目标正样本，以及，根据第一负样本数量与负样本数量阈值的关系，确定目标负样本；
根据目标正样本数量和目标负样本数量确定目标正样本权重，以及，根据目标正样本数量和目标负样本数量确定目标负样本权重。


4.根据权利要求3所述的方法，其特征在于，所述根据目标正样本数量和目标负样本数量确定目标正样本权重，以及，根据目标正样本数量和目标负样本数量确定目标负样本权重，包括：
计算目标正样本数量和目标负样本数量之和，得到目标样本数量；
将所述目标负样本数量与所述目标样本数量的比值作为第一指数函数的底数，将所述目标正样本数量与所述目标样本数量的比值作为第二指数函数的底数，所述第一指数函数和所述第二指数函数的自变量均为权重系数；
将所述第一指数函数作为所述目标正样本权重，将所述第二指数函数作为所述目标负样本权重。


5.根据权利要求2所述的方法，其特征在于，所述根据目标正样本的预测标注信息、目标正样本的原始标注信息、目标负样本的预测标注信息、目标负样本的原始标注信息、所述目标正样本权重和所述目标负样本权重，得到所述卷积神经网络的损失函数，包括：
根据目标正样本的预测手势边界框的置信度、目标正样本的原始手势边界框的置信度和所述目标...

【专利技术属性】
技术研发人员：裴超，项伟，王毅锋，黄秋实，
申请(专利权)人：广州市百果园信息技术有限公司，
类型：发明
国别省市：广东;44