神经网络模型的训练方法及装置、手势识别的方法及装置制造方法及图纸

本申请实施例提供了一种神经网络模型的训练方法及装置、手势识别的方法及装置，其中，该神经网络模型的训练方法包括：将样本图像与对应的热力图像输入到神经网络模型中进行特征提取，得到特征数据；其中，所述样本图像中包括手势，所述特征数据包括以下至少一项：预测的手势类别、预测的手势标定框、预测的手势关键点、预测的手势热力图；获取所述特征数据与对应的原始数据之间的损失值；基于所述损失值更新所述神经网络模型，并对更新后的神经网络模型进行继续进行训练，直到所述损失值小于预设阈值。通过本申请，解决了现有技术中手势识别的准确率较低的问题。别的准确率较低的问题。别的准确率较低的问题。

【技术实现步骤摘要】
神经网络模型的训练方法及装置、手势识别的方法及装置


[0001]本申请涉及神经网络模型
，特别是涉及神经网络模型的训练方法及装置、手势识别的方法及装置。

技术介绍

[0002]手势是一种非语言的交流形式，可用于多个领域 例如聋哑人之间的交流，机器人控制，人机交互（Human
‑
Computer Interaction，HCI）, 家庭自动化和医疗应用。目前手势识别已采用许多不同的方式，主要包括：1）模板匹配，即将待识别手势的特征参数与预先存储的模板特征参数进行匹配，通过测量两者之间的相似度来完成识别任务。例如，将待识别手势和模板手势的边缘图像变换到欧式距离空间，求出它们的Hausdorff（豪斯多夫）距离或修正Hausdorff距离，用该距离值代表待识别手势和模板手势的相似度，识别结果取与最小距离值对应的模板手势。
[0003]2）统计分析，即通过统计样本特征向量来确定分类器的基于概率统计理论的分类方法。对于每幅图像提取出指尖和重心特征，然后计算出距离和夹角，对于不同手势分别进行距离和夹角的统计，得到其分布的数字特征，根据基于最小错误率的贝叶斯决策得到用于分割不同手势的距离和夹角的值，得到分类器以后，对于采集的手势图像进行分类识别。
[0004]对于上述手势识别的方式存在以下问题：1）对于模板匹配方式，需要大量的人工设计特征操作，且在不同的环境背景下，所考虑的特征较为多样，导致工程量较大，系统实现复杂，从而导致手势识别率较低；2）对于统计分析，虽然允许其定义不同手势类别特点的特征集，估计一个局部最优的线性分辨器，根据手势图像中提取的大量特征识别相应的手势类别，但其学习的效率不高，随着样本量的不断增大，算法识别率的提高不明显，从而导致手识别率较低。

技术实现思路

[0005]本申请实施例的目的在于提供一种神经网络模型的训练方法及装置、手势识别的方法及装置，以解决现有技术中手势识别的准确率较低的问题。具体技术方案如下：在本申请实施的第一方面，提供了一种神经网络模型的训练方法，包括：将样本图像与对应的热力图像输入到神经网络模型中进行特征提取，得到特征数据；其中，所述样本图像中包括手势，所述特征数据包括以下至少一项：预测的手势类别、预测的手势标定框、预测的手势关键点、预测的手势热力图；获取所述特征数据与对应的原始数据之间的损失值；基于所述损失值更新所述神经网络模型，并对更新后的神经网络模型进行继续进行训练，直到所述损失值小于预设阈值。
[0006]在本申请实施的第二方面，提供了一种基于第一方面中训练方法中的神经网络模型进行手势识别的方法，包括：获取待识别的图像数据；其中，所述图像数据中包括手势；将所述待识别的图像数据输入到所述神经网络模型中，得到输出结果；其中，所述输出结果用于表征对所述手势的识别结果。
[0007]在本申请实施的第三方面，提供了一种神经网络模型的训练装置，包括：第一处理模块，用于将样本图像与对应的热力图像输入到神经网络模型中进行特征提取，得到特征数据；其中，所述样本图像中包括手势，所述特征数据包括以下至少一项：预测的手势类别、预测的手势标定框、预测的手势关键点、预测的手势热力图；第一获取模块，用于获取所述特征数据与对应的原始数据之间的损失值；训练模块，用于基于所述损失值更新所述神经网络模型，并对更新后的神经网络模型进行继续进行训练，直到所述损失值小于预设阈值。
[0008]在本申请实施的第四方面，提供了一种基于第三方面中训练装置中的神经网络模型进行手势识别的装置，包括：第二获取模块，用于获取待识别的图像数据；其中，所述图像数据中包括手势；第二处理模块，用于将所述待识别的图像数据输入到所述神经网络模型中，得到输出结果；其中，所述输出结果用于表征对所述手势的识别结果。
[0009]在本申请实施的第五方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述任一所述的第一方面的方法，或使得计算机执行上述任一所述的第二方面的方法。
[0010]在本申请实施的第六方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的第一方面方法，或使得计算机执行上述任一所述的第二方面的方法。
[0011]本申请实施例中，由于特征数据中包括至少一项：预测的手势类别、预测的手势标定框、预测的手势关键点、预测的手势热力图，因此，通过特征数据与对应的原始数据之间的损失值对神经网络模型进行更新，手势热力图可以使得神经网络模型在训练时将更多注意力放在手部，而减少将人脸等相似物体误识成手势的情况，另外，手势关键点描绘了手的轮廓和手势标定框定位了手的范围从而可以更加准确的对手势进行识别，也就是说，本申请实施例中训练好的神经网络模型提升了对手势识别的准确率，从而解决了现有技术中手势识别的准确率较低的问题。
附图说明
[0012]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
[0013]图1为本申请实施例中神经网络模型的训练方法的流程图；图2为本申请实施例中神经网络模型的训练示意图；图3为本申请实施例中手势识别方法的流程图；图4为本申请实施例中神经网络模型的训练装置的结构示意图；图5为本申请实施例中手势识别装置的结构示意图；图6为本申请实施例中电子设备的结构示意图。
具体实施方式
[0014]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
[0015]本申请实施例提供了一种神经网络模型的训练方法，如图1所示，该方法的步骤包括：步骤102，将样本图像与对应的热力图像输入到神经网络模型中进行特征提取，得
到特征数据；其中，样本图像中包括手势，特征数据包括以下至少一项：预测的手势类别、预测的手势标定框、预测的手势关键点、预测的手势热力图；需要说明的是，手势标定框是指手势在图像中的位置区域；手势关键点通常包括手上的21个点，如指关节上的点、指尖上的点等；在本申请实施例的其他应用场景中也可以是多于或少于21个点，具体可以根据实际情况确定。
[0016]此外，手势类别是指手势姿势，如“ok”手势，“耶”手势，“八字”手势等，另外，本申请实施例中的手势标定框与手势关键点用于确定手势类别。手势热力图是指以特殊高亮的形式显示访客热衷的手势区域的图示。
[0017]步骤104，获取特征数据与对应的原始数据之间的损失值；步骤106，基于损失值更新神经网络模型，并对更新后的神经网络模型进行继续进行训练，直到损失值小于预设阈值。
[0018]需要说明的是，本申请实施例中的预设阈值可以根据实际情况进行相应的设置。
[0019]通过本申请实施例的上述步骤102至步骤106，由于特征数据中包括至少一项：预测的手势类别、预测的手势标定框、预测的手势关键点、预测的手势热力图，因此，通过特征数据与对应的原始数据之间的损失值对神经网络模型进行更新，手势热力本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络模型的训练方法，其特征在于，包括：将样本图像与对应的热力图像输入到神经网络模型中进行特征提取，得到特征数据；其中，所述样本图像中包括手势，所述特征数据包括以下至少一项：预测的手势类别、预测的手势标定框、预测的手势关键点、预测的手势热力图；获取所述特征数据与对应的原始数据之间的损失值；基于所述损失值更新所述神经网络模型，并对更新后的神经网络模型进行继续进行训练，直到所述损失值小于预设阈值。2.根据权利要求1所述的方法,其特征在于，所述获取所述特征数据与对应的原始数据之间的损失值包括以下至少一项：获取所述预测的手势热力图与所述样本图像对应的热力图之间的第一损失值；获取预测的手势关键点的坐标与所述样本图像中手势关键点的坐标之间的第二损失值；获取所述预测的手势标定框与所述样本图像中手势标定框之间的第三损失值；获取所述预测的手势类别与所述样本图像中手势类别之间的第四损失值。3.根据权利要求2所述的方法,其特征在于，所述基于所述损失值更新所述神经网络模型，包括：基于以下至少一项的和值更新所述神经网络模型：所述第一损失值、所述第二损失值、所述第三损失值、所述第四损失值。4.根据权利要求1所述的方法,其特征在于，所述获取所述特征数据与对应的原始数据之间的损失值包括：确定所述特征数据与对应的原始数据之间的差值；对所述差值进行平方，得到所述损失值。5.根据权利要求1所述的方法,其特征在于，在所述特征数据为预测的手势热力图的情况下，将样本图像与对应的热力图像输入到神经网络模型中进行特征提取，得到特征数据包括：将所述样本图像对应的热力图输入到所述神经网络模型，经过所述神经网络模型中的卷积层降低所述样本图像对应的热力图尺寸；对降低尺寸后的所述样本图像对应的热力图进行上采样得到所述预测的手势热...

【专利技术属性】
技术研发人员：钱程浩，黄雪峰，熊海飞，
申请(专利权)人：深圳市信润富联数字科技有限公司，
类型：发明
国别省市：