模型训练方法、手势识别方法、装置、设备和存储介质制造方法及图纸

本申请实施例公开了一种模型训练方法、手势识别方法、装置、设备和存储介质，该方法包括：通过获取至少一张手势图片以及至少一张非手势图片；将至少一张手势图片中的每一张手势图片分别与至少一张非手势图片进行图片融合处理，得到样本图片集；利用样本图片集对预设网络模型进行训练，得到手势识别模型；其中，手势识别模型包括第一子模型和第二子模型，第一子模型用于确定待检测图片的手势类型，第二子模型用于确定待检测图片的手部定位信息。这样，由于样本图片中不仅包括手势，还融合有非手势内容，据此训练得到的手势识别模型，更适用于真实的场景，增强了手势识别模型的识别准确性和模型鲁棒性，降低了外界因素对识别结果的干扰。的干扰。的干扰。

【技术实现步骤摘要】
模型训练方法、手势识别方法、装置、设备和存储介质


[0001]本申请涉及人机交互领域，尤其涉及一种模型训练方法、手势识别方法、装置、设备和存储介质。

技术介绍

[0002]手势识别技术为人与终端设备进行对话提供了一种自然直观的交流方式。然而目前在进行手势识别时，相关技术通常采用基于肤色分割定位手部、人工提取手势特征等进行识别，识别结果极易受到环境的影响，导致手势识别结果的准确率低。

技术实现思路

[0003]本申请提供了一种模型训练方法、手势识别方法、装置、设备和存储介质，能够得到更适用于真实场景的手势识别模型，提高手势识别的准确率，并降低光照等外界因素的干扰。
[0004]本申请的技术方案是这样实现的：
[0005]第一方面，本申请实施例提供了一种模型训练方法，该方法包括：
[0006]获取至少一张手势图片以及至少一张非手势图片；
[0007]将所述至少一张手势图片中的每一张手势图片分别与所述至少一张非手势图片进行图片融合处理，得到样本图片集；
[0008]利用所述样本图片集对预设网络模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，其特征在于，所述方法包括：获取至少一张手势图片以及至少一张非手势图片；将所述至少一张手势图片中的每一张手势图片分别与所述至少一张非手势图片进行图片融合处理，得到样本图片集；利用所述样本图片集对预设网络模型进行训练，得到手势识别模型；其中，所述手势识别模型包括第一子模型和第二子模型，所述第一子模型用于确定待检测图片的手势类型，所述第二子模型用于确定待检测图片的手部定位信息。2.根据权利要求1所述的方法，其特征在于，所述图片融合处理，至少包括：图片融合处理和/或图片拼接处理。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：对所述样本图片集中的样本图片添加标注信息；其中，所述标注信息包括所述样本图片中的手势类型信息和所述样本图片中的手部定位信息，所述手部定位信息包括手部定位框的中心坐标和所述手部定位框的宽度和高度。4.根据权利要求1所述的方法，其特征在于，所述预设网络模型包括特征提取网络、分类分支网络和回归分支网络；所述利用所述样本图片集对预设网络模型进行训练，得到手势识别模型，包括：将所述样本图片集中的样本图片输入所述预设网络模型；通过所述特征提取网络对所述样本图片集中的样本图片进行特征处理，得到至少一张目标特征图；通过所述至少一张目标特征图对所述分类分支网络进行训练，得到所述第一子模型；以及通过所述至少一张目标特征图对所述回归分支网络进行训练，得到所述第二子模型；根据所述第一子模型和所述第二子模型，确定所述手势识别模型。5.根据权利要求4所述的方法，其特征在于，所述特征提取网络包括特征提取层、特征融合层和特征卷积层；所述通过所述特征提取网络对所述样本图片集中的样本图片进行特征处理，得到至少一张目标特征图，包括：利用所述特征提取层对所述样本图片进行初始特征提取，确定所述样本图片对应的至少一张初始特征图；利用所述特征融合层对所述至少一张初始特征图进行特征交互融合，得到所述样本图片对应的至少一张融合特征图；利用所述特征卷积层对所述至少一张融合特征图进行卷积操作，得到所述至少一张目标特征图。6.根据权利要求5所述的方法，其特征在于，所述利用所述特征融合层对所述至少一张初始特征图进行特征交互融合，得到所述样本图片对应的至少一张融合特征图，包括：确定所述样本图片在第i特征层的初始特征图以及除所述第i特征层之外其他特征层的初始特征图；对所述除所述第i特征层之外其他特征层的初始特征图进行采样处理，得到采样结果；利用特征融合层对所述第i特征层的初始特征图和所述采样结果进行特征融合，得到所述样本图片在所述第i特征层的融合特征图；其中，i为大于零的整数。7.根据权利要求6所述的方法，其特征在于，所述除所述第i特征层之外其他特征层包
括：位于所述第i特征层之前的第一特征层部分和位于所述第i特征层之后的第二特征层部分，且所述第一特征层部分的层级高于所述第i特征层的层级，所述第i特征层的层级高于所述第二特征层部分的层级；相应地，所述对所述除所述第i特征层之外其他特征层的初始特征图进行采样处理，得到采样结果，包括：对所述第一特征层部分的初始特征图进行下采样处理以及对所述第二特征层部分的初始特征图进行上采样处理，得到所述采样结果。8.根据权利要求7所述的方法，其特征在于，所述下采样处理采用最大池化函数，所述上采样处理采用反卷积函数。9.根据权利要求5所述的方法，其特征在于，所述预设网络模型包括SSD_mobilenetV3_I模型；其中，所述特征提取层包括所述SSD_mobilenetV3_I模型中的特征层Layer14、Layer17、Layer20、Layer23、Layer26和Layer29，所述特征融合层包括级联Concatenate层，所述特征卷积层包括卷积核尺寸为1
×
1的卷积层。10.根据权利要求4所述的方法，其特征在于，所述分类分支网络包括注意力机制模块；所述通过所述至少一张目标特征图对所述分类分支网络进行训练，得到所述第一子模型，包括：确定第一模型损失函数，利用包括所述注意力机制模块的所述分类分支网络对所述至少一张目标特征图进行分类训练，在所述第一模型损失函数的值达到预设收敛值时，将训练后的分类分支网络确定为所述第一子模型；其中，所述注意力机制模块包括卷积子模块、激活子模块、乘法子模块和加法子模块，所述卷积子模块由卷积层、转置卷积层和跳跃层组成。11.根据权利要求4所述的方法，其特征在于，所述回归分支网络包括注意力机制模块；所述通过所述至少一张目标特征图对所述回归分支网络进行训练，得到所述第二子模型，包括：确定第二模型损失函数，利用包括所述注意力机制模块的所述回归分支网络对所述至少一张目标特征图进行回归训练，在所述第二模型损失函数的值达到预设收敛值时，将训练后的回归分支网络确定为所述第二子模型；其中，所述注意力机制模块包括卷积子模块、激活子模块、乘法子模块和加法子模块，所述卷积子模块由卷积层、转置卷积层和跳跃层组成。12.一种手势识别方法，其特征在于，应用于如权利要求1所述的手势识别模型，所述方法包括：获取待检测视频流；利用所述手势识别模型对所述待检测视频流中的每一视频帧进行手势检测，确定所述每一视频帧中的手势类型和手部定位信息；对所...

【专利技术属性】
技术研发人员：皇甫统帅，程宝平，谢小燕，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：