本申请提供一种手势识别方法、模型训练方法、装置、设备及存储介质，涉及智能交通领域。该方法包括：获取手势融合图像；手势融合图像用于表征第一手部特征和第二手部特征；所述第一手部特征包括手指轮廓特征，和/或，手部轮廓特征；所述第二手部特征包括手部关节特征，和/或，手部纹理特征；根据预设的手势识别模型和手势融合图像，确定手势融合图像对应的手势种类；手势识别模型用于从手势融合图像中提取第一手部特征和第二手部特征，并根据第一手部特征和第二手部特征确定手势种类。该方法适用于用户和电子设备的手势交互过程中，用于解决手势交互过程中识别不准确的问题。势交互过程中识别不准确的问题。势交互过程中识别不准确的问题。
【技术实现步骤摘要】
手势识别方法、模型训练方法、装置、设备及存储介质
[0001]本申请涉及计算机视觉领域，尤其涉及一种手势识别方法、模型训练方法、装置、设备及存储介质。
技术介绍
[0002]随着计算机等电子设备的普及，人们越来越重视研究用于跨越人机障碍的新技术。研究的最终目标是将人机交互变得如同人与人交互一样自然。
[0003]长期以来，手势一直被认为是一种可以提供更自然、更有创意和更直观的与电子设备进行交互的手段。
[0004]但是，目前的手势交互产品可能存在识别不准确的问题。
技术实现思路
[0005]基于上述技术问题，本申请提供一种手势识别方法、模型训练方法、装置、设备及存储介质，可以利用多模态输入的手势识别模型识别出手部宏观特征和手部微观特征，增加手势识别模型的学习角度，提高手势识别模型在识别手势时的准确率。
[0006]第一方面，本申请提供一种手势识别方法，该方法包括：获取手势融合图像；手势融合图像用于表征第一手部特征和第二手部特征；第一手部特征包括手指轮廓特征，和/或，手部轮廓特征；第二手部特征包括手部关节特征，和/或，手部纹理特征；根据预设的手势识别模型和手势融合图像，确定手势融合图像对应的手势种类；手势识别模型用于从手势融合图像中提取第一手部宏观特征和第二手部微观特征，并根据第一手部特征和第二手部特征确定手势种类。
[0007]应理解，对于手势分类任务来说，往往结合手部整体轮廓等宏观特征即可实现。而对于关节点回归任务来说，需要精确地定位处各个指关节的位置，因此更加侧重于细节的关节纹理等微观特征。本申请提供的手势识别方法中，手势识别模型可以提取出手势融合图像中的手部的宏观特征和微观特征，不同模态的手势图像对于空间的表征角度不同，与单一模态特征相比，多模态的手势融合图像能够提供给手势识别模型更多角度的特征进行学习，从而提高手势识别模型在识别手势时的准确率。
[0008]另外，手势识别模型在识别手势时的准确率较低时，手势识别模型无法识别出多个相似的手势之间的差异，多个相似的手势可能仅能实现一个控制功能，可能造成手势交互产品功能单一。而利用本申请实施例提供的手势识别模型提高了识别手势时的准确率之后，多个相似的手势可以被准确地识别出来，该多个相似的手势可以实现多个不同的控制功能，从而丰富了手势交互产品的功能。
[0009]一种可能的实现方式中，手势识别模型包括特征提取网络模块和手势分类模块；特征提取网络模块，用于从手势融合图像中提取第一手部特征和第二手部特征；手势分类模块，用于根据特征提取网络模块提取的第一手部特征和第二手部特征，确定手势融合图像对应的手势种类。
[0010]可选地，手势识别模型是利用训练样本集对初始模型训练之后，并删除初始模型中的关节点回归模块之后得到的；训练样本集包括多个训练样本；多个训练样本中的每个训练样本包括一个手势融合图像和与手势融合图像对应的标签；标签包括手势种类和手部关节点坐标；初始模型包括特征网络提取模块、手势分类模块、以及关节点回归模块；特征提取网络模块，用于从训练样本中的手势融合图像中提取第一手部特征和第二手部特征；手势分类模块，用于根据特征提取网络模块提取的第一手部特征和第二手部特征，确定训练样本中的手势融合图像对应的手势种类；关节点回归模块，用于根据特征提取网络模块提取的第一手部特征和第二手部特征，生成手部关节点坐标。
[0011]应理解，训练时进行多任务学习共享一个特征提取网络模块，该共享的特征提取网络模块可以学习到更加底层、以及更加通用的特征。而手势分类模块和关节点回归模块均是根据特征提取网络模块提取的手部宏观特征和手部微观特征的输入得到各自的输出，也即特征提取网络模块提取出来的特征是分别独立地传送至手势分类模块和关节点回归模块中，删除关节点回归模块不会对手势分类模块造成影响。因此，在训练时利用关节点回归模块在反向传播过程中帮助特征提取网络模块提高了对手部微观特征的学习偏重之后，在推理时删除关节点回归模块，保留核心的手势分类模块，可以保障得到的手势识别模型的准确率的同时，节约关节点回归任务的计算开销，实现手势识别模型的小型化。
[0012]一种可能的实现方式中，手势融合图像包括检测周期内的多帧；根据预设的手势识别模型和手势融合图像，确定手势融合图像对应的手势种类，包括：根据手势识别模型识别多帧手势融合图像中的每一帧手势融合图像，以确定每一帧手势融合图像对对应的手势种类；统计每一个手势种类的识别命中次数；当检测周期内确定的第一手势种类的识别命中次数满足预设条件时，确定第一手势种类为手势融合图像对应的手势种类。
[0013]可选地，预设条件包括以下任意一项：在检测周期内的识别命中次数大于预设的次数阈值；或者，在检测周期内的识别命中次数和检测周期内的多帧手势融合图像的帧数之比大于预设的比例阈值。
[0014]一种可能的实现方式中，获取手势融合图像，包括：获取检测区域的彩色图像和深度图像；将检测区域的彩色图像和深度图像融合，得到检测区域的融合图像；检测出检测区域的融合图像中的手部区域，生成手部区域框；利用手部区域框从检测区域的融合图像中分割出手势融合图像。
[0015]第二方面，本申请提供一种手势识别装置，该装置包括用于之上第一方面所述的方法的各个单元。
[0016]第三方面，本申请提供一种手势识别模型的训练方法，该方法包括：获取训练样本集；训练样本集包括多个训练样本；多个训练样本中的每个训练样本包括一个手势融合图像和与手势融合图像对应的标签；标签包括手势种类和手部关节点坐标；手势融合图像用于表征第一手部特征和第二手部特征；第一手部特征包括手指轮廓特征，和/或，手部轮廓特征；第二手部特征包括手部关节特征，和/或，手部纹理特征；基于训练样本集，对预设的初始模型进行训练，得到完成训练的初始模型；初始模型包括特征提取网络模块、手势分类模块、以及关节点回归模块；特征提取网络模块，用于从手势融合图像中提取第一手部特征和第二手部特征；手势分类模块，用于根据第一手部特征和第二手部特征，确定手势种类；关节点回归模块，用于根据第一手部特征和第二手部特征，生成手部关节点坐标；删除完成
训练的初始模型中的关节点回归模块，得到手势识别模型。
[0017]第四方面，本申请提供一种手势识别模型的训练装置，该装置包括用之上第三方面所述的方法的各个单元。
[0018]第五方面，本申请提供一种电子设备，该电子设备包括处理器和存储器；存储器存储有处理器可执行的指令；处理器被配置为执行指令时，使得电子设备实现上述第一方面或第三方面所述的方法。
[0019]第六方面，本申请提供一种计算机程序产品，当该计算机程序产品在电子设备上运行时，使得电子设备执行上述第一方面所述相关方法的步骤，以实现上述第一方面或第三方面所述的方法。
[0020]第七方面，本申请提供一种可读存储介质，该可读存储介质包括：软件指令；当软件指令在电子设备中运行时，使得电子设备实现上述第一方面或第三方面所述的方法。
[0021]第八本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种手势识别方法，其特征在于，所述方法包括：获取手势融合图像；所述手势融合图像用于表征第一手部特征和第二手部特征；所述第一手部特征包括手指轮廓特征，和/或，手部轮廓特征；所述第二手部特征包括手部关节特征，和/或，手部纹理特征；根据预设的手势识别模型和所述手势融合图像，确定所述手势融合图像对应的手势种类；所述手势识别模型用于从所述手势融合图像中提取所述第一手部特征和所述第二手部特征，并根据所述第一手部特征和所述第二手部特征确定手势种类。2.根据权利要求1所述的方法，其特征在于，所述手势识别模型包括特征提取网络模块和手势分类模块；所述特征提取网络模块，用于从所述手势融合图像中提取所述第一手部特征和所述第二手部特征；所述手势分类模块，用于根据所述特征提取网络模块提取的所述第一手部特征和所述第二手部特征，确定所述手势融合图像对应的手势种类。3.根据权利要求1所述的方法，其特征在于，所述手势识别模型是利用训练样本集对初始模型训练之后，并删除完成训练后的初始模型中的关节点回归模块之后得到的；所述训练样本集包括多个训练样本；所述多个训练样本中的每个训练样本包括一个手势融合图像和与所述手势融合图像对应的标签；所述标签包括手势种类和手部关节点坐标；所述初始模型包括特征网络提取模块、手势分类模块、以及所述关节点回归模块；所述特征提取网络模块，用于从所述训练样本中的手势融合图像中提取所述第一手部特征和所述第二手部特征；所述手势分类模块，用于根据所述特征提取网络模块提取的所述第一手部特征和所述第二手部特征，确定所述训练样本中的手势融合图像对应的手势种类；所述关节点回归模块，用于根据所述特征提取网络模块提取的所述第一手部特征和所述第二手部特征，生成手部关节点坐标。4.根据权利要求1所述的方法，其特征在于，所述手势融合图像包括检测周期内的多帧手势融合图像；所述根据预设的手势识别模型和所述手势融合图像，确定所述手势融合图像对应的手势种类，包括：根据所述手势识别模型识别所述检测周期内的多帧手势融合图像中的每一帧手势融合图像，以确定每一帧手势融合图像对应的手势种类；统计每一个手势种类的识别命中次数；当所述检测周期内确定的第一手势种类的识别命中次数满足预设条件时，确定所述第一手势种类为所述手势融合图像对应的手势种类。5.根据权利要求4所述的方法，其特征在于，所述预设条件包括以下任意一项：在检测周期内的识别命中次数大于预设的次数阈值；或者，在所述检测周期内的识别命中次数和所述检测周期内的多帧手势融合图像的帧数之比大于预设的比例阈值。6.根据权利要求1
‑
5任一项所述的方法，其特征在于，所述获取手势融合图像，包括：获取检测区域的彩色图像和深度图像；将所述检测区域的彩色图像和深度图像融合，
得到所述检测区域的融合图像；检测出所述检测区域的融合图像中的手部区域，生成手部区域框；利用所述手部区域框从所述检测区域的融合图像中分割出所述手势融合图像。7.一种手势识别模型的训练方法，其特征在于，所述方法包括：获取训练样本集；所述训练样...
【专利技术属性】
技术研发人员：张彬，
申请(专利权)人：上海高德威智能交通系统有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。