手势识别方法、装置、存储介质、电子装置制造方法及图纸

本发明专利技术提供了一种手势识别方法、装置、存储介质、电子装置，其中，该方法包括：确定目标图像；使用第一模型对目标图像的特征进行提取，确定目标图像的目标特征图，其中，第一模型为使用多组第一数据对第一初始模型通过机器学习训练出的，每组第一数据均包括：图像和图像的特征图，第一初始模型为对目标模型的目标层进行调整之后得到的；使用第二模型识别目标特征图中包括的目标手势，其中，第二模型为使用多组第二数据对第二初始模型通过机器学习训练出的，每组第二数据均包括：特征图和特征图中包括的手势。通过本发明专利技术，解决了相关技术中存在的应用场景单一、手势识别准确率低的问题，能够处理复杂场景下的交互手势识别，提高了手势识别准确率。

【技术实现步骤摘要】
手势识别方法、装置、存储介质、电子装置
本专利技术涉及通信领域，具体而言，涉及一种手势识别方法、装置、存储介质、电子装置。
技术介绍
近年来，随着人工智能技术的快速发展，人机交互成为人工智能领域中重要的研究领域，为了满足实际应用的需要，研究基于计算机视觉的人机手势交流方法具有重要的应用价值。例如智能家居手势交互：智能家电、家用机器人、可穿戴等硬件设备，通过用户的手势控制对应的功能，人机交互方式更加智能化、自然化。更为高效、舒适的交互方式是让机器能够直接理解人的肢体语言，在各种肢体语言中手势最为简单、方便，因此可以将它作为一种简单、高效的人机交互方式，有着十分广阔的应用前景。随着应用场景的不断增多，对手势识别的要求越来越高，基于手势的人机交互中，一个很重要的过程是对手势进行识别。传统的手势识别包括基于模板匹配、基于数据手套和基于隐马尔科夫模型等方法。其中，基于模板匹配的交互方法需要手工设计一个标准手势库，将模板与输入图像进行匹配，工序复杂，迁移性差；基于数据手套的交互方法，其设备昂贵，一旦重新更换手套，需要重新训练，很不方便；基于隐马尔科夫模型的手势识别方法，其计算量大、速度慢、过程复杂；通过人工建模等方式设计手势描述特征的过程十分繁琐、无法深度挖掘更高层次、更多维度的特征信息，这就导致基于传统方法的模型泛化性差、很难达到实时检测目的。基于计算机视觉的手势识别方法可以有效克服传统方法的弊处，相关技术中已有一些基于计算机视觉的手势识别方法，比如基于CNN的静态手势识别方法、基于迁移学习的手势识别方法等，但是这些现有方法识别率不够高。由此可知，相关技术中存在应用场景单一、手势识别准确率低的问题。针对相关技术中存在的上述问题，目前尚未提供有效的解决方案。
技术实现思路
本专利技术实施例提供了一种手势识别方法、装置、存储介质、电子装置，以至少解决相关技术中存在的应用场景单一、手势识别准确率低的问题。根据本专利技术的一个实施例，提供了一种手势识别方法，包括：确定目标图像；使用第一模型对所述目标图像的特征进行提取，确定所述目标图像的目标特征图，其中，所述第一模型为使用多组第一数据对第一初始模型通过机器学习训练出的，每组第一数据均包括：图像和图像的特征图，所述第一初始模型为对目标模型的目标层进行调整之后得到的；使用第二模型识别所述目标特征图中包括的目标手势，其中，所述第二模型为使用多组第二数据对第二初始模型通过机器学习训练出的，每组第二数据均包括：特征图和特征图中包括的手势。根据本专利技术的另一个实施例，提供了一种手势识别装置，包括：第一确定模块，用于确定目标图像；第二确定模块，用于使用第一模型对所述目标图像的特征进行提取，确定所述目标图像的目标特征图，其中，所述第一模型为使用多组第一数据对第一初始模型通过机器学习训练出的，每组第一数据均包括：图像和图像的特征图，所述第一初始模型为对目标模型的目标层进行调整之后得到的；识别模块，用于使用第二模型识别所述目标特征图中包括的目标手势，其中，所述第二模型为使用多组第二数据对第二初始模型通过机器学习训练出的，每组第二数据均包括：特征图和特征图中包括的手势。根据本专利技术的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。根据本专利技术的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。通过本专利技术，利用通过机器学习训练得到的第一模型提取目标图像的特征图，利用通过机器学习训练得到的第二模型识别特征图中的手势，通过机器学习训练得到的模型可以适用于复杂的应用场景，识别准确率高因此，可以解决相关技术中存在的应用场景单一、手势识别准确率低的问题，能够处理复杂场景下的交互手势识别，提高了手势识别准确率。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1是本专利技术实施例的一种手势识别方法的移动终端的硬件结构框图；图2是根据本专利技术实施例的手势识别方法的流程图；图3是根据本专利技术具体实施例的手势识别方法流程图；图4是根据本专利技术实施例的手势识别装置的结构框图。具体实施方式下文中将参考附图并结合实施例来详细说明本专利技术。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。本申请实施例所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本专利技术实施例的一种手势识别方法的移动终端的硬件结构框图。如图1所示，移动终端10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本专利技术实施例中的手势识别方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(NetworkInterfaceController，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(RadioFrequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。在本实施例中提供了一种手势识别方法，图2是根据本专利技术实施例的手势识别方法的流程图，如图2所示，该流程包括如下步骤：步骤S202，确定目标图像；步骤S204，使用第一模型对所述目标图像的特征进行提取，确定所述目标图像的目标特征图，其中，所述第一模型为使用多组第一数据对第一初始模型通过机器学习训本文档来自技高网...

【技术保护点】
1.一种手势识别方法，其特征在于，包括：/n确定目标图像；/n使用第一模型对所述目标图像的特征进行提取，确定所述目标图像的目标特征图，其中，所述第一模型为使用多组第一数据对第一初始模型通过机器学习训练出的，每组第一数据均包括：图像和图像的特征图，所述第一初始模型为对目标模型的目标层进行调整之后得到的；/n使用第二模型识别所述目标特征图中包括的目标手势，其中，所述第二模型为使用多组第二数据对第二初始模型通过机器学习训练出的，每组第二数据均包括：特征图和特征图中包括的手势。/n

【技术特征摘要】
1.一种手势识别方法，其特征在于，包括：
确定目标图像；
使用第一模型对所述目标图像的特征进行提取，确定所述目标图像的目标特征图，其中，所述第一模型为使用多组第一数据对第一初始模型通过机器学习训练出的，每组第一数据均包括：图像和图像的特征图，所述第一初始模型为对目标模型的目标层进行调整之后得到的；
使用第二模型识别所述目标特征图中包括的目标手势，其中，所述第二模型为使用多组第二数据对第二初始模型通过机器学习训练出的，每组第二数据均包括：特征图和特征图中包括的手势。


2.根据权利要求1所述的方法，其特征在于，在使用第一模型对所述目标图像的特征进行提取之前，所述方法还包括：
对VGG16卷积神经网络进行如下处理，以得到所述第一初始模型：
去除所述VGG16卷积神经网络的全连接层fc8；
将所述VGG16卷积神经网络的全连接层fc6和fc7转换为卷积层；
维持所述VGG16卷积神经网络的池化层pool5的分辨率不变。


3.根据权利要求2所述的方法，其特征在于，在将所述VGG16卷积神经网络的全连接层fc6转换为卷积层之后，所述方法还包括：
对所述fc6转换成的卷积层进行空洞卷积处理。


4.根据权利要求1所述的方法，其特征在于，在使用第二模型识别所述目标特征图中包括的目标手势之前，所述方法还包括：
基于马尔科夫决策过程对每组第二数据中包括的特征图中的手势进行定位；
依次利用所述第二初始模型中包括的全局平均池化层、全连接层以及softmax函数对定位后的特征图进行处理，以得到分类结果；
基于所述分类结果与对应特征图中包括的手势的差别对所述第二初始模型中的参数进行调整，以得到所述第二模型。


5.根据权利要求1所述的方法，其特征在于，在使用第二模型识别所述目标特征图中包括的目标手势之后，所述方...

【专利技术属性】
技术研发人员：王磊，胡江明，潘威滔，李雷雷，
申请(专利权)人：海尔优家智能科技北京有限公司，
类型：发明
国别省市：北京;11