手势识别方法、装置、电子设备及存储介质制造方法及图纸

本申请提供一种手势识别方法、装置、电子设备及存储介质，涉及深度学习技术领域。该方法包括：获取至少一帧待识别手势图像；采用预先训练的手势识别模型，识别各待识别手势图像的感知编码，并基于感知编码识别获取至少一帧待识别手势图像的手势识别结果，感知编码用于表征待识别手势图像中的手势在预设空间中的位置信息。本方法通过所训练的手势识别模型，提取待识别手势图像的感知编码作为待识别手势图像的特征信息，由于感知编码表征的是手势在预设空间中的位置信息，不同的手势对应的位置信息不同，也即，不同的手势均有唯一对应的感知编码，通过引入感知编码作为手势图像的特征信息，可有效提高相似手势的感知能力。可有效提高相似手势的感知能力。可有效提高相似手势的感知能力。

【技术实现步骤摘要】
手势识别方法、装置、电子设备及存储介质


[0001]本申请涉及深度学习
，具体而言，涉及一种手势识别方法、装置、电子设备及存储介质。

技术介绍

[0002]随着深度学习以及神经网络技术的快速发展，手势识别由于其便捷性被广泛的应用在智能家电、游戏交互、AR(Augmented Reality，增强现实)/VR(Virtual Reality，虚拟现实)交互、智能手机操纵等场景中，用户体验的好坏很大程度上取决于手势识别的精确度。
[0003]目前大部分的手势识别方案是利用预先标注了手势类别的样本手势图像训练得到的网络模型进行手势识别。
[0004]但是，上述方式无法感知不同手势之间的细微差异，导致手势识别结果的精确度较差。

技术实现思路

[0005]本申请的目的在于，针对上述现有技术中的不足，提供一种手势识别方法、装置、电子设备及存储介质，以便于解决现有技术中不同手势差异无法感知，手势识别结果精确度较差的问题。
[0006]为实现上述目的，本申请实施例采用的技术方案如下：
[0007]第一方面，本申请实施例提供了一种手势识别方法，包括：
[0008]获取至少一帧待识别手势图像；
[0009]采用预先训练的手势识别模型，识别各所述待识别手势图像的感知编码，并基于所述感知编码识别获取所述至少一帧待识别手势图像的手势识别结果，所述感知编码用于表征所述待识别手势图像中的手势在预设空间中的位置信息。
[0010]第二方面，本申请实施例还提供了一种手势识别装置，包括：获取模块、识别模块；
[0011]所述获取模块，用于获取至少一帧待识别手势图像；
[0012]所述识别模块，用于采用预先训练的手势识别模型，识别各所述待识别手势图像的感知编码，并基于所述感知编码识别获取所述至少一帧待识别手势图像的手势识别结果，所述感知编码用于表征所述待识别手势图像中的手势在预设空间中的位置信息。
[0013]第三方面，本申请实施例提供了一种电子设备，包括：处理器、存储介质和总线，存储介质存储有处理器可执行的机器可读指令，当电子设备运行时，处理器与存储介质之间通过总线通信，处理器执行机器可读指令，以执行时执行如第一方面中提供的方法的步骤。
[0014]第四方面，本申请实施例提供了一种存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如第一方面提供的方法的步骤。
[0015]本申请的有益效果是：
[0016]本申请提供一种手势识别方法、装置、电子设备及存储介质，该方法包括：获取至
少一帧待识别手势图像；采用预先训练的手势识别模型，识别各待识别手势图像的感知编码，并基于感知编码识别获取至少一帧待识别手势图像的手势识别结果，感知编码用于表征待识别手势图像中的手势在预设空间中的位置信息。本方法通过所训练的手势识别模型，提取待识别手势图像的感知编码作为待识别手势图像的特征信息，由于感知编码表征的是手势在预设空间中的位置信息，不同的手势对应的位置信息不同，也即，不同的手势均有唯一对应的感知编码，即使是具有细微差异的手势，也可分别得到各手势的感知编码，从而基于感知编码可进行精确的手势图像识别。通过引入感知编码作为手势图像的特征信息，可有效提高手势识别的感知能力，识别到不同手势之间的细微差异，从而提高了手势图像识别结果的精确性。
[0017]其中，可通过训练的手势识别模型中的手势感知编码网络进行手势图像的感知编码的提取，手势感知编码网络由所构建的手势三元组训练得到，在训练的过程中，基于将相似的手势的感知编码在连续表征空间中的距离拉近，将不相似的手势的感知编码在连续表征空间中的距离拉远，以使得相似的手势之间的距离小于不相似的手势之间的距离的修正原则，使得训练得到的手势感知编码网络可对相似手势之间的细微差异进行感知，从而提高了手势图像识别结果的精确性。
附图说明
[0018]为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0019]图1为本申请实施例提供的一种手势识别方法的流程示意图；
[0020]图2为本申请实施例提供的另一种手势识别方法的流程示意图；
[0021]图3为本申请实施例提供的一种手势识别系统的架构示意图；
[0022]图4为本申请实施例提供的又一种手势识别方法的流程示意图；
[0023]图5为本申请实施例提供的另一种手势识别方法的流程示意图；
[0024]图6为本申请实施例提供的另一种手势识别方法的流程示意图；
[0025]图7为本申请实施例提供的又一种手势识别方法的流程示意图；
[0026]图8为本申请实施例提供的另一种手势识别方法的流程示意图；
[0027]图9为本申请实施例提供的一种手势识别结果示意图；
[0028]图10为本申请实施例提供的一种手势识别装置的示意图；
[0029]图11为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
[0030]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺
序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
[0031]另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0032]为了使得本领域技术人员能够使用本申请内容，结合特定应用场景“手势识别”，给出以下实施方式。对于本领域技术人员来说，在不脱离本申请的精神和范围的情况下，可以将这里定义的一般原理应用于其他实施例和应用场景。虽然本申请主要围绕手势识别进行描述，但是应该理解，这仅是一个示例性实施例。本申请可以应用于任何其他对象的识别场景。例如，本申请可以应用于表情识别、人脸识别等一些识别场景。
[0033]需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。
[0034本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种手势识别方法，其特征在于，包括：获取至少一帧待识别手势图像；采用预先训练的手势识别模型，识别各所述待识别手势图像的感知编码，并基于所述感知编码识别获取所述至少一帧待识别手势图像的手势识别结果，所述感知编码用于表征所述待识别手势图像中的手势在预设空间中的位置信息。2.根据权利要求1所述的方法，其特征在于，所述手势识别模型包括：手势感知编码网络和手势判别器；采用预先训练的手势识别模型，识别各所述待识别手势图像的感知编码，并基于所述感知编码识别获取所述至少一帧待识别手势图像的手势识别结果，包括：将所述至少一帧待识别手势图像输入所述手势感知编码网络，提取各所述待识别手势图像的感知编码；将各所述待识别手势图像的感知编码输入所述手势判别器，依次识别获取各所述待识别手势图像的手势识别结果。3.根据权利要求2所述的方法，其特征在于，所述手势识别模型采用如下方式训练得到：采集样本训练集，所述样本训练集中包括多个目标手势三元组，各目标手势三元组由第一手势图像、第二手势图像和第三手势图像组成，所述第二手势图像与所述第一手势图像的相似度大于第一预设阈值，所述第三手势图像与所述第一手势图像的相似度小于第二预设阈值，所述第一预设阈值大于所述第二预设阈值；各目标手势三元组具有标注信息，标注信息包括：图像相似度指示信息、以及各手势图像的手势类别；将所述样本训练集作为输入数据输入初始感知编码网络，训练获取所述手势感知编码网络；将所述样本训练集作为输入数据输入所述手势感知编码网络，获取所述手势感知编码网络输出的各目标手势三元组中各手势图像的感知编码；将所述样本训练集、以及所述手势感知编码网络输出的各目标手势三元组中各手势图像的感知编码作为输入数据输入初始判别器中，训练获取所述手势判别器。4.根据权利要求3所述的方法，其特征在于，所述采集样本训练集，包括：采集多个样本手势图像，并基于所述多个样本手势图像构建多个待选手势三元组；对各所述待选手势三元组进行有效性校验，将满足预设条件的待选手势三元组作为有效手势三元组；根据对各有效手势三元组的多条标注信息进行投票，确定各有效手势三元组的目标标注信息；将各有效手势三元组以及各有效手势三元组的目标标注信息作为所述目标手势三元组，得到所述样本训练集。5.根据权利要求3所述的方法，其特征在于，所述将所述样本训练集作为输入数据输入初始感知编码网络，训练获取所述手势感知编码网络，包括：将所述样本训练集作为输入数据输入初始感知编码网络，获取所述初始感知编码网络输出的各目标手势三元组中各手势图像的预测感知编码；根据各目标手势三元组中各手势图像的预测感知编码，计算所述初始感知编码网络的
第一损失参数；根据所述第一损失参数修正所述初始感知编码网络的网络参数，迭代执行，直至所述第一损失参数满足第三预设阈值，停止修正，将当前的初始感知编码网络作为所述手势感知编码网络。6.根据权利要求5所述的方法，其特征在于，所述根据各目标手势三元组中各手势图像的预测感知编码，计算所述初始感知编码网络的第一损失参数，包括：根据各目标手势三元组的标注信息中的图像相似度指示信息，分别确定各目标手势三元组中的第一手势图像、第二手势...

【专利技术属性】
技术研发人员：邱锋，丁彧，侯杰，吕唐杰，范长杰，胡志鹏，
申请(专利权)人：网易杭州网络有限公司，
类型：发明
国别省市：