手势识别方法技术

本发明专利技术提供一种手势识别方法

【技术实现步骤摘要】
手势识别方法、装置、电子设备及存储介质


[0001]本专利技术涉及图像识别
，尤其涉及一种手势识别方法
、
装置
、
电子设备及存储介质
。

技术介绍

[0002]通过手势识别的方法可以对图像中的目标对象进行手势识别得到手势识别结果，进而能将手势识别结果应用于手势解锁或手势控制等多种手势应用场景中
。
[0003]现有的基于深度学习网络模型的手势识别方法，主要是通过依次执行两个阶段的步骤，得到手势识别结果
。
其中，第一个步骤为目标检测步骤，是根据输入的图像序列，检测出各图像中目标对象的人体检测框信息，并结合空间位置信息对每个目标对象在时序上进行关联，得到目标对象对应的“时空区域”；第二个步骤为手势识别步骤，是根据第一个步骤中得到的每个目标对象的“时空区域”，对各目标对象逐一进行手势识别，以得到每个目标对象的手势识别结果
。
[0004]上述手势识别方法中使用的网络模型，是分别对应于目标检测步骤的检测模型以及对应于手势识别步骤的识别模型
。
两个模型是通过独立训练得到的独立模型，在每次手势识别应用时，均需经过“先检测，再识别”两个阶段
。
当待识别的图像序列中包含多个目标对象时，需先检测出各图像中各目标对象的“时空区域”，再将每个目标对象的“时空区域”分别输入识别模型中依次识别出各目标对象的手势
。
这种经历两个阶段才能完成识别的实现方式，极大地增加了全流程的耗时，识别的效率较低
。

技术实现思路

[0005]本专利技术提供一种手势识别方法
、
装置
、
电子设备及存储介质，用以解决现有技术中手势识别效率较低的缺陷，实现提高手势识别效率的目的
。
[0006]本专利技术提供一种手势识别方法，包括：
[0007]将至少一帧图像输入手势识别模型的编码模块中，得到所述编码模块输出的各图像对应的编码特征；各所述图像包括至少一个对象；
[0008]针对各图像对应的编码特征，将所述编码特征和至少一个查询特征输入所述手势识别模型中与所述图像对应的解码模块中，得到所述解码模块输出的解码特征；所述至少一个查询特征与所述解码模块对应；所述对象和所述查询特征一一对应，所述解码特征包括通过所述查询特征从所述编码特征中查询的对应对象的手势特征；
[0009]将所述解码特征输入所述手势识别模型中与所述图像对应的识别模块中，基于所述手势特征确定所述图像中各对象的手势类别，并通过所述识别模块输出所述手势类别；
[0010]基于各图像中各对象的手势类别，确定各所述对象的手势
。
[0011]根据本专利技术提供的一种手势识别方法，所述图像的数量为至少两帧，所述手势识别模型中包括至少两个解码模块；所述方法还包括：
[0012]将前一帧图像对应的解码模块输出的解码特征和至少一个初始查询特征进行拼
接，得到当前帧图像对应的解码模块的至少一个查询特征
。
[0013]根据本专利技术提供的一种手势识别方法，所述图像的数量为至少两帧，所述解码特征还包括通过所述查询特征从所述编码特征中查询的对应对象的位置特征；
[0014]所述方法还包括：
[0015]将所述解码特征输入所述手势识别模型中与所述图像对应的位置检测模块中，基于所述位置特征确定所述图像中各对象的位置信息，并通过所述位置检测模块输出所述位置信息；
[0016]基于至少两帧图像中各对象的位置信息，确定各所述对象的轨迹
。
[0017]根据本专利技术提供的一种手势识别方法，所述解码特征还包括通过所述查询特征从所述编码特征中查询的对应对象所在位置的类别特征；
[0018]所述方法还包括：
[0019]将所述解码特征输入所述手势识别模型中与所述图像对应的类别识别模块中，基于所述类别特征确定所述图像中各对象所在位置的类别，并通过所述类别识别模块输出所述类别，所述类别包括前景或背景
。
[0020]根据本专利技术提供的一种手势识别方法，所述基于各图像中各对象的手势类别，确定各所述对象的手势，包括：
[0021]基于各图像中各对象所在位置的类别，从各所述图像中筛选前景对象；
[0022]基于各所述图像中各前景对象的手势类别，确定各所述前景对象的手势
。
[0023]根据本专利技术提供的一种手势识别方法，所述手势识别模型为基于如下方式训练得到的：
[0024]获取样本图像序列，所述样本图像序列中包括基于时序采集的至少一帧样本图像；
[0025]将至少一帧样本图像分别输入初始手势识别模型的初始编码模块中，得到所述初始编码模块输出的各所述样本图像对应的样本编码特征；各所述样本图像包括至少一个样本对象；
[0026]针对各所述样本图像对应的样本编码特征，将所述样本编码特征和至少一个样本查询特征输入所述初始手势识别模型中与所述样本图像对应的初始解码模块中，得到所述初始解码模块输出的样本解码特征；所述至少一个样本查询特征与所述初始解码模块对应；所述样本对象和所述样本查询特征一一对应，所述样本解码特征包括通过所述样本查询特征从所述样本编码特征中查询的对应样本对象的样本手势特征；
[0027]将各所述样本解码特征输入所述初始手势识别模型中与所述样本图像对应的初始识别模块中，基于所述样本手势特征确定所述样本图像中各样本对象的预测手势类别，并通过所述初始识别模块输出所述预测手势类别；
[0028]基于所述预测手势类别和标签信息，更新所述初始手势识别模型的模型参数，得到所述手势识别模型，所述标签信息用于表征所述样本图像中的手势类别
。
[0029]根据本专利技术提供的一种手势识别方法，所述方法还包括：
[0030]基于所述预测手势类别和所述标签信息，迭代更新所述样本查询特征，将最终得到的样本查询特征确定为所述查询特征
。
[0031]本专利技术还提供一种手势识别装置，包括：
[0032]编码单元，用于将至少一帧图像输入手势识别模型的编码模块中，得到所述编码模块输出的各图像对应的编码特征；各所述图像包括至少一个对象；
[0033]解码单元，用于针对各图像对应的编码特征，将所述编码特征和至少一个查询特征输入所述手势识别模型中与所述图像对应的解码模块中，得到所述解码模块输出的解码特征；所述至少一个查询特征与所述解码模块对应；所述对象和所述查询特征一一对应，所述解码特征包括通过所述查询特征从所述编码特征中查询的对应对象的手势特征；
[0034]识别单元，用于将所述解码特征输入所述手势识别模型中与所述图像对应的识别模块中，基于所述手势特征确定所述图像中各对象的手势类别，并通过所述识别模块输出所述手势类别；
[0035]确定单元，用于基于各图像中各对象的手势类别，确定各所述对象的手势
。
[0036]本专利技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种手势识别方法，其特征在于，包括：将至少一帧图像输入手势识别模型的编码模块中，得到所述编码模块输出的各图像对应的编码特征；各所述图像包括至少一个对象；针对各图像对应的编码特征，将所述编码特征和至少一个查询特征输入所述手势识别模型中与所述图像对应的解码模块中，得到所述解码模块输出的解码特征；所述至少一个查询特征与所述解码模块对应；所述对象和所述查询特征一一对应，所述解码特征包括通过所述查询特征从所述编码特征中查询的对应对象的手势特征；将所述解码特征输入所述手势识别模型中与所述图像对应的识别模块中，基于所述手势特征确定所述图像中各对象的手势类别，并通过所述识别模块输出所述手势类别；基于各图像中各对象的手势类别，确定各所述对象的手势
。2.
根据权利要求1所述的手势识别方法，其特征在于，所述图像的数量为至少两帧，所述手势识别模型中包括至少两个解码模块；所述方法还包括：将前一帧图像对应的解码模块输出的解码特征和至少一个初始查询特征进行拼接，得到当前帧图像对应的解码模块的至少一个查询特征
。3.
根据权利要求1所述的手势识别方法，其特征在于，所述图像的数量为至少两帧，所述解码特征还包括通过所述查询特征从所述编码特征中查询的对应对象的位置特征；所述方法还包括：将所述解码特征输入所述手势识别模型中与所述图像对应的位置检测模块中，基于所述位置特征确定所述图像中各对象的位置信息，并通过所述位置检测模块输出所述位置信息；基于至少两帧图像中各对象的位置信息，确定各所述对象的轨迹
。4.
根据权利要求1所述的手势识别方法，其特征在于，所述解码特征还包括通过所述查询特征从所述编码特征中查询的对应对象所在位置的类别特征；所述方法还包括：将所述解码特征输入所述手势识别模型中与所述图像对应的类别识别模块中，基于所述类别特征确定所述图像中各对象所在位置的类别，并通过所述类别识别模块输出所述类别，所述类别包括前景或背景
。5.
根据权利要求4所述的手势识别方法，其特征在于，所述基于各图像中各对象的手势类别，确定各所述对象的手势，包括：基于各图像中各对象所在位置的类别，从各所述图像中筛选前景对象；基于各所述图像中各前景对象的手势类别，确定各所述前景对象的手势
。6.
根据权利要求1‑5任一项所述的手势识别方法，其特征在于，所述手势识别模型为基于如下方式训练得到的：获取样本图像序列，所述样本图像序列中包括基于时序采集的至少一帧样本图像；将至少一帧样本图像...

【专利技术属性】
技术研发人员：林垠，陈叶瀚森，沈锦瑞，殷保才，胡金水，殷兵，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：