手势识别方法技术

本公开提供一种手势识别方法

【技术实现步骤摘要】
手势识别方法、装置、电子设备和存储介质


[0001]本公开涉及图像处理
，尤其涉及一种手势识别方法
、
装置
、
电子设备和存储介质
。

技术介绍

[0002]手势识别技术可提供良好的人机互动性，并提高操作便利性，已受到业界广泛的重视
。
当用户手部与镜头之间存在其他物体遮挡时，此时无法正确检测到用户手部的手势，降低使用体验
。

技术实现思路

[0003]本公开提供一种手势识别方法
、
装置
、
电子设备和存储介质，以解决上述技术问题
。
[0004]根据本公开的第一方面，提供一种手势识别方法，所述方法包括：
[0005]对当前视频图像进行检测，得到包含手部的至少一个手部图像；
[0006]对各手部图像进行识别，得到手势分类；
[0007]根据所述手势分类更新历史手势数据列表，得到目标手势数据列表，所述目标手势数据列表包括手势位置
、
手势分类和手势控制权
。
[0008]可选地，对当前视频图像进行检测，得到包含手部的至少一个手部图像，包括：
[0009]对当前视频图像进行手部检测，得到第一手部检测结果；所述第一手部检测结果包括检测到手部的第一检测结果或者未检测到手部的第二检测结果；
[0010]响应于确定所述第一手部检测结果为第二检测结果，将所述当前视频图像分割为预设数量个图像子块，并对各个图像子块进行手部势检测得到第二手部检测结果；
[0011]对所述第一手部检测结果和所述第二手部检测结果进行冗余筛选处理，得到手部检测框；
[0012]裁剪所述当前视频图像中手部检测框所在区域，得到至少一个包含手势的手部图像
。
[0013]可选地，对当前视频图像进行检测，得到包含手部的至少一个手部图像，包括：
[0014]获取手部识别模型，所述手部识别模型的输入数据为视频图像，输出数据为视频图像中手部区域的边缘坐标数据；
[0015]将所述当前视频图像输入到所述手部识别模型，得到所述当前视频图像中手部区域的边缘坐标数据；
[0016]根据所述手部区域的边缘坐标数据裁切所述当前视频图像，得到包含手部的至少一个手部图像
。
[0017]可选地，所述手部识别模型通过以下步骤训练得到，包括：
[0018]获取手部图像训练样本集合，所述手部图像训练样本集合包括多张手部图像训练样本，各张手部图像训练样本包括至少一种手势；
[0019]依次将各张手部图像训练样本输入到手部识别模型，得到手部识别结果；
[0020]获取所述手部识别结果与所述手部图像训练样本的标注数据的损失值；
[0021]响应于所述损失值小于或等于预设损失值阈值，停止手部识别模型训练，得到所述手部识别模型
。
[0022]可选地，所述手部图像训练样本集合包括公开图像训练样本子集和
/
或定制图像训练样本子集，获取手部图像训练样本集合中的定制图像训练样本子集，包括：
[0023]生成定制图像采集界面，所述定制图像采集界面包括图像采集框
、
手部类型标注框
、
拍摄控件和保存控件；
[0024]响应于检测到所述拍摄控件被触发，在所述图像采集框内显示所拍摄的定制图像；
[0025]获取所述手部类型标注框内输入的标注数据；
[0026]响应于检测到所述保存控件被触发，生成包含所述定制图像和所述标注数据的定制图像初始样本；
[0027]对所述定制图像初始样本进行预设处理，得到多张定制图像样本，作为所述定制图像训练样本子集；
[0028]所述预设处理包括以下至少一种：尺寸变换
、
角度旋转
、
马赛克处理和滤波处理
。
[0029]可选地，根据所述手势分类更新历史手势数据列表，得到目标手势数据列表，包括：
[0030]根据手部检测框的尺寸大小对各手部图像进行排序，并更新所述历史手势数据列表内各手部检测框及其手势分类；
[0031]响应于所述控制权为空，将所述历史手势数据列表中的控制权更新为手部检测框尺寸最大的手部图像并锁定所述控制权，得到所述目标手势数据列表
。
[0032]可选地，根据所述手势分类更新历史手势数据列表，得到目标手势数据列表，包括：
[0033]响应于所述控制权为空且未检测手势分类或者响应于所述控制权不为空且拥有控制权的手势未被检测到的时长超过预设时长，对所述视频图像进行重检测处理，得到第三手部检测结果；
[0034]根据所述第三手部检测结果更新所述历史手势数据列表
。
[0035]可选地，根据所述第三手部检测结果更新所述历史手势数据列表，包括：
[0036]响应于所述第三手部检测结果为空，释放所述历史手势数据列表中手部检测框的控制权
。
[0037]可选地，根据所述第三手部检测结果更新所述历史手势数据列表，包括：
[0038]响应于所述第三手部检测结果不为空，对手部图像进行手势分类并更新所述历史手势数据列表内手部检测框的手势分类
。
[0039]可选地，根据所述手势分类更新历史手势数据列表，得到目标手势数据列表，包括：
[0040]根据手部检测框的尺寸大小对各手部图像进行排序，并更新所述历史手势数据列表内各手部检测框及其手势分类；
[0041]响应于当前视频图像中拥有控制权的手部检测框的手势分类与所述历史手势数
据列表中前一帧视频图像的手势分类不同，释放所述手部检测框的控制权
。
[0042]根据本公开的第二方面，提供一种手势识别装置，所述装置包括：
[0043]手部图像获取模块，用于对当前视频图像进行检测，得到包含手部的至少一个手部图像；
[0044]手势分类获取模块，用于对各手部图像进行识别，得到手势分类；
[0045]手势列表获取模块，用于根据所述手势分类更新历史手势数据列表，得到目标手势数据列表，所述目标手势数据列表包括手势位置
、
手势分类和手势控制权
。
[0046]可选地，所述手部图像获取模块包括：
[0047]第一结果检测模块，用于对当前视频图像进行手部检测，得到第一手部检测结果；所述第一手部检测结果包括检测到手部的第一检测结果或者未检测到手部的第二检测结果；
[0048]第二结果检测模块，用于响应于确定所述第一手部检测结果为第二检测结果，将所述当前视频图像分割为预设数量个图像子块，并对各个图像子块进行手部势检测得到第二手部检测结果；
[0049]手部检测框获取模块，用于对所述第一手部检测结果和所述第二手部检测结果进行冗余筛选处理，得到手部检测框；
[0050]手部图像获取模块，用于裁剪所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种手势识别方法，其特征在于，所述方法包括：对当前视频图像进行检测，得到包含手部的至少一个手部图像；对各手部图像进行识别，得到手势分类；根据所述手势分类更新历史手势数据列表，得到目标手势数据列表，所述目标手势数据列表包括手势位置
、
手势分类和手势控制权
。2.
根据权利要求1所述的方法，其特征在于，对当前视频图像进行检测，得到包含手部的至少一个手部图像，包括：对当前视频图像进行手部检测，得到第一手部检测结果；所述第一手部检测结果包括检测到手部的第一检测结果或者未检测到手部的第二检测结果；响应于确定所述第一手部检测结果为第二检测结果，将所述当前视频图像分割为预设数量个图像子块，并对各个图像子块进行手部势检测得到第二手部检测结果；对所述第一手部检测结果和所述第二手部检测结果进行冗余筛选处理，得到手部检测框；裁剪所述当前视频图像中手部检测框所在区域，得到至少一个包含手势的手部图像
。3.
根据权利要求1所述的方法，其特征在于，对当前视频图像进行检测，得到包含手部的至少一个手部图像，包括：获取手部识别模型，所述手部识别模型的输入数据为视频图像，输出数据为视频图像中手部区域的边缘坐标数据；将所述当前视频图像输入到所述手部识别模型，得到所述当前视频图像中手部区域的边缘坐标数据；根据所述手部区域的边缘坐标数据裁切所述当前视频图像，得到包含手部的至少一个手部图像
。4.
根据权利要求3所述的方法，其特征在于，所述手部识别模型通过以下步骤训练得到，包括：获取手部图像训练样本集合，所述手部图像训练样本集合包括多张手部图像训练样本，各张手部图像训练样本包括至少一种手势；依次将各张手部图像训练样本输入到手部识别模型，得到手部识别结果；获取所述手部识别结果与所述手部图像训练样本的标注数据的损失值；响应于所述损失值小于或等于预设损失值阈值，停止手部识别模型训练，得到所述手部识别模型
。5.
根据权利要求4所述的方法，其特征在于，所述手部图像训练样本集合包括公开图像训练样本子集和
/
或定制图像训练样本子集，获取手部图像训练样本集合中的定制图像训练样本子集，包括：生成定制图像采集界面，所述定制图像采集界面包括图像采集框
、
手部类型标注框
、
拍摄控件和保存控件；响应于检测到所述拍摄控件被触发，在所述图像采集框内显示所拍摄的定制图像；获取所述手部类型标注框内输入的标注数据；响应于检测到所述保存控件被触发，生成包含所述定制图像和所述标注数据的定制图像初始样本；
对所述定制图像初始样本进行预设处理，得到多张定制图像样本，作为所述定制图像训练样本子集；所述预设处理包括以下至少一种：尺寸变换
、
角度旋转
、
马赛克处理和滤波处理
。6.
根据权利要求1所述的方法，其特征在于，根据所述手势分类更新历史手势数据列表，得到目标手势数据列表，包括：根据手部检测框的尺寸大小对各手部图像进行排序，并更新所述历史手势数据列表内各手部检测框及其手势分类；响应于所述控制权为空，将所述历史手势数据列表中的控制权更新为手部检测框尺寸最大的手部图像并锁定所述控制权，得到所述目标手势数据列表
。7.
根据权利要求1所述的方法，其特征在于，根据所述手势分类更新历史手势数据列表，得到目标手势数据列表，包括：响应于所述控制权为空且未检测手势分类或者响应于所述控制权不为空且拥有控制权的手势未被检测到的时长超过预设时长，对所述视频图像进行重检测处理，得到第三手部检测结果；根据所述第三手部检测结果更新所述历史手势数据列表
。8.
根据权利要求7所述的方法，其特征在于，根据所述第三手部检测结果更新所述历史手势数据列表，包括：响应于所述第三手部检测结果为空，释放所述历史手势数据列表中手部检测框的控制权
。9.
根据权利要求7所述的方法，其特征在于，根据所述第三手部检测结果更新所述历史手势数据列表，包括：响应于所述第三手部检测结果不为空，对手部图像进行手势分类并更新所述历史手势数据列表内手部检测框的手势分类
。10.
根据权利要求1所述的方法，其特征在于，根据所述手势分类更新历史手势数据列表，得到目标手势数据列表，包括：根据手部检测框的尺寸大小对各手部图像进行排序，并更新所述历史手势数据列表内各手部检测框及其手势分类；响应于当前视频图像中拥有控制权的手部检测框的手势分类与所述历史手势数据列表中前一帧视频图像的手势分类不同，释放所述手部检测框的控制权
。11.
一种手势识别装置，其特征在于，所述装置包括：手部图像获取模块，用于对当前视频图像进行检测，得到包含手部的至少一个手部图像；手势分类获取模块，用于对各手部图像进行识别，得到手势分类；手势列表获取模块，用于根据所述手势分类更新历史手势数据列表，得到目标手势数据列表，所述目标手势数据列表包括手势位置
、
手势分类和手势控制权
。12.
根据权利要求
11
所述的装置，其特征在于，所述手部图像获取模块包括：第一结果检测模块，用于对当前视频图像进行手部检测，得到第一手部检测结果；所述第一手部检...

【专利技术属性】
技术研发人员：庄丽，
申请(专利权)人：京东方科技集团股份有限公司北京京东方技术开发有限公司，
类型：发明
国别省市：