手部识别方法、装置、电子设备及存储介质制造方法及图纸

本公开实施例提供的手部识别方法、装置、电子设备及存储介质，通过获取待识别图像；利用基于图像的多种手部识别模型，分别对所述待识别图像进行识别，分别获得每种手部识别模型输出的手部识别框；利用跟踪网络模型对各手部识别框进行手部图像准确性判定，并将判定通过的手部识别框作为手部图像识别结果进行输出，从而利用了多种手部识别模型可对复杂拍摄场景下的手部进行有效识别的方案，结合跟踪网络模型对结果判定，进而得到准确的手部图像识别结果。

【技术实现步骤摘要】
手部识别方法、装置、电子设备及存储介质
本公开实施例涉及图像处理领域，尤其涉及一种手部识别方法、装置、电子设备及存储介质。
技术介绍
对图像进行物体类型识别是图像跟踪技术中必不可缺的环节。在对于图像中的手部进行跟踪和识别的过程中，由于拍摄环境的复杂性，手与拍摄设备之间的距离特性呈现多样化趋势。但相关技术中，对于不同距离特性下的手并没有较好的识别方法，这也使得相关技术对图像中的手部进行识别得到的手部位置是不准确的，严重影响了后续对于手的跟踪。
技术实现思路
针对上述问题，本公开实施例提供了一种手部识别方法、装置、电子设备及存储介质。第一方面，本公开实施例提供一种手部识别方法，包括：获取待识别图像；利用基于图像的多种手部识别模型，分别对所述待识别图像进行识别，分别获得每种手部识别模型输出的手部识别框；利用跟踪网络模型对各手部识别框进行手部图像准确性判定，并将判定通过的手部识别框作为手部图像识别结果进行输出。第二方面，本公开实施例提供一种手部识别装置，包括:获取模块，用于获取待识别图像；...

【技术保护点】
1.一种手部识别方法，其特征在于，包括：/n获取待识别图像；/n利用基于图像的多种手部识别模型，分别对所述待识别图像进行识别，分别获得每种手部识别模型输出的手部识别框；/n利用跟踪网络模型对各手部识别框进行手部图像准确性判定，并将判定通过的手部识别框作为手部图像识别结果进行输出。/n

【技术特征摘要】
1.一种手部识别方法，其特征在于，包括：
获取待识别图像；
利用基于图像的多种手部识别模型，分别对所述待识别图像进行识别，分别获得每种手部识别模型输出的手部识别框；
利用跟踪网络模型对各手部识别框进行手部图像准确性判定，并将判定通过的手部识别框作为手部图像识别结果进行输出。


2.根据权利要求1所述的手部识别方法，其特征在于，所述多种手部识别模型包括人体关节识别模型、像素识别模型以及基于热成像的手部位置识别模型中的至少两种。


3.根据权利要求2所述的手部识别方法，其特征在于，当多种手部识别模型包括人体关节识别模型时，所述利用基于图像的多种手部识别模型，利用基于图像的多种手部识别模型，分别对所述待识别图像进行识别，分别获得每种手部识别模型输出的手部识别框，包括：
利用所述人体关节识别模型，对所述识别图像进行处理，获得图像中人体各关节点在图像中的位置；
利用人体各关节点在图像中的位置，确定手部在图像中的位置；
根据手部在图像中的位置，输出用于标识手部位置的手部识别框。


4.根据权利要求3所述的手部识别方法，其特征在于，所述利用人体各关节点在图像中的位置，确定手部在图像中的位置，包括：
确定肘关节和腕关节在图像中的位置；
根据所述肘关节和腕关节的位置，建立所述肘关节和腕关节之间的连线，并根据连线确定所述手部在图像中的位置；其中，所述手部在图像中的位置位于所述连线的延长线上。


5.根据权利要求1所述的手部识别方法，其特征在于，当多种手部识别模型包括像素识别模型时，所述利用基于图像的多种手部识别模型，利用基于图像的多种手部识别模型，分别对所述待识别图像进行识别，分别获得每种手部识别模型输出的手部识别框，包括：
利用像素识别模型，对所述待识别图像进行处理，确定待识别图像中的每一像素所归属的物体；
在各物体对应的各像素中，确定手部对应的各像素的像素位置；根据手部对应的像素位置，生成并输出手部识别框。


6.根据权利要求1-5任一项所述的手部识别方法，其特征在于，所述利用跟踪网络模型对各手部识别框进行手部图像准确性判定，并将判定通过的手部识别框作为手部图像识别结果进行输出，包括：
根据每个手部识别框截取相应的待判定的手部图像；
利用跟踪网络模型对各个待判定的手部图像是否包括手进行判断，得到判断结果；
根据判断结果，确定目标手部图像，并对目标手部图像进行坐标回归处理，获得其对应的手部识别框坐标；所述目标手部图像是包括有手的待判定的手部图像；
将目标手部图像所对应的手部识别框坐标作为手部图像识别结果进行输出。


7.根据权利要求6所述的手部识别方法，其特征在于，所述判断结果用于表示待判定的手部图像中是否包括有手，还用于表示判断准确率；
相应的，将目标手部图像所对应的手部识别框坐标作为手部图像识别结果进行输出，包括：
对各手部识别框坐标进行重叠度判定；
当任意两个手部识别框坐标发生重叠时，根据该任意两个手部识别框坐标对应的判断准确率，选出其中一个手部识别框坐标并进行输出。


8.根据权利要求7所述的手部识别方法，其特征在于，所述根据该任意两个手部识别框坐标对应的判断准确率，选出其中一个手部识别框坐标并进行输出，包括：
基于该任意两个手部识别框坐标对应的判断准确率，利用非极大抑制算法根据选出其中一个手部识别...

【专利技术属性】
技术研发人员：卢艺帆，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：北京;11