人体和人脸的匹配方法、装置、设备和存储介质制造方法及图纸

本发明专利技术提供一种人体和人脸的匹配方法、装置、设备和存储介质；获取人脸框及其对应的嵌入特征和目标点位置，人体框及其对应的嵌入特征和目标点位置；处理人体框对应的嵌入特征，和每一个人脸框对应的嵌入特征，得到人体和每一个人脸的嵌入特征距离；处理人体框对应的目标点位置，和每一个人脸框对应的目标点位置，得到人体和每一个人脸的目标点距离；针对目标图像中的人体，选择用于表征人体和人脸最接近的嵌入特征距离、且用于表征人体和人脸最接近的目标点距离对应的人脸，作为人体的配对人脸，实现较高准确率的完成同属于一人的人体和人体的配对。人体的配对。人体的配对。

【技术实现步骤摘要】
人体和人脸的匹配方法、装置、设备和存储介质


[0001]本专利技术涉及图像处理
，尤其涉及一种人体和人脸的匹配方法、装置、设备和存储介质。

技术介绍

[0002]人体识别和人脸识别，属于行人识别的两种常见手段。行人识别的一种实际场景中，还存在有将场景中同属于一人的人脸和人体进行配对的需求。一般情况下，先分别完成人脸检测和人体检测，之后，再采用匈牙利算法从检测到的人脸和人体中，完成同属于一人的人脸和人体的配对。
[0003]具体的，采用匈牙利算法从检测到的人脸和人体中，完成同属于一人的人脸和人体的配对的基本方式是，在发现一个人脸框在人体框中的覆盖范围超过一定程度，则认定该人脸框和人体框是属于同一人的。但是，在场景图像中包含有多个人，且多个人之间的身体重复度较高时，就会导致人脸和人体的配对错误。由此可以看出：目前方案对属于一人的人脸和人体的配对，匹配的准确率较低。

技术实现思路

[0004]有鉴于此，本专利技术实施例提供一种人体和人脸的匹配方法、装置、设备和存储介质，以实现较高准确率的完成同属于一人的人体和人体的配对。
[0005]为实现上述目的，本专利技术实施例提供如下技术方案：
[0006]第一方面，本申请提供了一种人体和人脸的匹配方法，包括：
[0007]获取目标图像中的人脸框及其对应的嵌入特征和目标点位置，以及目标图像中的人体框及其对应的嵌入特征和目标点位置；其中，目标图像中的人脸框对应的嵌入特征表征与人脸框同属于一人的人体的语义信息，目标图像中的人体框对应的嵌入特征表征与人体框同属于一人的人脸的语义信息；
[0008]处理目标图像中的目标人体框对应的嵌入特征，和每一个人脸框对应的嵌入特征，得到目标图像中的目标人体和每一个人脸的嵌入特征距离；并处理目标图像中的目标人体框对应的目标点位置，和每一个人脸框对应的目标点位置，得到目标图像中的目标人体和每一个人脸的目标点距离；其中，目标人体框指代目标图像中的至少一个人体框，目标人体为目标人体框指代的人体，每一个人脸为每一个人脸框指代的人脸；
[0009]针对目标图像中的目标人体，选择符合第一条件的嵌入特征距离、且符合第二条件的目标点距离对应的人脸，作为目标人体的配对人脸。
[0010]可选地，针对目标图像中的目标人体，选择符合第一条件的嵌入特征距离、且符合第二条件的目标点距离对应的人脸，作为目标人体的配对人脸，包括：
[0011]计算得到第一相似度值和第二相似度值；其中，第一相似度值指代：目标图像中的目标人体和每一个人脸的嵌入特征距离对应的相似度值，第二相似度值指代：目标图像中的目标人体和每一个人脸的目标点距离对应的相似度；
[0012]组合第一相似度值和第二相似度值，得到融合相似度值；
[0013]针对目标图像中的目标人体，将融合相似度值最大的人脸，作为目标人体的配对人脸。
[0014]可选地，获取目标图像中的人脸框及其对应的嵌入特征和目标点位置，以及目标图像中的人体框及其对应的嵌入特征和目标点位置，包括：
[0015]调用检测模型处理目标图像，得到目标图像中的人脸框及其对应的嵌入特征和目标点位置，以及目标图像中的人体框及其对应的嵌入特征和目标点位置。
[0016]可选地，检测模型包括：基础模块、嵌入模块和预测模块；
[0017]基础模块用于处理目标图像，得到目标图像中的人脸框和人体框；
[0018]嵌入模块用于处理目标图像，得到人脸框对应的嵌入特征和人体框对应的嵌入特征；
[0019]预测模块用于得到目标图像中的人脸框对应的目标点位置和人体框对应的目标点位置。
[0020]可选地，检测模型在训练过程中，针对人脸和人体属于同一人的样本数据，采用促使人体框对应的嵌入特征和人脸框对应的嵌入特征互相靠近的损失函数，对检测模型进行训练；针对人脸和人体不属于同一人的样本数据，采用促使人体框对应的嵌入特征和人脸框对应的嵌入特征互相远离的损失函数，对检测模型进行训练。
[0021]可选地，检测模型在训练过程中，采用角度损失函数，对检测模型得到人脸框对应的目标点位置和人体框对应的目标点位置的功能进行训练，角度损失函数用于：促使目标图像中的人体框对应的目标点位置的预测值靠向实际值，以及促使人脸框对应的目标点位置的预测值靠向实际值。
[0022]可选地，检测模型为一阶段检测器，检测模型的嵌入模块，包括：四个卷积层以及在四个卷积层末端的一个膨胀卷积层；预测模块设置于一阶段检测器的膨胀卷积层后；
[0023]检测模型为二阶段检测器，检测模型的嵌入模块，包括：两个全连接层；预测模块设置于二阶段检测器的第二个全连接层后。
[0024]可选地，目标点位置包括：人头中心点位置，脖子的中心点位置，以及肩膀和大臂的一个或两个连接点位置；人体框包括：人体全身框，人体上半身框和人体上半躯干框。
[0025]第二方面，本申请提供了一种人体和人脸的匹配装置，包括：
[0026]调用单元，用于获取目标图像中的人脸框及其对应的嵌入特征和目标点位置，以及目标图像中的人体框及其对应的嵌入特征和目标点位置；其中，目标图像中的人脸框对应的嵌入特征表征与人脸框同属于一人的人体的语义信息，目标图像中的人体框对应的嵌入特征表征与人体框同属于一人的人脸的语义信息；
[0027]处理单元，用于处理目标图像中的目标人体框对应的嵌入特征，和每一个人脸框对应的嵌入特征，得到目标图像中的目标人体和每一个人脸的嵌入特征距离；并处理目标图像中的目标人体框对应的目标点位置，和每一个人脸框对应的目标点位置，得到目标图像中的目标人体和每一个人脸的目标点距离；其中，目标人体框指代目标图像中的至少一个人体框，目标人体为目标人体框指代的人体，每一个人脸为每一个人脸框指代的人脸；
[0028]筛选单元，用于针对目标图像中的目标人体，选择符合第一条件的嵌入特征距离、且符合第二条件的目标点距离对应的人脸，作为目标人体的配对人脸。
[0029]可选地，筛选单元针对目标图像中的目标人体，选择符合第一条件的嵌入特征距离、且符合第二条件的目标点距离对应的人脸，作为目标人体的配对人脸时，用于：
[0030]计算得到第一相似度值和第二相似度值；其中，第一相似度值指代：目标图像中的目标人体和每一个人脸的嵌入特征距离对应的相似度值，第二相似度值指代：目标图像中的目标人体和每一个人脸的目标点距离对应的相似度；组合第一相似度值和第二相似度值，得到融合相似度值；针对目标图像中的目标人体，将融合相似度值最大的人脸，作为目标人体的配对人脸。
[0031]可选地，调用单元执行获取目标图像中的人脸框及其对应的嵌入特征和目标点位置，以及目标图像中的人体框及其对应的嵌入特征和目标点位置时，用于：
[0032]调用检测模型处理目标图像，得到目标图像中的人脸框及其对应的嵌入特征和目标点位置，以及目标图像中的人体框及其对应的嵌入特征和目标点位置。
[0033]可选地，检测模型包括：基础模块本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人体和人脸的匹配方法，其特征在于，包括：获取目标图像中的人脸框及其对应的嵌入特征和目标点位置，以及所述目标图像中的人体框及其对应的嵌入特征和目标点位置；其中，所述目标图像中的人脸框对应的嵌入特征表征与所述人脸框同属于一人的人体的语义信息，所述目标图像中的人体框对应的嵌入特征表征与所述人体框同属于一人的人脸的语义信息；处理所述目标图像中的目标人体框对应的嵌入特征，和每一个人脸框对应的嵌入特征，得到所述目标图像中的目标人体和每一个人脸的嵌入特征距离；并处理所述目标图像中的目标人体框对应的目标点位置，和每一个人脸框对应的目标点位置，得到所述目标图像中的目标人体和每一个人脸的目标点距离；其中，所述目标人体框指代所述目标图像中的至少一个人体框，所述目标人体为所述目标人体框指代的人体，所述每一个人脸为每一个所述人脸框指代的人脸；针对所述目标图像中的所述目标人体，选择符合第一条件的嵌入特征距离、且符合第二条件的目标点距离对应的人脸，作为所述目标人体的配对人脸。2.根据权利要求1所述的人体和人脸的匹配方法，其特征在于，所述针对所述目标图像中的所述目标人体，选择符合第一条件的嵌入特征距离、且符合第二条件的目标点距离对应的人脸，作为所述目标人体的配对人脸，包括：计算得到第一相似度值和第二相似度值；其中，所述第一相似度值指代：所述目标图像中的目标人体和每一个人脸的嵌入特征距离对应的相似度值，所述第二相似度值指代：所述目标图像中的目标人体和每一个人脸的目标点距离对应的相似度；组合所述第一相似度值和所述第二相似度值，得到融合相似度值；针对所述目标图像中的目标人体，将所述融合相似度值最大的人脸，作为所述目标人体的配对人脸。3.根据权利要求1所述的人体和人脸的匹配方法，其特征在于，所述获取目标图像中的人脸框及其对应的嵌入特征和目标点位置，以及所述目标图像中的人体框及其对应的嵌入特征和目标点位置，包括：调用检测模型处理所述目标图像，得到所述目标图像中的人脸框及其对应的嵌入特征和目标点位置，以及所述目标图像中的人体框及其对应的嵌入特征和目标点位置。4.根据权利要求3所述的人体和人脸的匹配方法，其特征在于，所述检测模型包括：基础模块、嵌入模块和预测模块；所述基础模块用于处理所述目标图像，得到所述目标图像中的人脸框和所述人体框；所述嵌入模块用于处理所述目标图像，得到所述人脸框对应的嵌入特征和所述人体框对应的嵌入特征；所述预测模块用于得到所述目标图像中的人脸框对应的目标点位置和所述人体框对应的目标点位置。5.根据权利要求3或4所述的人体和人脸的匹配方法，其特征在于，所述检测模型在训练过程中，针对人脸和人体属于同一人的样本数据，采用促使人体框对应的嵌入特征和人脸框对应的嵌入特征互相靠近的损失函数，对所述检测模型进行训练；针对人脸和人体不属于同一人的样本数据，采用促使人体框对应的嵌入特征和人脸框对应的嵌入特征互相远离的损失函数，对所述检测模型进行训练。
6.根据权利要求3或4所述的人体和人脸的匹配方法，其特征在于，所述检测模型在训练过程中，采用角度损失函数，对所述检测模型得到人脸框对应的目标点位置和人体框对应的目标点位置的功能进行训练，所述角度损失函数用于：促使目标图像中的人体框对应的目标点位置的预测值靠向实际值，以及促使所述人脸框对应的目标点位置的预测值靠向实际值。7.根据权利要求4所述的人体和人脸的匹配方法，其特征在于，所述检测模型为一阶段检测器，所述检测模型的嵌入模块，包括：四个卷积层以及在四个所述卷积层末端的一个膨胀卷积层；所述预测模块设置于所述一阶段检测器的膨胀卷积层后；所述检测模型为二阶段检测器，所述检测模型的嵌入模块，包括：两个全连接层；所述预测模块设置于所述二阶段检测器的第二个全连接层后。8.根据权利要求1至4中任意一项所述的人体和人脸的匹配方法，其特征在于，所述目标点位置包括：人头中心点位置，脖子的中心点位置，以及肩膀和大臂的一个或两个连接点位置；所述人体框包括：人体全身框，人体上半身框和人体上半躯干框。9.一种人体和人脸的匹配装置，其特征在于，包括：调用单元，用于获取目标图像中的人脸框及其对应的嵌入特征和目标点位置，以及所述目标图像中的人体框及其对应的嵌入特征和目标点位置；其中，所述目标图像中的人脸框对应的嵌入特征表征与所述人脸框同属于一人的人体的语义信息，所述目标图像中的人体框对应的嵌入特征表征与所述人体框同属于一人的人脸的语义信息；处理单元，用于处理所述目标图像中的目标人体框对应的嵌入特征，和每一个人脸框对应的嵌入特征，得到所述目标图像中的目标人体和每一个人脸的嵌入特征距离；并处理所述目标图像中的目标人体框对应的目标点位置，和每一个人脸框对应的目标点位置，得到所述目标图像中的目标人体和每一个人脸的目标点距离；其中，所述目标人体框指代所述目标图像中的至少一个人体框，所述目标人体为所述目标人体...

【专利技术属性】
技术研发人员：邓江帆，周峰，万俊峰，
申请(专利权)人：北京爱笔科技有限公司，
类型：发明
国别省市：