一种基于口罩遮挡人脸的语义搜索方法技术

本发明专利技术公开了一种基于口罩遮挡人脸的语义搜索方法，首先提取待搜索的人脸图片中的人脸区域坐标及人脸关键点坐标，按人脸区域坐标对待搜索的人脸图片进行剪裁，得到剪裁后的待搜索人脸图像，利用第一人脸特征识别模型获取待搜索人脸图像的人脸轮廓特征向量；利用人脸关键点坐标对待搜索人脸图像进行进一步裁剪得到未被口罩遮挡的人脸图像，然后利用第二人脸特征识别模型获取未被口罩遮挡的人脸图像的特征向量；将人脸轮廓特征向量和未被口罩遮挡的人脸图像的特征向量进行拼接，形成人脸总特征向量；最后将待搜索的人脸总特征向量与数据库中已知人脸图片对应的人脸特征向量进行相似度比较；找到相似度满足要求的已知人脸图片。片。片。

【技术实现步骤摘要】
得知该已知人脸图片所对应的已知相关信息。
[0016]在上述技术方案中，步骤2中，将步骤1中得到的待搜索人脸图像输入至第一人脸 特征识别模型中，得到256维的人脸轮廓特征向量。
[0017]在上述技术方案中，步骤3中得到的未被口罩遮挡的人脸图像区域的左上角坐标为 (0,0)，右下角坐标为(w
crop_face_tosearch
,max(y
left_eye
,y
right_eye
)+0.6*(y
nose
‑
max(y
left_eye
, y
right_eye
))，其中w
crop_face_tosearch
为步骤1中的待搜索人脸图像的宽度，y
left_eye
是步骤1中 提取的左眼中点的纵坐标，y
right_eye
是步骤1中提取的右眼中心点的纵坐标，y
nose
是步骤 1中提取的鼻尖的纵坐标。
[0018]在上述技术方案中，步骤4中，获得的未被口罩遮挡的人脸图像的特征向量为512 维。
[0019]在上述技术方案中，所述第一人脸特征识别模型采用基于U2‑
Net网络的人脸特征识 别模型。
[0020]在上述技术方案中，所述第二人脸特征识别模型采用基于FaceNet的人脸特征识别 模型。
[0021]在上述技术方案中，在步骤6中，要计算待搜索人脸图片与数据库中已有的人脸图 片的人脸相似度分数值，包括以下步骤：r/>[0022]6.1，首先计算待搜索的人脸总特征向量与数据库中预先存储的每个已知人脸图片对 应的人脸特征向量的欧式距离d，计算公式如下：
[0023][0024]其中，f
face_tosearch_i
表示待搜索的人脸的总特征向量的第i维特征向量，f
face_i
表示数 据库中人脸特征向量的第i维特征向量；
[0025]6.2，根据步骤6.1得到的欧式距离d，计算出待搜索人脸图片与数据库中已有的人 脸图片的相似度分数值similar_score：
[0026][0027]在上述技术方案中，将人脸相似度分数值从高到低的顺序进行排序，将排序靠前的k 个人脸相似度分数值所对应的k张已知人脸图片返回给用户，此k张人脸就是与用户输 入的人脸图片最匹配的k张人脸。
[0028]在上述技术方案中，还可以设定人脸相似度分数值阈值，对大于该阈值的人脸相似 度分数值所对应的已知人脸图片筛选出来，返回给用户。
[0029]在上述技术方案中，数据库中要预先存储已知的人脸相关信息，包括以下步骤：
[0030]a，在数据库中设立存储字段，分别用于存储每张人脸图像序列号、人脸图像信息、 人脸特征向量；
[0031]b，获取n个包含有人脸的人脸图片，其中，每张人脸图片只包含一个人脸，并且这 些人脸图片对应的人的相关信息是已知的；将这些人脸图片输入到人脸检测预训练模型， 输出得到人脸区域坐标和人脸关键点坐标，其中，人脸关键点坐标包括左眼中心点坐标、 右眼中心点坐标和鼻尖坐标；然后按照人脸区域坐标对原始人脸图片进行剪裁，得到剪 裁后的人脸图像，并将这些剪裁后的人脸图像按顺序统计每张人脸图像的人脸图像序列 号
脸图像序列号是该人脸图像的唯一标识(即MySQL数据库的主键)，人脸图像信息包 含该人脸图像的存储路径以及该人脸图像对应的性别/姓名等信息，人脸特征向量为该人 脸的768维特征向量f
face
(即[f1,f2,f3,
…
,f
512
])；
[0047]1.2获取n个已知的包含有人脸的人脸图片(n∈(0,+∞))，其中，每张人脸图片只 包含一个人脸，并且没有口罩遮挡，并且这些人脸图片对应的人的性别/姓名等信息是已 知的；将这些人脸图片输入到专用的人脸检测预训练模型yolov5n(该模型具有低算力高 精度的特点，比当前业界常用的人脸预检测模型retinaface具有更低的算力，对人脸关键 点检测具有更高的精度)，输出得到人脸区域坐标(包括人脸左上角坐标(x
face_left
,y
face_left
) 和人脸右下角坐标(x
face_right
,y
face_right
))和人脸关键点坐标(包括左眼中心点坐标(x
left_eye
, y
left_eye
)、右眼中心点坐标(x
right_eye
,y
right_eye
)和鼻尖坐标(x
nose
,y
nose
))；然后按照人 脸区域坐标对原始人脸图片进行剪裁，得到剪裁后的人脸图像crop_face，并将这些剪裁 后的人脸图像crop_face按顺序统计每张人脸图像的人脸图像序列号face_id和人脸图像 信息face_info，记录到MySQL数据库中的相应字段中；
[0048]1.3将步骤1.2中得到的人脸图像crop_face输入至基于U2‑
Net网络的人脸特征识别 模型中，得到各人脸图像crop_face各自所对应的256维人脸轮廓特征向量f
outline
数据(即 [f
outline_1
,f
outline_2
,f
outline_3
,
…
,f
outline_256
])；
[0049]1.4利用步骤1.2得到的左眼中心点坐标(x
left_eye
,y
left_eye
)、右眼中心点坐标(x
right_eye
, y
right_eye
)和鼻尖坐标(x
nose
,y
nose
)，对步骤1.2中得到的人脸图像crop_face进行进一步裁 剪，得到局部人脸图像，该局部人脸图像区域记为crop_face
uphalf
，其左上角坐标为(0,0)， 右下角坐标为(w
crop_face
,max(y
left_eye
,y
right_eye
)+0.6*(y
nose
‑
max(y
left_eye
,y
right_eye
))，其 中w
crop_face
为crop_face的宽度；
[0050]1.5构建并预训练好区别于步骤1.3所采用的基于U2‑
Net网络的人脸特征识别模型的 另一种人脸特征识别模型，具体的，本步骤中是采用基于FaceNet的人脸特征识别模型model
facenet
，具体的讲,保持FaceNet原有的网络结构，定义其损失函数为
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于口罩遮挡人脸的语义搜索方法，其特征在于，包括以下步骤：步骤1，提取待搜索的人脸图片中的人脸区域坐标及人脸关键点坐标；所述人脸关键点坐标，包括左眼中心点坐标、右眼中心点坐标和鼻尖坐标；所述人脸区域坐标，包括人脸左上角坐标和人脸右下角坐标；按人脸区域坐标对待搜索的人脸图片进行剪裁，得到剪裁后的待搜索人脸图像；步骤2，利用第一人脸特征识别模型获取经步骤1剪裁后的待搜索人脸图像的人脸轮廓特征向量；步骤3，利用步骤1得到的待搜索的人脸图片的左眼中心点坐标、右眼中心点坐标和鼻尖坐标，对待搜索人脸图像进行进一步裁剪，得到裁剪后的局部人脸图像，将其作为未被口罩遮挡的人脸图像；步骤4，利用第二人脸特征识别模型获取未被口罩遮挡的人脸图像的特征向量；步骤5，将步骤2得到的待搜索人脸图像的人脸轮廓特征向量和步骤4得到的未被口罩遮挡的人脸图像的特征向量进行拼接，形成待搜索的人脸总特征向量；步骤6，将步骤5得到的待搜索的人脸总特征向量与数据库中预先存储的已知人脸图片对应的人脸特征向量逐一进行相似度比较；找到相似度满足要求的已知人脸图片，再得知该已知人脸图片所对应的已知相关信息。2.根据权利要求1所述的基于口罩遮挡人脸的语义搜索方法，其特征在于：步骤2中，将步骤1中得到的待搜索人脸图像输入至第一人脸特征识别模型中，得到256维的人脸轮廓特征向量。3.根据权利要求1所述的基于口罩遮挡人脸的语义搜索方法，其特征在于：步骤3中得到的未被口罩遮挡的人脸图像区域的左上角坐标为(0,0)，右下角坐标为(w
crop_face_tosearch
,max(y
left_eye
,y
right_eye
)+0.6*(y
nose
‑
max(y
left_eye
,y
right_eye
))，其中w
crop_face_tosearch
为步骤1中的待搜索人脸图像的宽度，y
left_eye
是步骤1中提取的左眼中点的纵坐标，y
right_eye
是步骤1中提取的右眼中心点的纵坐标，y
nose
是步骤1中提取的鼻尖的纵坐标。4.根据权利要求1所述的基于口罩遮挡人脸的语义搜索方法，其特征在于：步骤4中，获得的未被口罩遮挡的人脸图像的特征向量为512维。5.根据权利要求1所述的基于口罩遮挡人脸的语义搜索方法，其特征在于：所述第一人脸特征识别模型采用基于U2‑
Net网络的人脸特征识别模型，所述第二人脸特征识别模型采用基于FaceNet的人脸特征识别模型。6.根据权利要求1所述...

【专利技术属性】
技术研发人员：李响，李冠华，毕海，
申请(专利权)人：杭州云栖智慧视通科技有限公司，
类型：发明
国别省市：