一种面向异质人脸图像重识别的多模态排序优化方法技术

本发明专利技术公开了一种面向异质人脸图像重识别的多模态排序优化方法，包括：对人脸图像进行模态转换；将模态转换前后的人脸图像构成不同类型的查询模态组合，对不同查询模态组合进行正向查询和反向查询，得到对应的查询排序结果和查询可信度；分别计算第一种多模态融合相似度距离和第二种多模态融合相似度距离；对第一种、第二种多模态融合相似度距离进行加权融合，得到第三种多模态融合相似度距离；根据第三种多模态融合相似度距离，得到最终的人脸查询相似度排序结果，本发明专利技术能够有效利用不同模态间人脸图像的互补性，通过多模态融合相似度距离得到正确人脸排序更靠前的查询排序结果，从而提升异质人脸重识别的准确率。从而提升异质人脸重识别的准确率。从而提升异质人脸重识别的准确率。

【技术实现步骤摘要】
一种面向异质人脸图像重识别的多模态排序优化方法


[0001]本专利技术涉及数字图像
，具体涉及一种面向异质人脸图像重识别的多模态排序优化方法。

技术介绍

[0002]人脸重识别是视频监控领域的前沿研究方向之一，该技术与人脸识别的不同之处在于：视频监控中的人脸识别一般是以某个摄像头拍摄的低质量人脸在一个大规模高质量人脸库中进行查询，目的是确认某个摄像头拍摄的人脸身份，即这个人是谁；人脸重识别则是对以某个摄像头拍摄的低质量人脸在另一个摄像头拍摄的低质量人脸集中进行查询，目的是确认不同摄像头拍摄的人脸之间的身份关系，即一个摄像头下的某个人跟另一个摄像头下的某个人是否是同一个人，但这个人是谁并不清楚。随着监控设备类型日益多元化，不同摄像头拍摄的人脸可能是异质的，比如可见光人脸和红外人脸，导致异质人脸重识别的准确度显著下降。因此如何提升异质人脸重识别的准确度，成为视频监控领域一个需要解决的新问题。

技术实现思路

[0003]为了解决现有技术中异质人脸重识别的准确度不高的问题，本专利技术提供了一种面向异质人脸重识别的多模态排序优化方法，其目的是对被查询人脸集的排序进行优化调整，使正确人脸的排序更靠前，从而提升异质人脸重识别的准确度。
[0004]本专利技术的上述技术问题主要是通过下述技术方案得以解决的：
[0005]公开了一种面向异质人脸图像重识别的多模态排序优化方法，包括：
[0006]S1：对两个摄像头下的两种异质人脸图像进行图像翻译，分别得到与两种异质人脸图像对应的模态转换后的人脸图像；
[0007]S2：将模态转换前后的人脸图像构成不同类型的查询模态组合，对不同查询模态组合进行正向查询，得到对应的正向查询排序结果和正向查询可信度，正向查询表示将第一种摄像头下的人脸作为查询图像，将第二种摄像头下的人脸作为被查询图像；
[0008]S3：对不同查询模态组合进行反向查询，得到对应的反向查询排序结果和反向查询可信度，反向查询表示将第二种摄像头下的人脸作为查询图像，将第一种摄像头下的人脸作为被查询图像；
[0009]S4：根据不同查询模态组合的正向查询排序结果、正向查询可信度、反向查询排序结果、反向查询可信度，计算第一种多模态融合相似度距离，以线性融合的方式利用不同模态间人脸图像的互补性；
[0010]S5：根据不同查询模态组合的正向查询排序结果、反向查询排序结果，计算第二种多模态融合相似度距离，以非线性融合的方式利用不同模态间人脸图像的互补性；
[0011]S6：对第一种、第二种多模态融合相似度距离进行加权融合，得到第三种多模态融合相似度距离；
[0012]S7：根据第三种多模态融合相似度距离进行图像重识别，得到最终的人脸查询相似度排序结果，基于最终的人脸查询相似度排序结果得到图像重识别结果。
[0013]在一种实施方式中，步骤S1包括：
[0014]S1.1：将两个摄像头下的两种异质人脸数据集划分为训练数据集和以及测试数据集X
A
和Y
B
，其中X和Y分别表示两个摄像头，A和B则分别表示在两个摄像头下拍摄得到的两种不同图像模态，m是X摄像头下人脸图像x的ID号，M是X摄像头下人脸图像数据集的数量；n是Y摄像头下人脸图像y的ID号，N是Y摄像头下人脸图像数据集的数量；
[0015]S1.2：采用训练数据集和对图像翻译网络进行训练；
[0016]S1.3：将测试数据集X
A
和Y
B
输入训练好的图像翻译网络，得到对应的模态转换后的数据集X
B
和Y
A
，其中，其中
[0017]在一种实施方式中，步骤S2包括：
[0018]S2.1：定义正向查询为将X摄像头下的人脸作为查询图像，将Y摄像头下的人脸作为被查询图像，Q∈{1,2,3}表示查询模态组合的类型，对于正向查询而言，Q＝1表示查询图像来自X
A
，被查询图像来自Y
B
；Q＝2表示查询图像来自X
A
，被查询图像来自Y
A
；Q＝3表示查询图像来自X
B
，被查询图像来自Y
B
，当正向查询模态组合类型为Q时，将X摄像头下ID号为m的人脸图像作为查询图像，将Y摄像头下的所有N张人脸图像作为被查询图像；
[0019]S2.2：将N+1张人脸图像输入到人脸识别特征提取网络，得到各自对应的人脸特征向量，将1张查询图像的特征向量依次与N张被查询图像的特征向量计算特征相似度距离，得到N个余弦相似度距离，按照相似度从大到小对N个被查询图像进行排序，得到正向查询排序结果：
[0020][0021]其中，表示的是Y摄像头下被查询图像在相似度排序中排名第j对应的ID号，j∈{1,2,3,...,N}；
[0022]S2.3：将得到的正向查询排序结果Rank(Q,m)中排序前k个图像，定义为正向查询top
‑
k近邻，表示为其中k为可调节参数，k的取值范围是1到MIN(M，N)，基于正向查询top
‑
k近邻，得到正向查询双向top
‑
k近邻：
[0023][0024]其中，R(Q,m,k)表示正向查询双向top
‑
k近邻，代表将正向查询top
‑
k近邻对应序号的图像作为新的查询图像，在所有的查询数据集图像的相似度排名中前k的序号；
[0025]S2.4：基于正向查询双向top
‑
k近邻R(Q,m,k)，得到正向查询可信度：
[0026][0027]其中，W(Q,m,k)表示正向查询可信度，|R(Q,m,k)|表示正向查询双向top
‑
k近邻R
(Q,m,k)的图像数量。
[0028]在一种实施方式中，步骤S3包括：
[0029]S3.1：定义反向查询为将Y摄像头下的人脸作为查询图像，将X摄像头下的人脸作为被查询图像，Q∈{1,2,3}代表查询模态组合的类型，对于反向查询而言，Q＝1表示查询图像来自Y
B
，被查询图像来自X
A
；Q＝2表示查询图像来自Y
A
，被查询图像来自X
A
；Q＝3表示查询图像来自Y
B
，被查询图像来自X
B
；当反向查询模态组合类型为Q时，将Y摄像头下ID号为n的人脸图像作为查询图像，将X摄像头下的所有M张人脸图像作为被查询图像；
[0030]S3.2：将M+1张人脸图像输入到人脸识别特征提取网络，得到各自对应的人脸特征向量；然后将1张查询图像的特征向量依次与M张被查询图像的特征向量计算余弦相似度距离，得到M个余弦相似度距离；最后按照相似度从大到小对M个被查询图像进行排序，得到反向查询排序结果：
[0031][0032]其中表示Y摄像头下被查询图像在相似度排序中排名第i对应的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向异质人脸图像重识别的多模态排序优化方法，其特征在于，包括：S1：对两个摄像头下的两种异质人脸图像进行图像翻译，分别得到与两种异质人脸图像对应的模态转换后的人脸图像；S2：将模态转换前后的人脸图像构成不同类型的查询模态组合，对不同查询模态组合进行正向查询，得到对应的正向查询排序结果和正向查询可信度，正向查询表示将第一种摄像头下的人脸作为查询图像，将第二种摄像头下的人脸作为被查询图像；S3：对不同查询模态组合进行反向查询，得到对应的反向查询排序结果和反向查询可信度，反向查询表示将第二种摄像头下的人脸作为查询图像，将第一种摄像头下的人脸作为被查询图像；S4：根据不同查询模态组合的正向查询排序结果、正向查询可信度、反向查询排序结果、反向查询可信度，计算第一种多模态融合相似度距离，以线性融合的方式利用不同模态间人脸图像的互补性；S5：根据不同查询模态组合的正向查询排序结果、反向查询排序结果，计算第二种多模态融合相似度距离，以非线性融合的方式利用不同模态间人脸图像的互补性；S6：对第一种、第二种多模态融合相似度距离进行加权融合，得到第三种多模态融合相似度距离；S7：根据第三种多模态融合相似度距离进行图像重识别，得到最终的人脸查询相似度排序结果，基于最终的人脸查询相似度排序结果得到图像重识别结果。2.如权利要求1所述的面向异质人脸图像重识别的多模态排序优化方法，其特征在于，步骤S1包括：S1.1：将两个摄像头下的两种异质人脸数据集划分为训练数据集和以及测试数据集X
A
和Y
B
，其中X和Y分别表示两个摄像头，A和B则分别表示在两个摄像头下拍摄得到的两种不同图像模态，m是X摄像头下人脸图像x的ID号，M是X摄像头下人脸图像数据集的数量；n是Y摄像头下人脸图像y的ID号，N是Y摄像头下人脸图像数据集的数量；S1.2：采用训练数据集和对图像翻译网络进行训练；S1.3：将测试数据集X
A
和Y
B
输入训练好的图像翻译网络，得到对应的模态转换后的数据集X
B
和Y
A
，其中，其中3.如权利要求1所述的面向异质人脸图像重识别的多模态排序优化方法，其特征在于，步骤S2包括：S2.1：定义正向查询为将X摄像头下的人脸作为查询图像，将Y摄像头下的人脸作为被查询图像，Q∈{1,2,3}表示查询模态组合的类型，对于正向查询而言，Q＝1表示查询图像来自X
A
，被查询图像来自Y
B
；Q＝2表示查询图像来自X
A
，被查询图像来自Y
A
；Q＝3表示查询图像来自X
B
，被查询图像来自Y
B
，当正向查询模态组合类型为Q时，将X摄像头下ID号为m的人脸图像作为查询图像，将Y摄像头下的所有N张人脸图像作为被查询图像；S2.2：将N+1张人脸图像输入到人脸识别特征提取网络，得到各自对应的人脸特征向量，将1张查询图像的特征向量依次与N张被查询图像的特征向量计算特征相似度距离，得
到N个余弦相似度距离，按照相似度从大到小对N个被查询图像进行排序，得到正向查询排序结果：其中，表示的是Y摄像头下被查询图像在相似度排序中排名第j对应的ID号，j∈{1,2,3,...,N}；S2.3：将得到的正向查询排序结果Rank(Q,m)中排序前k个图像，定义为正向查询top
‑
k近邻，表示为其中k为可调节参数，k的取值范围是1到MIN(M，N)，基于正向查询top
‑
k近邻，得到正向查询双向top
‑
k近邻：其中，R(Q,m,k)表示正向查询双向top
‑
k近邻，代表将正向查询top
‑
k近邻对应序号的图像作为新的查询图像，在所有的查询数据集图像的相似度排名中前k的序号；S2.4：基于正向查询双向top
‑
k近邻R(Q,m,k)...

【专利技术属性】
技术研发人员：韩镇，胡辉，温佳兴，王中元，
申请(专利权)人：武汉大学，
类型：发明
国别省市：