一种肖像查询方法、系统、设备及存储介质技术方案

本发明专利技术公开了一种肖像查询方法、系统、设备及存储介质，设计了一种新的查询框架，进一步挖掘人脸信息，增加人物查询结果间的约束，并设法减轻人物换装的影响，提升肖像查询的准确率；具体的：1)人脸检索时，使用检索到的数据库中高置信度人脸进行多次迭代检索，进一步挖掘人脸检索性能，得到新的查询集合，在保证准确率的同时，提高检索到的可靠样本的数量。2)通过增加人物查询结果间的约束，对待检索数据库进行缩减，进一步提升了检索的性能。3)通过对躯体外观特征使用KNN特征拓展进行增强，改善检索结果，并设计Top

【技术实现步骤摘要】
一种肖像查询方法、系统、设备及存储介质


[0001]本专利技术涉及肖像查询
，尤其涉及一种肖像查询方法、系统、设备及存储介质。

技术介绍

[0002]肖像查询指仅根据某个人的一张仅包含人脸信息的肖像图，在数据库中对该人物进行检索，其中数据库中的人物图片的人脸可能并不可见。目前学术界和工业界关于人物检索的研究，主要为人脸识别和行人重识别，这两个问题通常被分开看待，然而在更高的一个层面上这两个任务其实都是在完成同一件事情，即确认一个人的身份(Identity，ID)，只是利用的信息不同，一个利用了人脸，一个利用了躯体信息。将可利用的信息限制在人脸或躯体信息上，会大大限制算法的可推广性，而肖像查询正好是需要同时利用人脸和躯体信息的更具有应用前景的应用。
[0003]在很多情况下，我们能够获取到的往往只有某个人的一张肖像图片，例如，想根据某个人的一张肖像或者画像，在整个城市的监控中找出这个人的踪迹；又例如，影视行业想直接在电影电视剧中将某个演员出现的画面全部检索出来。在这些场景下，待搜索的数据库(如监控视频或电影画面)中，人物的正脸有时候并不可见，而同一个人的着装、所处的环境，甚至年龄容貌都可能存在变化。此时，仅靠人脸或躯体着装进行搜索显然是不够的，如何设计一套有效的肖像查询系统，同时利用人脸和躯体信息，更加贴合现实应用场景，同时也具有更大的挑战性。
[0004]肖像查询系统主要包括人脸检索和躯体检索两个部分。其中，人脸检索需要根据肖像图片在保证准确率的前提下，在数据库中尽可能多地找到同一人物包含人脸的图像，而躯体检索则利用这些样本的躯体着装等特征做第二次检索，召回更多此人的含人脸或不含人脸的图片结果。现有的方法一般关注于设计更好的卷积神经网络(Convolutional Neural Network，CNN)用于提取更加鲁棒的人脸和躯体特征，而忽视了整体检索流程的设计。实际上，一个好的检索框架设计往往也能够取得事半功倍的效果，在使用相同特征的基础上，获得更好的性能。
[0005]基于上述介绍，现有技术主要存在如下技术问题：
[0006]1)在人脸检索部分，现有的方法只使用查询样本(待查询的人脸肖像)直接在数据库中进行查询，然而查询样本的人脸与数据库中图像的人脸数据分布是有差异的，这将造成性能的退化。人脸检索是整个肖像查询的基础，如果无法充分利用人脸识别的潜力，将导致整个系统性能的下降。
[0007]2)现有的方法直接从整个数据库中进行检索，且不同查询样本的检索结果间没有约束，没有考虑到人物身份的互斥性，即同一人物不会同时属于两个身份，这样检索系统不能从全局信息优化单查询样本的检索结果，使得检索结果具有一定的局限性。
[0008]3)在躯体检索部分，现有的方法没有对人物换装造成的外观干扰做专门的设计，直接使用第一步人脸检索得到的所有结果的躯体着装进行二次检索。然而，人物着装变化
对外观影响极大，不作区分便用于躯体检索将会极大限制二次检索的性能。

技术实现思路

[0009]本专利技术的目的是提供一种肖像查询方法、系统、设备及存储介质，可以提升检索效率与肖像查询的准确率。
[0010]本专利技术的目的是通过以下技术方案实现的：
[0011]一种肖像查询方法，包括：
[0012]对待查询视频中所有待查询的人物肖像分别进行人脸特征提取，对数据库中的图像均分别进行人脸特征与躯体特征提取；
[0013]对于待查询视频中的当前待查询的人物肖像，利用人脸特征进行迭代检索，获得人脸匹配结果；当前次检索时，利用上一次检索获得的查询集合，在所述数据库中检索与查询集合中所有图像的平均人脸特征相似度超过阈值的图像，获得的当前次检索结果与上一次检索获得的查询集合合并作为当前次获得的查询集合，通过最后一次获得的查询集合确定当前待查询的人物肖像的人脸匹配结果；其中，第一次检索时，所述查询集合中仅包含待查询视频中的当前待查询的人物肖像，每次检索时阈值逐渐减小；
[0014]利用非当前待查询的人物肖像的人脸匹配结果，以及与当前待查询的人物肖像的人脸匹配结果中所有图像处于同一帧的其他所有人物的图像，对所述数据库进行缩减，获得缩减后的数据库；
[0015]对缩减后的数据库以及所述人脸匹配结果中的图像分别进行躯体特征增强，将人脸匹配结果作为查询库，在所述缩减后的数据库中使用增强后的躯体特征的相似度进行检索，获得当前待查询的人物肖像的检索结果。
[0016]一种肖像查询系统，包括：
[0017]特征提取单元，对待查询视频中所有待查询的人物肖像分别进行人脸特征提取，对数据库中的图像均分别进行人脸特征与躯体特征提取；
[0018]人脸迭代检索与人脸匹配结果获取单元，用于对于待查询视频中的当前待查询的人物肖像，利用人脸特征进行迭代检索，获得人脸匹配结果；当前次检索时，利用上一次检索获得的查询集合，在所述数据库中检索与查询集合中所有图像的平均人脸特征相似度超过阈值的图像，获得的当前次检索结果与上一次检索获得的查询集合合并作为当前次获得的查询集合，通过最后一次获得的查询集合确定当前待查询的人物肖像的人脸匹配结果；其中，第一次检索时，所述查询集合中仅包含待查询视频中的当前待查询的人物肖像，每次检索时阈值逐渐减小；
[0019]数据库缩减单元，用于利用非当前待查询的人物肖像的人脸匹配结果，以及当前待查询的人物肖像的人脸匹配结果中所有图像处于同一帧的其他所有人物的图像，对所述数据库进行缩减，获得缩减后的数据库；
[0020]躯体检索与联合检索结果生成单元，用于对缩减后的数据库以及所述人脸匹配结果中的图像分别进行躯体特征增强，将人脸匹配结果作为查询库，在所述缩减后的数据库中使用增强后的外观特征的相似度进行检索，获得当前待查询的人物肖像的检索结果。
[0021]一种处理设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；
[0022]其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或
多个处理器实现前述的方法。
[0023]一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述的方法。
[0024]由上述本专利技术提供的技术方案可以看出，本专利技术设计了一种新的查询框架，进一步挖掘人脸信息，增加人物查询结果间的约束，并设法减轻人物换装的影响，提升肖像查询的准确率；具体的：1)人脸检索时，使用检索到的数据库中高置信度人脸进行多次迭代检索，进一步挖掘人脸检索性能，得到新的查询集合，在保证准确率的同时，提高检索到的可靠样本的数量。2)通过增加人物查询结果间的约束，对待检索底库进行缩减，进一步提升了检索的性能。3)通过对躯体外观特征进行增强，尽可能地排除不同着装对特征相似度的影响。
附图说明
[0025]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种肖像查询方法，其特征在于，包括：对待查询视频中所有待查询的人物肖像分别进行人脸特征提取，对数据库中的图像均分别进行人脸特征与躯体特征提取；对于待查询视频中的当前待查询的人物肖像，利用人脸特征进行迭代检索，获得人脸匹配结果；当前次检索时，利用上一次检索获得的查询集合，在所述数据库中检索与查询集合中所有图像的平均人脸特征相似度超过阈值的图像，获得的当前次检索结果与上一次检索获得的查询集合合并作为当前次获得的查询集合，通过最后一次获得的查询集合确定当前待查询的人物肖像的人脸匹配结果；其中，第一次检索时，所述查询集合中仅包含待查询视频中的当前待查询的人物肖像，每次检索时阈值逐渐减小；利用非当前待查询的人物肖像的人脸匹配结果，以及与当前待查询的人物肖像的人脸匹配结果中所有图像处于同一帧的其他所有人物的图像，对所述数据库进行缩减，获得缩减后的数据库；对缩减后的数据库以及所述人脸匹配结果中的图像分别进行躯体特征增强，将人脸匹配结果作为查询库，在所述缩减后的数据库中使用增强后的躯体特征的相似度进行检索，获得当前待查询的人物肖像的检索结果。2.根据权利要求1所述的一种肖像查询方法，其特征在于，所述对待查询视频中所有待查询的人物肖像分别进行人脸特征提取，对数据库中的图像均分别进行人脸特征与躯体特征提取包括：对于一个待检索视频，其包含M个待查询的人物肖像设数据库包括N个图像，记为其中，q
i
表示第i个待查询的人物肖像，g
l
表示数据库中的第l个图像；通过人脸检测网络对M个待查询的人物肖像分别进行人脸检测，再通过人脸特征提取网络从所有人脸检测结果中提取相应的人脸特征；通过人脸检测网络对数据库中的N个图像分别进行人脸检测，再通过人脸特征提取网络从所有人脸检测结果中提取相应的人脸特征；通过躯体检测网络对数据库中的N个图像分别进行躯体检测，并通过躯体特征提取网络从所有躯体检测结果中提取相应的躯体特征。3.根据权利要求1所述的一种肖像查询方法，其特征在于，所述对于待查询视频中的当前待查询的人物肖像，利用人脸特征进行迭代检索，获得人脸匹配结果包括：设置迭代检索次数为T，每次检索的阈值逐渐减小，迭代检索时的阈值表示：th1≥th2≥
…
≥th
T
，其中，th表示阈值，t＝1，2，...，T；将第i个待查询的人物肖像q
i
作为当前待查询的人物肖像，第一次检索时，查询集合在所述数据库中检索出与所述第i个待查询的人物肖像q
i
的人脸特征相似度超过阈值th1的图像作为第一次检索结果，记为{g1，g2，
…
，g
n
}，n表示第一次检索出的图像数目，每一个g表示从数据库中检索出的图像，将第一次检索结果与所述第i个待查询的人物肖像q
i
合并获得查询集合在第二次检索时，在所述数据库中检索出与第一次检索获得的查询集合中所有图像的平均人脸特征相似度超过阈值th2的图像作为第二次检索结果；将第二次检索结果与
所述查询集合合并获得查询集合以此类推，迭代进行T次检索，利用获得的查询集合确定人脸匹配结果M
i
：每次迭代检索获得的检索结果都是来自数据库的图像，且按照与查询集合中所有图像的平均人脸特征相似度的大小降序排列；合并时，将当前次检索获得的检索结果放置于上一次检索获得的查询集合的末尾。4.根据权利要求1或3所述的一种肖像查询方法，其特征在于，所述当前次检索时，利用上一次检索获得的查询集合，在所述数据库中检索与查询集合中所有图像的平均人脸特征相似度超过阈值的图像，获得的当前次检索结果与上一次检索获得的查询集合合并作为当前次获得的查询集合包括：将第i个待查询的人物肖像q
i
作为当前待查询的人物肖像，将当前次检索记为第t次，上一次检索获得的查询集合记为通过下式计算数据库中的图像与查询集合中所有图像的平均人脸特征相似度超过阈值的图像：其中，表示上一次检索获得的查询集合中的图像数目，q表示上一次检索获得的查询集合中的单个图像，g
j
表示数据库中的第j个图像；s(
...

【专利技术属性】
技术研发人员：李厚强，周文罡，谢乔康，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：