交互式疑难人像检索的方法、客户端及系统技术方案

本发明专利技术公开了交互式疑难人像检索的方法、客户端及系统，涉及人像识别检索技术领域。所述方法包括步骤：获取图像，将图像转化为基于语义属性标签的图像表示集；接收用户输入的查询，获取用户针对该查询选择的语义属性信息；根据用户的选择标记显著性语义属性，按照图像是否带有显著性语义属性将前述图像表示集分类为显著性属性图像集和非显著性属性图像集，对显著性属性图像集和非显著性属性图像集分别进行分类排序，并根据排序结果生成初始候选人排序队列；通过混合相似度再排序交互检索获取用户确定的最终目标。本发明专利技术人工工作量合理、检索成功率高、收敛速度快、应用面广，尤其适用于公安行业的疑难人像检索应用。适用于公安行业的疑难人像检索应用。适用于公安行业的疑难人像检索应用。

【技术实现步骤摘要】
交互式疑难人像检索的方法、客户端及系统


[0001]本专利技术涉及人像识别检索
，尤其涉及一种交互式疑难人像检索的方法、客户端及系统。

技术介绍

[0002]人像检索(又称人像图片检索)方法主要是采用人工识别方法和/或人像识别技术，对图片数据中的人像进行检索，得到检索结果。人像检索技术的关键在于人像图片的内容分析和理解，即利用机器视觉的方法从人像图片中提取语义信息进行检索，该语义信息反映人像的内容，也构成人像检索所依据的特征，检索算法基于语义特征的相似度进行检索结果的排序。对于人像图片检索来说，要求该语义特征尽可能准确、详细地描述人像图片的内容，从而保证检索结果更加吻合用户的查询需求；同时考虑到检索所要处理的大规模数据，要求语义特征易于提取，不耗费太多计算资源。
[0003]近年来，人像识别技术在公共安全领域中得到了广泛的应用，但许多在专业刑侦领域中对案件侦破起到决定作用的人像要素，如嫌疑人模拟画像、目击者的头脑印象(mental image)、被害人颅骨复原像、描述者语义化的特征描述等，由于无法进行常规人像比对和语义化属性检索，从而陷入只能依靠人工筛选的困境。同时，在大量视频侦查应用中，许多大侧面、部分图像残缺、超分辨率等未达到人像识别和检索质量要求的素材，而往往被现有的人像检索系统“拒之门外”。上述非标准、非常规的人像检索可以统一归类为“疑难人像检索”。由于针对“疑难人像检索”问题的研究相对较少，专门对应算法方面的研究几乎空白，传统的疑难人像检索往往只能通过人脸角度纠正、超分辨率图像清晰化处理、及人像补全等图像处理方法修正“素材”来达到检索的目的，耗费人工且效果不佳。
[0004]目前，现有技术也提供了一些适用于疑难人像检索的技术方案，作为举例，比如异质人像(Heterogeneous Image)比对方法，其是通过将所有非标图像、头脑印象均绘制为模拟画像的方法来实现人像检索。然而，上述方法的检索效果高度依赖于目击者的描述能力以及绘制者的专业水平，检索的准确率和稳定性难以保证。再比如，现有技术中还提供了利用人类智能“告知”机器操作者倾向的交互式检索技术以根据用户需求突出显示最相关的结果的方法。然而，一方面，由于人类视觉和机器视觉的“敏感属性”的不同，人眼和机器视觉间存在较大的“语义鸿沟”，对图像识别工作造成较大困扰；另一方面，目前的交互式检索技术通常是基于随机候选人(candidate)选择的交互式检索方法，需要的人工操作次数较多，在中大规模或相似样本集中循环次数大增，甚至陷入无解状态。
[0005]综上所述，如何基于现有技术提供一种人工工作量合理、检索成功率高、收敛速度快的交互式疑难人像检索方法是当前亟需解决的技术问题。

技术实现思路

[0006]本专利技术的目的在于：克服现有技术的不足，提供了一种交互式疑难人像检索的方法、客户端及系统。本专利技术提供的人像检索方法，基于语义属性标签将图像转化为各语义属
性标签的图像表示集后，通过第一次人机交互标记显著性语义属性，将图像表示集分为显著性属性图像集和非显著性图像集后对各图像表示集进行分类排序，并获取下一步候选人排序队列；随后，循环进行层进式人机交互，并根据用户的人工选择结果进行再排序以生成下一循环的候选人排序队列，直至操作者确认结束。本专利技术人工工作量合理、检索成功率高、收敛速度快、应用面广，尤其适用于公安行业的疑难人像检索应用。
[0007]为实现上述目标，本专利技术提供了如下技术方案：
[0008]一种交互式疑难人像检索的方法，包括步骤：
[0009]步骤100，获取图像，将图像转化为基于语义属性标签的图像表示集；
[0010]步骤200，接收用户输入的查询，获取用户针对该查询选择的语义属性信息；根据用户的选择标记显著性语义属性，按照图像是否带有显著性语义属性将前述图像表示集分类为显著性属性图像集和非显著性属性图像集，对显著性属性图像集和非显著性属性图像集分别进行分类排序，并根据排序结果生成初始候选人排序队列；
[0011]步骤300，通过混合相似度再排序交互检索获取用户确定的最终目标；其中，通过层进式人机交互获取用户的选择信息，针对每次选择对候选人排序队列进行混合相似度再排序，生成下一循环的候选人排序队列供用户再选择，获取用户确定的最终目标后结束循环。
[0012]进一步，所述语义属性标签为公安行业标准化的人像语义属性标签，根据公安行业标准化的人像语义属性标签构建多标签学习神经网络后，通过所述多标签学习神经网络将图像数据转化为基于公安行业语义属性标签的图像表示集Y。
[0013]进一步，在层进式人机交互过程中，通过设置机器视觉识别辅助用户进行判断。
[0014]进一步，转化形成图像表示集Y的具体步骤包括：
[0015]设I幅训练图像集X为{x
i
|x
i
∈X
v
}，其中，1≤i≤I，v为图像向量的维度；设L个行业标准化语义属性集Z为{z
l
|z
l
∈Z}，其中，1≤l≤L；通过MLCNN神经网络，将训练图像集转化为v
×
L维的基于语义属性标签的图像表示集Y为{y
i，l
|y
i，l
∈Y
v
×
L
}，其中，
[0016]y
i，l
＝Rep(x
i
)(1≤i≤I，1≤l≤L)，
[0017]式中，函数Rep(
·
)为从Xv到Y
v
×
L
的转化函数；
[0018]在每个语义属性的贡献参数δ(i，l)一致的情况下，图像x
i
基于各语义属性的分值函数Score(x
i
)为y
i，l
个分属性损失函数C(i，l)的和，Score(x
i
)的计算公式如下，
[0019][0020]式中，C(i，l)表示各有效语义属性的softmax多标记损失函数值，C(i，l)的计算公式如下，
[0021][0022]根据Score(x
i
)生成X的属性分值矩阵S
i
，获得各图像x
i1
和x
i2
间基于属性的距离函数Dis(x
i1-x
i2
)，计算公式如下，
[0023]Dis(x
i1-x
i2
)＝(S
i1-S
i2
)
T
(Si
1-S
i2
)，
[0024]式中，S
i1
为x
i1
的属性分值矩阵，S
i2
为x
i2
的属性分值矩阵。
[0025]进一步，步骤200中，所述语义属性信息包括语义属性的名称和属性值，获取用户针对该查询选择的语义属性信息的步本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种交互式疑难人像检索的方法，其特征在于包括步骤：步骤100，获取图像，将图像转化为基于语义属性标签的图像表示集；步骤200，接收用户输入的查询，获取用户针对该查询选择的语义属性信息；根据用户的选择标记显著性语义属性，按照图像是否带有显著性语义属性将前述图像表示集分类为显著性属性图像集和非显著性属性图像集，对显著性属性图像集和非显著性属性图像集分别进行分类排序，并根据排序结果生成初始候选人排序队列；步骤300，通过混合相似度再排序交互检索获取用户确定的最终目标；其中，通过层进式人机交互获取用户的选择信息，针对每次选择对候选人排序队列进行混合相似度再排序，生成下一循环的候选人排序队列供用户再选择，获取用户确定的最终目标后结束循环。2.根据权利要求1所述的方法，其特征在于：所述语义属性标签为公安行业标准化的人像语义属性标签，根据公安行业标准化的人像语义属性标签构建多标签学习神经网络后，通过所述多标签学习神经网络将图像数据转化为基于公安行业语义属性标签的图像表示集Y。3.根据权利要求1所述的方法，其特征在于：在层进式人机交互过程中，通过设置机器视觉识别辅助用户进行判断。4.根据权利要求1或2所述的方法，其特征在于：转化形成图像表示集Y的具体步骤包括：设I幅训练图像集X为{x
i
|x
i
∈X
v
}，其中，1≤i≤I，v为图像向量的维度；设L个行业标准化语义属性集Z为{z
l
|z
l
∈Z}，其中，1≤l≤L；通过MLCNN神经网络，将训练图像集转化为v
×
L维的基于语义属性标签的图像表示集Y为{y
i，l
|y
i，l
∈Y
v
×
L
}，其中，y
i，l
＝Rep(xi)(1≤i≤I，1≤l≤L)，式中，函数Rep(
·
)为从X
v
到Y
v
×
L
的转化函数；在每个语义属性的贡献参数δ(i，l)一致的情况下，图像x
i
基于各语义属性的分值函数Score(x
i
)为y
i，l
个分属性损失函数C(i，l)的和，Score(x
i
)的计算公式如下，)的计算公式如下，式中，C(i，l)表示各有效语义属性的softmax多标记损失函数值，C(i，l)的计算公式如下，根据Score(x
i
)生成X的属性分值矩阵S
i
，获得各图像x
i1
和x
i2
间基于属性的距离函数Dis(x
i1-x
i2
)，计算公式如下，Dis(x
i1-x
i2
)＝(S
i1-S
i2
)
T
(S
i1-S
i2
)，式中，S
i1
为x
i1
的属性分值矩阵，S
i2
为x
i2
的属性分值矩阵。5.根据权利要求4所述的方法，其特征在于：步骤200中，所述语义属性信息包括语义属性的名称和属性值，获取用户针对该查询选择的语义属性信息的步骤包括：
根据用户输入的查询提取查询的特征；根据查询的特征，在终端显示结构上输出一系列语义属性对应的属性值以供用户选择；获取用户选择的语义属性的属性值。6.根据权利要求5所述的方法，其特征在于：步骤200中，生成初始候选人排序队列的步骤包括：获取前述用户选择的语义属性集合G
Q
＝{g1，g2，
…
g
s
}，将前述L中的所有语义属性分类为显著性属性和非显著性属性，将语义属性集Z的z
l
调整为并设置显著性属性判断函数为：根据图像是否带有显著性属性将图像表示集Y分类为包含显著性属性图像表示集和非显著性属性图像表示集可知Y＝Y
+
∩Y-；为突出显著性属性的作用，调整Score(x
i
)的计算公式中的属性贡献值δ(l)，调整后如下：式中，表示判断语义属性为显著性，表示判断语义属性为非显著性；r表示交互的循环次数；α(r)表示当语义属性为显著性或语义属性为非显著性时δ(l)选用不同的属性贡献值；其中，α(r)的初始值为α(0)设置为α(0)＝0.9，且α(r+1)＝min(0.5，α(0)-0.05r)(r≥0)；将调整后的δ(l)带入Score(x
i
)的计算公式进行重新计算，得到两个基于目标Q
r
的按距离倒序排序的队列，分别为显著性语义属性队列RankA(Q
r
，A
r
)∈Y
+
和非显著性语义属性队列RankB(Q
r
，B
r
)∈Y-，式中，Q
r
表示第r次人工交互的选择目标；然后，通过Top(
·
)取位函数分别获取RankA的前t
a
位和RankB前t
b
位形成候选人排序队列Candidate(r)，即：Candidate(r)＝Top(RankA(Q
r
，A
r
)，t
a
)∩Top(RankB(Q
r
，B
r
)，t
b
)其中，Candidate(0)表示初始候选人排序队列。7.根据权利要求6所述的方法，其特征在于：步骤300中，进行混合相似度再排序交互检索的步骤包括：获...

【专利技术属性】
技术研发人员：权利要求书三页说明书一一页附图三页，
申请(专利权)人：上海市刑事科学技术研究院，
类型：发明
国别省市：