一种面向主题语义的图像检索方法技术

本发明专利技术公开了一种面向主题语义的图像检索方法，首先根据开源图像样本分别计算主题分布超参数与实体分布超参数，并针对大样本实体与小样本实体分别构建基于YOLO的大样本实体检测模型与小样本实体检测模板，然后针对主题语义与实体语义生成图像主题检索，再基于大样本实体检测模型与小样本实体检测模板对数据库中图像进行实体检测，判别图像的主题语义与实体语义是否满足检索要求，最后输出满足检索要求的数据库图像集合。本发明专利技术面向高层语义主题检索，语义检测与实体检测既相互关联也相互独立，有利于根据主题语义检索需求对实体检索技术不断优化改进，具有高度的灵活性。具有高度的灵活性。具有高度的灵活性。

【技术实现步骤摘要】
一种面向主题语义的图像检索方法


[0001]本专利技术涉及图像检索
，尤其涉及一种面向主题语义的图像检索方法。

技术介绍

[0002]传统图像检索技术是基于内容的图像检索技术(Cotent
‑
Based Image Retrieval，CBIR)。其基本思路是从图像中抽取低层视觉特征，如颜色、纹理与形状等，然而基于这些特征将用户查询的图像与数据库中的图像进行相似程度衡量，检索出与用户查询图像在视觉特征上相似的图像。然而，用户更需要地是从语义层面、主题层面进行图像检索，如“人与大自然”、“体育盛会”，而同一图像主题未必有相似的低层视觉特征。因此，基于内容的传统图像检索技术还不足以支撑面向主题的图像检索。相比之下，本专利技术针对面向主题语义的图像检索，创新提出了一种基于图像实体检测的图像主题检索方法。

技术实现思路

[0003]专利技术目的：本专利技术所要解决的技术问题是针对现有技术的不足，提供一种面向主题语义的图像检索方法。
[0004]为了解决上述技术问题，本专利技术公开了一种面向主题语义的图像检索方法，包括：
[0005]步骤1，根据开源图像样本分别计算主题分布超参数与实体分布超参数；
[0006]步骤2，构建大样本实体检测模型与小样本实体检测模板；
[0007]步骤3，针对主题语义与实体语义生成图像主题检索；
[0008]步骤4，进行实体检测，判别图像的主题语义与实体语义是否满足检索要求；
[0009]步骤5，重复执行步骤4，获得图像检索集合Rel。
[0010]进一步的，假设每一幅图像主题属于K个主题中的一个且主题在K个主题类别中的概率分布属于狄利克雷Dirichlet分布，表示主题分布超参数，K≥1；。进一步假设各主题k分别对应一个实体分布且该实体分布属于Dirichlet分布，表示实体分布超参数，其中N表示实体类别数目，1≤k≤K。另外，假设能够获取大量百度百科等开源图像样本，而每一图像在进行实体检测以后可表示为一个实体集合。在上述假设条件下，所述步骤1包括如下步骤：
[0011]步骤1.1主题分布超参数计算：基于百度百科等开源图像样本构建K个主题的图像训练样本集合，将训练样本在K个主题上的分布比例记为r1、r2、
……
、r
K
，根据公式(1)计算Dirichlet主题分布中的主题分布超参数
[0012][0013]步骤1.2实体分布超参数计算：根据每一主题k上各图像训练样本中实体分布，分别根据该主题中实体类别出现频率对N类实体由高到低进行排序，记为o
k1
、o
k2
、
……
、o
kN
，假设其中N
h
类为样本数量不少于Ns的大样本实体类别数目，N
l
类为样本数量小于Ns的小样本实体类别数目，N＝N
h
+N
l
，Ns表示样本数量阈值，将各主题k上N个实体的分布比例记为r
k1
、r
k2
、
……
、r
kN
，则根据公式(2)计算各主题k对应Dirichlet实体分布的实体分布超参数
[0014][0015]进一步的，所述步骤2中构建大样本实体检测模型是基于YOLO模型(参考文献：Redmon，J.,Divvala,S.,Girshick,R.,Farhadi,A.:You only look once:Unified,real
‑
time object detection,CVPR2016)构建大样本实体检测模型，其输入是N
h
类大样本实体类别的训练样本，针对各图像主题k，将实体类别按其在主题中的出现频率由高到低进行排序，假设所有样本已标注位置和类别，选取已标注位置和类别的N
k
类高频实体e
kp
(1≤p≤N
k
)样本对第k个YOLO模型进行训练，1≤N
k
≤N
h
，p表示高频实体索引；如果同一大样本实体类别对应多个YOLO模型，则选取其中平均重叠度(IOU，Intersection over Union)最优的YOLO模型对其类别置信度与位置进行检测，针对各大样本实体类别选择其最优YOLO模型来构建大样本实体检测模型，进而基于大样本实体检测模型检测获得训练样本中N
h
类大样本实体类别的实体检测位置坐标(X坐标、Y坐标)、检测宽度(W)、检测高度(H)、类别置信度。
[0016]进一步的，所述步骤2中构建小样本实体检测模板包括：针对N
l
个小样本实体类别，基于M个Hu不变矩(参考文献：基于Hu不变矩的图像形状特征提取研究，《网络安全技术与应用》，2017)构建小样本实体检测模板，即行数为N
l
、列数为M的Hu不变矩矩阵HuMatrix，其中矩阵单元HuMatrix(q,m)表示小样本实体类别q的第m个Hu不变矩在该实体类别样本上
的平均值，其中M≥5，1≤q≤N
l
，1≤m≤M；
[0017]进一步的，步骤3包括面向主题语义的图像检索条件设置和图像检索初始化，所述面向主题语义的图像检索条件设置从主题检索范围与实体检索范围等2个维度设置面向主题语义的数据库图像检索，包括：
[0018]主题语义设置：根据待检索图像的主题设置数据库检索的主题范围，该主题范围表示为一个集合T，
[0019]实体语义设置：根据待检索图像的实体设置数据库检索的实体范围，该实体范围表示为一个集合E，其中R表示设置的实体数目，1≤R≤N；
[0020]图像检索初始化包括：将图像检索集合Rel初始化为空集，即将待检索图像的数目Num初始化为数据库中的图像数目，将当期待检索图像索引g初始化为0，即g＝0；
[0021]进一步的，步骤4包括：
[0022]步骤4
‑
1，待检索图像数目判断：判断数据库待检索图像的数目Num是否为零，如果是跳至步骤5，如果否继续步骤4
‑
2；
[0023]步骤4
‑
2，图像索引更新：更新当前图像索引为g＝g+1，更新数据库待检索图像数目Num＝Num
‑
1；
[0024]步骤4
‑
3，检测大样本实体；
[0025]步骤4
‑
4，检测小样本实体；
[0026]步骤4
‑
5，构建实体检测矩阵；
[0027]步骤4
‑
6，判断图像主题和实体类别，获得检索结果。
[0028]进一步的，步骤4
‑
3包括：基于大样本实体检测模型对大样本实体类别进行检测，检测结果包括N
h
个大样本实体类别所属实体e
h
的X、Y坐标、检测窗本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向主题语义的图像检索方法，其特征在于，包括：步骤1，根据开源图像样本分别计算主题分布超参数与实体分布超参数；步骤2，构建大样本实体检测模型与小样本实体检测模板；步骤3，针对主题语义与实体语义生成图像主题检索；步骤4，进行实体检测，判别图像的主题语义与实体语义是否满足检索要求；步骤5，重复执行步骤4，获得图像检索集合Rel。2.根据权利要求1所述的一种面向主题语义的图像检索方法，其特征在于，假设每一幅图像主题属于K个主题中的一个且主题在K个主题类别中的概率分布属于Dirichlet分布表示主题分布超参数，K≥1；假设各主题k分别对应一个实体分布且该实体分布属于Dirichlet分布分布且该实体分布属于Dirichlet分布表示实体分布超参数，其中N表示实体类别数目，1≤k≤K；假设能够获取大量开源图像样本，而每一图像在进行实体检测以后能够表示为一个实体集合；所述步骤1包括如下步骤：步骤1.1，基于开源图像样本构建K个主题的图像训练样本集合，获得训练样本在K个主题上的分布比例，计算Dirichlet主题分布中的主题分布超参数步骤1.2，根据每一主题k上各图像训练样本中实体分布，分别根据该主题中实体类别出现频率对N类实体由高到低进行排序，其中N
h
类为样本数量不少于Ns的大样本实体类别数目，N
l
类为样本数量小于Ns的小样本实体类别数目，N＝N
h
+N
l
，Ns表示样本数量阈值，获得各主题k上N类实体的分布比例，计算各主题k对应Dirichlet实体分布的实体分布超参数3.根据权利要求2所述的一种面向主题语义的图像检索方法，其特征在于，所述步骤2中构建大样本实体检测模型基于YOLO模型构建，其输入是N
h
个大样本实体类别的训练样本，针对各图像主题k，将实体类别按其在主题中的出现频率由高到低进行排序，假设所有样本已标注位置和类别，选取前N
k
类高频实体e
kp
的样本对第k个YOLO模型进行训练，1≤N
k
≤N
h
，p表示高频实体类别的索引，1≤p≤N
k
；如果同一大样本实体类别用于两个以上的YOLO模型的训练，则选取其中平均重叠度IOU最优的YOLO模型对其类别置信度与位置进行检测，针对各大样本实体类别选择其最优YOLO模型来构建大样本实体检测模型，进而基于大样本实体检测模型检测获得训练样本中N
h
类大样本实体的对应实体检测位置坐标、检测宽度、检测高度和类别置信度。4.根据权利要求3所述的一种面向主题语义的图像检索方法，其特征在于，所述步骤2中构建小样本实体检测模板包括：针对N
l
个小样本实体类别，基于M个Hu不变矩构建小样本实体检测模板，即行数为N
l
、列数为M的Hu不变矩矩阵HuMatrix，其中矩阵单元HuMatrix(q,m)表示小样本实体类别q的第m个Hu不变矩在该实体类别样本上的平均值，其中M≥5，1≤q≤N
l
，1≤m≤M。5.根据权利要求4所述的一种面向主题语义的图像检索方法，其特征在于，所述步骤3包括面向主题语义的图像检索条件设置和图像检索初始化，所述面向主题语义的图像检索条件设置包括：
主题语义设置：根据待检索图像的主题设置数据库检索的主题范围，该主题范围表示为一个集合T，实体语义设置：根据待检索图像的实体设置数据库检索的实体范围，该实体范围表示为一个集合E，其中R表示设置的实体数目，1≤R≤N；所述图像检索初始化包括：将图像检索集合Rel初始化为空集，将待检索图像的数目Num初始化为数据库中的图像数目，将当期待检索图像索引g初始化为0。6.根据权利要求5所述的一种面向主题语义的图像检索方法，其特征在于，所述步骤4包括：步骤4
‑
1，判断数据库待检索图像的数目Num是否为零，如果是跳至步骤5，如果否继续步骤4
‑
2；步骤4
‑
2，更新当前图像索引为g＝g+1，更新数据库待检索图像数目Num＝Num
‑<...

【专利技术属性】
技术研发人员：徐欣，姜晓夏，罗子娟，
申请(专利权)人：中国电子科技集团公司第二十八研究所，
类型：发明
国别省市：