一种基于语义和内容的快速图像检索方法及装置制造方法及图纸

为了解决现有图像检索方法针对大型数据库检索速度较慢的问题，提供了一种基于语义和内容的快速图像检索方法及装置，属于图像处理技术领域。本发明专利技术包括：构建语义分割网络；将离线数据库中所有图像输入语义分割网络，得到每幅图像的一种或多种语义标签；将语义标签全部相同的图像归为一类，得到多个语义数据库，将每个语义数据库对应的语义标签转换为唯一数字标签，并采用数字标签对相应的语义数据库进行标记；将待检索图像输入语义分割网络，得到待检索图像的语义标签，并转换为数字标签；确定与待检索图像具有相同数字标签的语义数据库，并基于内容检索的方式，在确定的语义数据库中检索与待检索图像相匹配的图像。

A Fast Image Retrieval Method and Device Based on Semantic and Content

【技术实现步骤摘要】
一种基于语义和内容的快速图像检索方法及装置
本专利技术涉及一种视觉定位中的图像检索方法，特别涉及一种基于语义和内容的快速图像检索方法，属于图像处理

技术介绍
室内视觉定位技术中的在线阶段需要对用户提供的待定位图像进行快速检索，在定位数据库中找到其匹配图像，从而进行精确定位。现有的图像检索算法大多是对数据库中图像与用户输入图像进行特征提取与比较，以寻找最小欧式距离的匹配特征向量。然而随着数据库的增大，提取的特征数目逐渐增多，在线阶段寻找匹配特征向量的过程需要消耗大量时间，不能满足在线定位的实时性。因此需要一种在确保检索精度条件下的快速检索算法，从而提高在线阶段寻找匹配图像的检索速度。
技术实现思路
为了解决现有图像检索方法针对大型数据库检索速度较慢的问题，提供了一种基于语义和内容的快速图像检索方法及装置。本专利技术的基于语义和内容的快速图像检索方法，所述快速图像检索方法包括：步骤一、构建语义分割网络；步骤二、将离线数据库中所有图像输入语义分割网络，得到每幅图像的一种或多种语义标签；步骤三、将语义标签全部相同的图像归为一类，得到多个语义数据库，将每个语义数据库对应的语义标签转换为唯一数字标签，并采用数字标签对相应的语义数据库进行标记；步骤四、将待检索图像输入语义分割网络，得到待检索图像的语义标签；步骤五、将待检索图像的语义标签转换为数字标签；步骤六、确定与待检索图像具有相同数字标签的语义数据库，并基于内容检索的方式，在确定的语义数据库中检索与待检索图像相匹配的图像。优选的是，将将单张图像Itest的一种或多种语义标签转化成唯一数字标签：l＝Λ·Ω转化向量Λ＝[20,21,…,2c]，c表示表示语义类别的数量，语义判别向量Ω＝[ω1,ω2,…,ωc]T，其中：Si表示语义标签，语义数据库为S＝[S1,S2,…,Sc]。优选的是，所述语义分割网络包括全卷积网络、区域候选网络和感兴趣区域子网；全卷积网络根据输入的图像，输出该图像的特征图；区域候选网络根据全卷积网络输出的特征图，生成多个候选区域；感兴趣区域子网根据全卷积网络输出的特征图，生成每个语义类别对应的k×k个位置敏感分数图，每个位置敏感分数图有c+1个通道输出；感兴趣区域子网的池化层利用候选区域对每个位置敏感分数图进行池化操作，并输出的c+1维特征图按维度求和得到c+1维的向量；将得到的c+1维的向量代入到多项逻辑斯蒂回归公式中，获得该候选区域中的目标属于每个类别的概率，并按照超过阈值φ且最大的概率将其归类，确定输入图像的语义标签。优选的是，所述步骤一中，构建语义分割网络的损失函数L包括：分类损失函数Lcis和位置损失函数Lreg；分类损失函数Lcis，用于表征训练语义分割网络后，语义分割网络预测的语义区域与实际语义区域之间语义分类结果的损失；位置损失函数Lreg，用于表征训练语义分割网络后，语义分割网络预测的语义区域与实际语义区域之间语义在图像中的位置检测结果的损失。优选的是，损失函数L为：其中，s表示逻辑斯蒂回归响应，c*表示感兴趣区域子网输出的实际语义区域的标签，c*>0表示分类正确，表示c*的逻辑斯蒂回归响应，λ表示超参数，用于表示分类损失和位置损失的相对重要性，tx,y,w,h表示感兴趣区域子网预测的候选区域的位置，x,y,w,h表示候选区域矩形框的左上角横纵坐标矩形宽度及高度，t表示tx,y,w,h的简写，t*表示实际语义区域位置；分类损失函数为：位置损失函数为：平滑L1损失函数为：x＝tj-tj*。优选的是，所述步骤六中，基于内容检索的方式，在确定的语义数据库中检索与待检索图像相匹配的图像的过程包括：步骤六一、在确定的语义数据库中提取每张图像的结构特征与颜色特征，构成特征向量；步骤六二、对待检索图像进行与步骤六一中相同的结构与颜色特征提取，构成特征向量；步骤六三、将待检索图像的特征向量与语义数据库中每一张图像的特征向量进行欧氏距离计算，与待检索图像特征向量欧氏距离最小的特征向量对应的语义数据库中图像即为待检索图像的匹配图像。本专利技术还提供一种计算机可读的存储设备，所述存储设备存储有计算机程序，所述计算机程序被执行时实现上述基于语义和内容的快速图像检索方法。本专利技术还提供一种计算机可读的存储设备，包括存储设备、处理器以及存储在所述存储设备中的并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序实现上述基于语义和内容的快速图像检索方法。本专利技术的有益效果在于，本专利技术先将数据库中图像进行语义判别，将相同语义的图像划分到同一语义数据库，并将语义标签转换为唯一的数据标签，再对每一种语义数据库中图像进行特征提取。在检索阶段先确定待检索图像语义种类，再针对其语义种类对应的数字标签找到对应语义数据库进行精确检索，进而在保证检索精度的条件下提高检索速度。本专利技术引入了语义数据库的概念，用来将大型离线数据库进行精确分类，消除检索时间与数据库容量间的线性增长关系。利用本专利技术进行室内视觉定位中图像检索步骤时，检索精度比现有方法提升了30％左右，检索速度随着数据库容量增大，提升效果越明显。附图说明图1是本专利技术的流程图；图2是实施例中利用语义分割网络进行语义识别的结果图，其中黑色框为识别出的结果；图3是实施例中本专利技术方法进行离线数据库分类的分类混淆矩阵结果图；图4是利用现有方法和本专利技术方法平均检索准确率的对比曲线图；图5是现有方法与本专利技术方法进行图像检索的时间开销对比曲线图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。需要说明的是，在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。下面结合附图和具体实施例对本专利技术作进一步说明，但不作为本专利技术的限定。如图1所示，本实施方式的基于语义和内容的快速图像检索方法，包括：步骤一、构建语义分割网络；步骤二、将离线数据库中所有图像输入语义分割网络，得到每幅图像的一种或多种语义标签；步骤三、将语义标签全部相同的图像归为一类，得到多个语义数据库，将每个语义数据库对应的语义标签转换为唯一数字标签，并采用数字标签对相应的语义数据库进行标记；步骤四、将待检索图像输入语义分割网络，得到待检索图像的语义标签；步骤五、将待检索图像的语义标签转换为数字标签；步骤六、确定与待检索图像具有相同数字标签的语义数据库，并基于内容检索的方式，在确定的语义数据库中检索与待检索图像相匹配的图像。本实施方式先将数据库中图像利用构建的语义分割网络进行语义判别，将相同语义的图像划分到同一语义数据库，并将语义标签转换为唯一的数据标签，在检索阶段先确定待检索图像语义种类，再针对其语义种类对应的数字标签找到对应语义数据库进行精确检索，进而在保证检索精度的条件下提高检索速度。离线数据库中图像输入到语义分割网络之后，每一张图像都附带了其语义标签。考虑到不同语义标签的排列组合现象，定义语义判别向量Ω＝[ω1,ω2,…,ωc]T，对于离线数据库中每一张图像Itest，均有对应的语义标签Si与语义判别向量Ωtest。由于语义本文档来自技高网...

【技术保护点】
1.基于语义和内容的快速图像检索方法，其特征在于，所述快速图像检索方法包括：步骤一、构建语义分割网络；步骤二、将离线数据库中所有图像输入语义分割网络，得到每幅图像的一种或多种语义标签；步骤三、将语义标签全部相同的图像归为一类，得到多个语义数据库，将每个语义数据库对应的语义标签转换为唯一数字标签，并采用数字标签对相应的语义数据库进行标记；步骤四、将待检索图像输入语义分割网络，得到待检索图像的语义标签；步骤五、将待检索图像的语义标签转换为数字标签；步骤六、确定与待检索图像具有相同数字标签的语义数据库，并基于内容检索的方式，在确定的语义数据库中检索与待检索图像相匹配的图像。

【技术特征摘要】
1.基于语义和内容的快速图像检索方法，其特征在于，所述快速图像检索方法包括：步骤一、构建语义分割网络；步骤二、将离线数据库中所有图像输入语义分割网络，得到每幅图像的一种或多种语义标签；步骤三、将语义标签全部相同的图像归为一类，得到多个语义数据库，将每个语义数据库对应的语义标签转换为唯一数字标签，并采用数字标签对相应的语义数据库进行标记；步骤四、将待检索图像输入语义分割网络，得到待检索图像的语义标签；步骤五、将待检索图像的语义标签转换为数字标签；步骤六、确定与待检索图像具有相同数字标签的语义数据库，并基于内容检索的方式，在确定的语义数据库中检索与待检索图像相匹配的图像。2.如权利要求1所述的基于语义和内容的快速图像检索方法，其特征在于，将将单张图像Itest的一种或多种语义标签转化成唯一数字标签：l＝Λ·Ω转化向量Λ＝[20,21,…,2c]，c表示表示语义类别的数量，语义判别向量Ω＝[ω1,ω2,…,ωc]T，其中：Si表示语义标签，语义数据库为S＝[S1,S2,…,Sc]。3.根据权利要求2所述的基于语义和内容的快速图像检索方法，其特征在于，所述语义分割网络包括全卷积网络、区域候选网络和感兴趣区域子网；全卷积网络根据输入的图像，输出该图像的特征图；区域候选网络根据全卷积网络输出的特征图，生成多个候选区域；感兴趣区域子网根据全卷积网络输出的特征图，生成每个语义类别对应的k×k个位置敏感分数图，每个位置敏感分数图有c+1个通道输出；感兴趣区域子网的池化层利用候选区域对每个位置敏感分数图进行池化操作，并输出的c+1维特征图按维度求和得到c+1维的向量；将得到的c+1维的向量代入到多项逻辑斯蒂回归公式中，获得该候选区域中的目标属于每个类别的概率，并按照超过阈值φ且最大的概率将其归类，确定输入图像的语义标签。4.根据权利要求3所述的基于语义和内容的快速图像检索方法，其特征在于，所述步骤一中，构建语义分割网络的损失函数L包括：分类损失函...

【专利技术属性】
技术研发人员：马琳，戴进，谭学治，何晨光，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：黑龙江,23