一种基于多个语义层次的图片检索方法及系统技术方案

本发明专利技术公开了一种基于多个语义层次的图片检索方法及系统，方法包括：将待检索的图片输入一预训练模型，并输入所述图片的像素值和带有局部区域信息的候选区域，在所述预训练模型的神经网络中，通过将所述图片中的所述候选区域映射到每一个卷积层输出的卷积特征图上后根据候选区域的大小自适应调整池化核的大小，得到相同维度的所述卷积特征图；根据所述卷积特征图对低、中、高卷积层进行区域感知的多层次池化计算，再通过串联得到不同层次的特征融合；根据特征融合结果，对图片进行检索。本发明专利技术中的特征同时包含局部信息以及全局信息，同时包含视觉信息以及语义信息，从而提高图片检索的准确率，另外，单次的前馈计算操作保证了高效率。

【技术实现步骤摘要】
一种基于多个语义层次的图片检索方法及系统
本专利技术涉及神经网络、图像处理领域，特别涉及一种基于多个语义层次的图片检索方法及系统。
技术介绍
现如今用于图片检索的特征提取方法主要分为两种：基于传统特征以及基于卷积神经网络。其中，基于传统特征的方法由于图片特征都是手工设计的，表达能力很弱同时特征维度很高。此外，目前大多数基于卷积神经网络的方法是提取网络中的单层特征，其中全连接层的特征用得最多，而这些方法忽略了卷积特征图中丰富的局部信息，并且忽略了网络中低层特征图所包含的视觉信息。具体而言，现有的用于图片检索的特征提取方法概括如下：1，传统特征(SIFT)以及特征聚合(VLAD,FisherVector)，缺点在于：特征维度高，特征表达能力弱，检索准确率低。2，卷积神经网络(通过预训练以及全连接层特征)，缺点在于：特征纬度高，特征缺乏局部信息，特征缺乏低层视觉信息。
技术实现思路
本专利技术要解决的技术问题是，提供了提高图片检索的准确率同时保证高效率的基于多个语义层次的图片检索方法。解决上述技术问题，本专利技术提供了一种基于多个语义层次的图片检索方法，包括如下步骤：将待检索的图片输入一预训练本文档来自技高网...

【技术保护点】
一种基于多个语义层次的图片检索方法，其特征在于包括如下步骤：将待检索的图片输入一预训练模型，并输入所述图片的像素值和带有局部区域信息的候选区域，在所述预训练模型的神经网络中，通过将所述图片中的所述候选区域映射到每一个卷积层输出的卷积特征图上后根据候选区域的大小自适应调整池化核的大小，得到相同维度的所述卷积特征图；根据所述卷积特征图对低、中、高卷积层进行区域感知的多层次池化计算，再通过串联得到不同层次的特征融合；根据特征融合结果，对图片进行检索。

【技术特征摘要】
1.一种基于多个语义层次的图片检索方法，其特征在于包括如下步骤：将待检索的图片输入一预训练模型，并输入所述图片的像素值和带有局部区域信息的候选区域，在所述预训练模型的神经网络中，通过将所述图片中的所述候选区域映射到每一个卷积层输出的卷积特征图上后根据候选区域的大小自适应调整池化核的大小，得到相同维度的所述卷积特征图；根据所述卷积特征图对低、中、高卷积层进行区域感知的多层次池化计算，再通过串联得到不同层次的特征融合；根据特征融合结果，对图片进行检索。2.根据权利要求1所述的图片检索方法，其特征在于，通过将所述图片中的所述候选区域映射到每一个卷积层输出的卷积特征图上的具体方法如下：待检索的图片为原始图片，设原始图片的大小为：W*H，卷积特征图的维度为：W0*H0*C，每个区域对应输出的特征图大小为：Wr*Hr*C，对于一个原始图片的候选区域(x，y，w，h)，进行如下的计算：其中，表示输出特征图中的某一个特征，表示原特征图中对应区域的特征集合。3.根据权利要求1所述的图片检索方法，其特征在于，根据候选区域的大小自适应地调整池化核的大小，得到相同维度的所述卷积特征图的方法为：通过一个多尺度的池化计算提取候选区域不同位置的特征，再经过跨通道的归一化之后，最后通过相加操作...

【专利技术属性】
技术研发人员：胡焜，白洪亮，董远，
申请(专利权)人：北京飞搜科技有限公司，
类型：发明
国别省市：北京,11