【技术实现步骤摘要】
图像检索方法及装置
本专利技术实施例属于信息检索
,更具体地,涉及一种图像检索方法及装置。
技术介绍
图像检索是指从图像数据库中检索出与指定图像相似的图像。包括基于文本的图像检索和基于内容的图像检索。基于文本的图像检索是利用文本描述的方式描述图像的特征,基于内容的图像检索是使用图像的内容语义,如颜色、纹理和布局等进行分析和检索。传统的基于内容的图像检索主要以手工制作的特征,即通过均值方差等数学上的信息对图像进行编码来获取特征,再进行余弦距离或者欧式距离的匹配来进行检索。随着卷积神经网络在图像识别上取得的成就,衍生出了提取卷积神经网络的全连接层的特征来进行检索。针对不同的检索任务,首先对该任务训练一个分类网络,在特定数据集上进行微调,然后提取全连接层的特征进行匹配检索。又有研究表明,卷积神经网络的卷积层输出相比全连接层的输出具有更多的空间信息,对于检索的效果更好。于是又尝试将卷积层的特征与内部感兴趣区域获取结合起来,加入监督学习的方式,如目标检测来获取图像中的关键区域,提取卷积层的特征进行检索。由于图像检索中所使用的特征对检索结果有重大影响,即从图像中提取的特 ...
【技术保护点】
1.一种图像检索方法,其特征在于,包括:使用卷积神经网络提取目标图像的特征,根据所述卷积神经网络中最后一个卷积层输出的目标图像特征图,将同一位置的所述目标图像特征图中像素的总得分作为所述目标图像的类激活映射表;将所述目标图像的各特征图与所述目标图像的类激活映射表进行相乘后求和池化,将求和池化结果与所述目标图像各特征图的权重进行相乘,获取所述目标图像各特征图的中间特征;根据所述卷积神经网络的判别层输出的目标图像类别概率和所述目标图像各特征图的中间特征,获取所述目标图像各特征图的空间语义特征;根据所述目标图像各特征图的空间语义特征和预先获取的各待检索图像各特征图的空间语义特征,获取检索结果。
【技术特征摘要】
1.一种图像检索方法,其特征在于,包括:使用卷积神经网络提取目标图像的特征,根据所述卷积神经网络中最后一个卷积层输出的目标图像特征图,将同一位置的所述目标图像特征图中像素的总得分作为所述目标图像的类激活映射表;将所述目标图像的各特征图与所述目标图像的类激活映射表进行相乘后求和池化,将求和池化结果与所述目标图像各特征图的权重进行相乘,获取所述目标图像各特征图的中间特征;根据所述卷积神经网络的判别层输出的目标图像类别概率和所述目标图像各特征图的中间特征,获取所述目标图像各特征图的空间语义特征;根据所述目标图像各特征图的空间语义特征和预先获取的各待检索图像各特征图的空间语义特征,获取检索结果。2.根据权利要求1所述的方法,其特征在于,通过以下公式根据所述卷积神经网络中最后一个卷积层输出的目标图像特征图,将同一位置的所述目标图像特征图中像素的总得分作为所述目标图像的类激活映射表:其中,CAMc(x,y)为所述目标图像所有特征图中坐标为(x,y)的像素的总得分,fk(x,y)表示最后一个卷积层输出的目标图像第k个特征图中坐标为(x,y)的像素特征,为目标图像第k个特征图的预测结果为c类时所述卷积神经网络的全连接层的权重参数。3.根据权利要求1所述的方法,其特征在于,在将求和池化结果与所述目标图像各特征图的权重进行相乘,获取所述目标图像各特征图的中间特征的步骤之前,还包括通过以下公式计算所述目标图像各特征图的权重:其中,CWk表示所述目标图像第k个特征图的权重,K为所述目标图像特征图的总个数,Qn为目标图像第n个特征图中非零像素的比例,Qk为目标图像第k个特征图中非零像素的比例。4.根据权利要求1所述的方法,其特征在于,根据所述卷积神经网络的判别层输出的目标图像类别概率和所述目标图像各特征图的中间特征,获取所述目标图像各特征图的空间语义特征的步骤具体包括:根据所述卷积神经网络的全连接层的输出,使用softmax判别层获取所述目标图像的类别概率;将所述类别概率与所述目标图像各特征图的中间特征进行相乘,获取所述目标图像各特征图的空间语义特征。5.根据权利要求1-4任一所述的方法,其特征在于,各所述待检索图像各特征图的获取方法与所述目标图像特征图的获取方法相同;各所述待检...
【专利技术属性】
技术研发人员:李磊,董远,白洪亮,熊风烨,
申请(专利权)人:北京飞搜科技有限公司,
类型:发明
国别省市:北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。