一种基于类别信息的鸟类检索方法及系统技术方案

本发明专利技术公开一种基于类别信息的鸟类图像检索方法，具体内容为：(1)构建鸟类图像数据库；(2)基于改进的VGG16网络模型训练鸟类图像识别模型；(3)根据步骤(2)获得的VGG16网络，提取图像的基于CAMs(类激活图)的特征表达；(4)对查询图像特征与数据库图像特征使用余弦距离进行相似度计算，根据用户所需从数据库中返回与查询图像距离最小的图像作为查询结果，完成检索。该发明专利技术有效解决了目前检索技术不能有效利用类别信息的问题，获得了更高的检索准确率。

A Bird Retrieval Method and System Based on Category Information

The invention discloses a bird image retrieval method based on category information, which includes: (1) building Bird Image database; (2) Training Bird Image Recognition Model Based on improved VGG16 network model; (3) extracting feature expression of image based on CAMS (class activation map) according to step (2) obtaining VGG16 network; (4) using cosine distance between query image feature and database image feature. From the similarity calculation, according to the user needs to return the image with the smallest distance from the query image from the database as the query result, complete the retrieval. The invention effectively solves the problem that the current retrieval technology can not effectively utilize the category information, and achieves higher retrieval accuracy.

【技术实现步骤摘要】
一种基于类别信息的鸟类检索方法及系统
本专利技术涉及计算机视觉与模式识别的交叉领域，更具体地，涉及一种基于类别信息的鸟类检索方法及系统。
技术介绍
传统的鸟类图像检索是基于文本的，即用户通过输入鸟类的名称进行检索。而由于鸟类图像中类繁多、颜色形状等多变，普通人难以准确识别和描述鸟类图像，导致用户查询输入的文本描述难以符合用户自身实际查询需求。基于内容的图像检索则能有效地利用图像自身特征，减少用户的主观描述。传统的图像检索使用简单的图像低层特征，如形状、颜色、纹理、关键点等，但对于鸟类图像描述能力有限。近些年来以VGG为代表的卷积神经网络模型等在计算机视觉如图像分类、目标识别等领域实现了较好的效果，开始从VGG中提取卷积特征用于图像的检索，但是这种特征缺乏了图像的类别信息，导致在鸟类数据集上检索效果较为一般。
技术实现思路
针对现有技术的缺陷，本专利技术的目的在于解决现有鸟类图像检索技术由于对鸟类图像的描述能力有限，以及采用卷积神经网络模型检索缺乏图像的类别信息，导致鸟类图像检索效果比较一般的技术问题。为实现上述目的，一方面，本专利技术提供一种基于类别信息的鸟类检索方法，包括以下步骤：(1本文档来自技高网...

【技术保护点】
1.一种基于类别信息的鸟类检索方法，其特征在于，包括以下步骤：(1)构建鸟类图像数据库，所述鸟类图像数据库中包括不同类别的鸟类图像，以及不同背景和不同姿态的相同类别的鸟类图像；(2)在现有卷积神经网络模型的基础上，增加批归一化层、两个卷积层以及输出层，对卷积神经网络进行改进，得到改进的卷积神经网络模型，基于改进的卷积神经网络模型对所述鸟类图像数据块训练得到鸟类图像识别模型；(3)通过所述鸟类图像识别模型提取待检索鸟类图像的特征信息；(4)使用余弦相似性指标将待检索鸟类图像的特征信息与鸟类图像数据库中各个图像的特征信息进行对比，确定鸟类图像数据库中与待检索鸟类图像相似度满足预设条件的至少一张鸟类...

【技术特征摘要】
1.一种基于类别信息的鸟类检索方法，其特征在于，包括以下步骤：(1)构建鸟类图像数据库，所述鸟类图像数据库中包括不同类别的鸟类图像，以及不同背景和不同姿态的相同类别的鸟类图像；(2)在现有卷积神经网络模型的基础上，增加批归一化层、两个卷积层以及输出层，对卷积神经网络进行改进，得到改进的卷积神经网络模型，基于改进的卷积神经网络模型对所述鸟类图像数据块训练得到鸟类图像识别模型；(3)通过所述鸟类图像识别模型提取待检索鸟类图像的特征信息；(4)使用余弦相似性指标将待检索鸟类图像的特征信息与鸟类图像数据库中各个图像的特征信息进行对比，确定鸟类图像数据库中与待检索鸟类图像相似度满足预设条件的至少一张鸟类图像。2.根据权利要求1所述的基于类别信息的鸟类检索方法，其特征在于，所述步骤(2)具体包括以下步骤：步骤2.1，在卷积神经网络VGG16的基础之上，增加批归一化BN层、3x3卷积层、1x1卷积层、输出Dropout层，对卷积神经网络VGG16进行改进，得到改进的卷积神经网络VGG16；步骤2.2，将鸟类图像数据库的80％作为改进的卷积神经网络VGG16的训练集，并采用水平翻转、[-5°,5°]的角度随机旋转以及[-5,5]个像素水平平移的方式对数据集进行增强，将余下的20％作为验证集，使用随机梯度下降SGD优化器进行参数更新，设置L2正则化防止过拟合，将网络训练60轮，并且1-15轮、15-30轮、30-40轮、40-50轮、50-60轮的学习率分别为0.001、0.0005、0.0001、0.00005、0.00001；步骤2.3，使用迁移学习对网络参数更新，使用预训练的网络参数对构建网络参数初始化，对conv1～conv4层参数进行冻结，只更新余下层的参数，得到鸟类图像识别模型。3.根据权利要求1或2所述的基于类别信息的鸟类检索方法，其特征在于，所述步骤(3)具体包括如下步骤：步骤3.1，从鸟类图像识别模型的最后一个卷积层提取尺寸为W×H的K个特征图以及具有预设类别信息的CAMs，并将CAMs归一到[0,1]，尺寸调整到W×H，第c个类别的CAMs的计算方式如下：其中，K为大于1的整数，W为特征图的宽，H为特征图的高，conv表示卷积，convk表示GAP层前卷积层的第k个特征图，wk,c表示第k个特征图与第c个类别连接的权重，1≤k≤K；步骤3.2，对于给定的类别c，将特征图与其所对应的CAM进行点乘，实现对特征图的加权，之后利用求和池化sum-pooling将加权后的K个特征图聚合成K维特征向量F，其中，特征向量F带有语义类别信息；步骤3.3，将带有语义类别信息的特征向量F进行l2范数归一化，得到图像的K维特征表达D。4.根据权利要求3所述的基于类别信息的鸟类检索方法，其特征在于，所述步骤3.2具体包括如下步骤：步骤3.2.1，计算每个特征图中非0特征值所占的比例，即：其中，Qk为第k个特征图中非0特征值所占的比例，χ表示特征图，表示第k个特征图的第i,j像素点所对应的像素，W和H分别表示特征图的宽和高；步骤3.2.2，确定第k个特征图的通道加权系数CWk：步骤3.2.3，对求和池化后的特征向量进行加权得到预设类对应的特征向量F，F中每个元素的计算方式如下：其中，fk表示第k个特征图对应在特征向量F中的元素，CAMi,j表...

【专利技术属性】
技术研发人员：邹腊梅，张松伟，熊紫华，李长峰，陈婷，李晓光，杨卫东，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北,42