一种基于二阶特征的鸟类细粒度识别方法技术

本发明专利技术公开了一种基于二阶特征的鸟类细粒度识别方法，步骤包括：步骤1：采集高质量的鸟类图像数据；步骤2：对采集到的鸟类数据进行质量检测并进行数据标记；步骤3：对标记好的鸟类数据集进行数据增强；步骤4：利用开源数据集对鸟类细粒度分类模型进行预训练；步骤5：利用数据增强后的鸟类数据进行鸟类细粒度分类模型的训练；步骤6，利用摄像头采集真实野外场景下的鸟类保护区图像数据；步骤7：利用目标检测算法检测鸟类主体并利用检测框过滤图像中鸟主体以外的背景；步骤8：对鸟主体图像进行插值处理；步骤9：利用训练好的鸟类细粒度分类模型对帧图像进行鸟类的识别，输出识别结果。本发明专利技术有效提高了鸟类识别的准确率。

【技术实现步骤摘要】
一种基于二阶特征的鸟类细粒度识别方法
本专利技术属于鸟类细粒度识别方法领域，更具体的，涉及一种基于二阶特征的鸟类细粒度识别方法。
技术介绍
近年来，由于机器学习技术不断发展和相关计算设备的计算能力不断提高，使得在通用图像分类之后，细粒度图像分类也成为可能。对于专业领域内的图像进行精准的细粒度识别，不仅可以有效的降低相关专业人员的鉴定压力，使得该领域知识被更加广泛的利用，同时是使得机器学习技术得以落地的有效方式。图像分类任务通常指代以ImageNet等数据集为代表的通用图像分类任务，此类任务中数据集中不同类别的图像特征差异明显，例如汽车、飞机、鸟类等，其需要使用的知识通常为人类的常规知识，而非专业领域的特点知识。与通用图像分类不同，由于拍摄角度，拍摄方式以及物体运动姿态等因素，导致细粒度图像分类任务中待分类的图像通常具有类间差异大、类内差异小的问题，使得分类难度被大大增加。例如对于北极燕鸥和福斯特燕鸥两种鸟类，其不同仅体现在鸟喙的颜色所有差异，而身体部分的难以分辨。这样就导致若普通人若缺乏相关专业领域的知识，则难以进行有效的细粒度分类任务。为了使得细粒度识别模型具有相关专业领域的知识，研究人员在细粒度识别模型进行训练的时候，使用了具有更多专业知识的标注信息。以细粒度鸟类识别任务为例，相关研究人员进行了鸟类身体特征部分的标注，例如喙，冠，尾等鸟类关键位置的标注。这些更细节的标注使得细粒度识别模型关注待识别对象关键部分的能力得到显著的提升。但是这些依靠相关专业人员进行的数据标注成本较高，导致带有此部分标注的数据难以大规模获得，而基于深度学习的特征表示学习方法，在一定程度上可以缓解相关问题，在不需要专业标注的情况下，得到更有效的图像特征。以Mask-CNN为代表的基于深度学习的细粒度识别模型，结合目标检测(ObjectDetection)、语义分割(SemanticSegmentation)等计算机视觉领域的基础问题相关模型，对输入图像进行分析，得到模型估计的关键位置，使得细粒度图像识别模型具有检测输入图像中相关特征部件的能力。以结合目标检测和语义分割等相关模型对输入图像进行关键部位检测的深度学习方法，由于要为相关框架提供一些监督信息，所以依然需要使用少量标注数据。为了进一步减少模型训练过程中对标注信息的使用，相关研究人员提出了基于注意力机制(Attention)的深度学习模型用于待检测物体关键部位的自动检测，并取得了一定进展。在细粒度识别领域，基于深度学习的方法正逐渐成为主流方法。
技术实现思路
本专利技术针对现有技术中基于深度学习的细粒度识别方法存在部分缺陷，包括仍存在模型对于强监督信息的依赖问题；以及当前细粒度识别方法由于数据集限制难以实际应用的问题，提供一种结合目标检测模型和二阶特征的细粒度识别方法，该方法可以在不使用细粒度识别问题数据集中强监督标注的情况下，使得模型具有一定的鸟类细粒度识别能力；同时设计一种边缘视频检测与后端细粒度识别相分离的算法框架，使得该细粒度识别模型可能被应用到实际场景中。为实现上述目的，本专利技术采用以下技术方案：一种基于二阶特征的鸟类细粒度识别方法，包括如下步骤：步骤1，采集高质量的鸟类图像数据，组成鸟类数据集Dbri；步骤2，对采集到的鸟类数据集Dbri进行质量检测并进行数据标记，得到鸟类图像识别数据集Dbr；步骤3，对标记好的鸟类图像识别数据集Dbr进行数据增强，得到扩充后的鸟类数据集Dbra；步骤4，利用包含分类数据的开源数据集Dopenr对鸟类细粒度分类模型Modelbird_recognition进行Pre-train操作；步骤5，利用数据增强后的鸟类数据集Dbra对预训练后的细粒度分类模型Modelbird_recognition进行训练；步骤6，利用摄像头采集野外场景下的鸟类保护区图像数据；步骤7，利用在开源数据集Dopend上完成训练的目标检测模型Modelbird_detection对鸟类主体进行检测，并利用检测框过滤鸟主体以外的背景；步骤8，对鸟主体图像进行插值处理；步骤9，利用部署在后端服务器上训练好的鸟类细粒度分类模型Modelbird_recognition对步骤8处理后的帧图像进行鸟类的识别，输出识别结果。为优化上述技术方案，采取的具体措施还包括：进一步地，步骤2中，对采集到的鸟类数据集Dbri进行图像质量检测，保证每张图像中出现鸟类区域的最小外接矩阵的像素值大于256*232，对通过图像质量检测的数据，进行鸟类类别标签的标定，得到鸟类图像识别数据集Dbr。进一步地，步骤3中对图像数据分别通过如下方法来进行数据增强，产生三幅增强后的图像：1)利用图像切割的方式对数据集进行数据增强，其方式为生成比图像尺寸小一些的矩形框，对图像进行随机的切割，最终以矩形框内的图像作为训练数据；2)利用图像翻转的方式对数据集进行数据增强，其方式为对图像进行左右翻转，并将翻转前和翻转后的图像同时作为训练数据；3)利用图像白化的方式对数据集进行数据集增强，其方式为对图像进行白化操作，即将图像本身归一化成Gaussian(0，1)分布，将归一化前及归一化后的图像同时作为训练数据。进一步地，步骤4电对鸟类细粒度分类模型Modelbird_recognition的特征提取器进行Pre-train操作，训练使用优化方法为Adam优化器，使用初始学习率为0.001，其中使用的基础特征提取模块采用ResNet50网络。进一步地，步骤5中包括使用bilinearfeature方法将原始图像特征转变为二阶特征B(F)，进行如下操作：B(F)＝∑fl∈Fbilinear(fl，F，fA，fB)其中，F为每张图像的整个featuremap，fl为featuremap中的一个位置的像素点，fA为第一个ResNet50网络所提取的图像特征，fB为第二个ResNet50网络所提取的图像特征。进一步地，使用代价敏感学习的方法对不同种类的损失函数进行重加权，损失函数使用交叉熵损失函数，重加权系数如下：其中Ni为第N个类别鸟类图像的样本数目，M为训练数据集中样本的种类数目。进一步地，步骤6中，使用部署在实际场景下的摄像头采集野外场景下的鸟类保护区的图像数据，使用ffmpeg的方式来进行视频推流。进一步地，步骤7包括，将检测框boundingbox标注转为为对应图像帧中的矩形坐标位置，之后在原始图像中将改矩形位置以外的部分进行扣除，得到一个鸟类图像，每张鸟类图像中仅包含一只鸟；所使用的目标检测算法为YOLOv4模型，所使用的训练集为MicrosoftCOCO数据集。进一步地，步骤8中，对于已经去除背景的鸟主体图像帧，使用Bilinearinterpolation方法对鸟主体图像进行Resize，将图像填充为大小为448*448的图像并进行后续操作。进一步地，步骤1中采集的高质量的鸟类图像数据包括利用摄本文档来自技高网...

【技术保护点】
1.一种基于二阶特征的鸟类细粒度识别方法，其特征在于，包括如下步骤：/n步骤1，采集高质量的鸟类图像数据，组成鸟类数据集D

【技术特征摘要】
1.一种基于二阶特征的鸟类细粒度识别方法，其特征在于，包括如下步骤：
步骤1，采集高质量的鸟类图像数据，组成鸟类数据集Dbri；
步骤2，对采集到的鸟类数据集Dbri进行质量检测并进行数据标记，得到鸟类图像识别数据集Dbr；
步骤3，对标记好的鸟类图像识别数据集Dbr进行数据增强，得到扩充后的鸟类数据集Dbra；
步骤4，利用包含分类数据的开源数据集Dopenr对鸟类细粒度分类模型Modelbird_recognition进行Pre-train操作；
步骤5，利用数据增强后的鸟类数据集Dbra对预训练后的细粒度分类模型Modelbird_recognition进行训练，将原始图像特征转变为二阶特征；
步骤6，利用摄像头采集野外场景下的鸟类保护区图像数据；
步骤7，利用在开源数据集Dopend上完成训练的目标检测模型Modelbird_detection对鸟类主体进行检测，并利用检测框过滤鸟主体以外的背景；
步骤8，对鸟主体图像进行插值处理；
步骤9，利用部署在后端服务器上训练好的鸟类细粒度分类模型Modelbird_recognition对步骤8处理后的帧图像进行鸟类的识别，输出识别结果。


2.根据权利要求1所述的鸟类检测及细粒度识别方法，其特征在于，步骤2中，对采集到的鸟类数据集Dbri进行图像质量检测，保证每张图像中出现鸟类区域的最小外接矩阵的像素值大于256*232，对通过图像质量检测的数据，进行鸟类类别标签的标定，得到鸟类图像识别数据集Dbr。


3.根据权利要求1所述的鸟类检测及细粒度识别方法，其特征在于，步骤3中对图像数据分别通过如下方法来进行数据增强，产生三幅增强后的图像：
1)利用图像切割的方式对数据集进行数据增强，其方式为生成比图像尺寸小一些的矩形框，对图像进行随机的切割，最终以矩形框内的图像作为训练数据；
2)利用图像翻转的方式对数据集进行数据增强，其方式为对图像进行左右翻转，并将翻转前和翻转后的图像同时作为训练数据；
3)利用图像白化的方式对数据集进行数据集增强，其方式为对图像进行白化操作，即将图像本身归一化成Gaussian(0，1)分布，将归一化前及归一化后的图像同时作为训练数据。


4.根据权利要求1所述的鸟类检测及细粒度识...

【专利技术属性】
技术研发人员：腊孟珂，王言，钟稚昉，杨仕雄，肖伟康，
申请(专利权)人：南京大学环境规划设计研究院集团股份公司，
类型：发明
国别省市：江苏;32