一种基于人工智能牡丹品种识别方法及识别系统技术方案

一种基于人工智能牡丹品种识别方法，使用强弱监督结合的算法思路对牡丹花细粒度进行识别，与纯弱监督方法相比，在训练数据中对识别对象进行了位置标注，与强监督细粒度识别算法相比，本发明专利技术除待识别物体本身位置之外不再进行任何其他信息的标注，在测试阶段除了待识别图像之外也不需要额外的信息。本发明专利技术提出了融合强若监督信息的显著区域注意力机制分类模型，结合数据增广和基于数据池的训练方式，克服了数据量少和数据不均衡带来的问题，融合了强弱监督模型的优点，在牡丹花识别任务中，获得了较高的精度。

【技术实现步骤摘要】
一种基于人工智能牡丹品种识别方法及识别系统
本专利技术公开一种基于人工智能牡丹品种识别方法及识别系统，属于利用人工智能对花卉种类识别的

技术介绍
随着计算机视觉领域的研究越来越深入，针对细粒度图像的分析应用也越来越受到关注，利用该技术对被测物体进行自动分类识别将成为主要研究方向。与此同时，本申请人的研究方向是对牡丹花卉进行图像分类自动识别，并达到识别率准确的目标。然而，在花卉识别领域多采用对花型进行识别，但是由于植物生长的多变性，导致花型在不同时期可能会存在植物造型相似等情况，从而影响对花卉种类的准确判断。为此，本申请人开始结合细粒度对牡丹花卉进行自动准确识别的研究。其中，所述细粒度分类算法主要有两种：基于强监督信息的细粒度图像分类模型和基于弱监督信息的细粒度图像分类模型。首先利用SelectiveSearch等算法在细粒度图像中产生物体或物体部位可能出现的候选框。之后类似于R-CNN做物体检测的流程，借助细粒度图像中的objectboundingbox和partannotation可以训练出若干检测模型，对应检测物体不同区域。然后，对多个检测模型得到的检测框加上位置几何约束。这样便可得到较理想的物体/部位检测结果。接下来将得到的图像块作为输入，分别训练一个CNN，则该CNN可以学习到针对该物体/部位的特征。最终将三者的全连接层特征级联作为整张细粒度图像的特征表示。显然，这样的特征表示既包含全部特征，又包含具有更强判别性的局部特征，因此分类精度较理想。但在Part-basedR-CNN中，不仅在训练时需要借助boundingbox和partannotation，为了取得满意的分类精度，在测试时甚至还要求测试图像提供boundingbox。这便限制了Part-basedR-CNN在实际场景中的应用。在Part-basedR-CNN的基础上,S.Branson等人提出在用DPM算法得到partannotation的预测点后同样可以获得物体级别和部位级别的检测框。与之前工作不同的是，PoseNormalizedCNN对部位级别图像块做了姿态对齐操作。此外，由于CNN不同层的特征具有不同的表示特性，该工作还提出应针对细粒度图像不同级别的图像块，提取不同层的卷积特征。针对全局信息，提取FC8特征；基于局部信息则提取最后一层卷积层特征作为特征表示。最终，还是将不同级别特征级联作为整张图像的表示。如此的姿态对齐操作和不同层特征融合方式，使得PoseNormalizedCNN在使用同样多标记信息时取得了相比Part-basedR-CNN高2％的分类精度。基于强监督信息的分类模型虽然取得了较满意的分类精度，但由于标注信息的获取代价十分昂贵，在一定程度上限制了这类算法的实际应用。因此，目前细粒度图像分类的一个明显趋势是，希望在模型训练时仅使用图像级别标注信息，而不再使用额外的partannotation信息时，也能取得与强监督分类模型可比的分类精度。这便是“基于弱监督信息的细粒度分类模型”。思路同强监督分类模型类似，也需要借助全局和局部信息来做细粒度级别的分类。而区别在于，弱监督细粒度分类希望在不借助partannotation的情况下，也可以做到较好的局部信息的捕捉。当然，在分类精度方面，目前最好的弱监督分类模型仍与最好的强监督分类模型存在差距(分类准确度相差约1～2％)。基于弱监督信息的细粒度分类模型中具有代表性的有TwoLevelAttentionModel和Constellations，TwoLevelAttentionModel主要关注两个不同层次的特征，分别是物体级别和部件级别信息。当然，该模型并不需要数据集提供这些标注信息，完全依赖于本身的算法来完成物体和局部区域的检测。该模型主要分为三个阶段。预处理模型：从输入图像中产生大量的候选区域，对这些区域进行过滤，保留包含前景物体的候选区域；物体级模型：训练一个网络实现对对象级图像进行分类。由于预处理模型选择出来的这些候选区域大小不一，为了选出这些局部区域，首先利用物体级模型训练的网络来对每一个候选区域提取特征。接下来，对这些特征进行谱聚类，得到k个不同的聚类簇。如此，则每个簇可视为代表一类局部信息，每个簇都可以被看做一个区域检测器，从而达到对测试样本局部区域检测的目的。Constellations的方案是利用卷积网络特征本身产生一些关键点，再利用这些关键点来提取局部区域信息。对卷积特征进行可视化分析可发现一些响应比较强烈的区域恰好对应于原图中一些潜在的局部区域点。因此，卷积特征还可以被视为一种检测分数，响应值高的区域代表着原图中检测到的局部区域。不过，特征输出的分辨率与原图相差较大，很难对原图中的区域进行精确定位。受到前人工作的启发，作者采用的方法是通过计算梯度图来产生区域位置。具体而言，卷积特征的输出是一个W×H×P维的张量，P表示通道的个数，每一维通道可以表示成一个W×H维的矩阵。通过计算每一维通道p对每一个输入像素的平均梯度值，可以得到与原输入图像大小相同的特征梯度图。这样，每个通道的输入都可以转换成与原图同样大小的特征梯度图。在特征梯度图中响应比较强烈的区域，即可代表原图中的一个局部区域。于是每一张梯度图中响应最强烈的位置即作为原图中的关键点。卷积层的输出共有P维通道，可分别对应于P个关键点位置。后续对这些关键点或通过随机选择或通过ranking来选择出重要的M个。综上，基于强监督信息的方法准确率普遍更高，但人工成本较高，基于弱监督信息的方法人工成本低，但精度逊于强监督方法。基于此，在牡丹花识别任务中，为了获得更好精度同时不过多地增加人力成本，本专利技术使用了基于卷积神经网络的强弱监督结合的方法对牡丹花进行识别。中国专利文献CN109117879A公开了一种图像分类方法、装置及系统能够通过分类主网络提取目标图像的关键特征,并基于该关键特征进行细粒度分类，得到目标图像的分类结果,关键特征与目标图像中待分类的目标物有关，而与所述目标图像中的场景无关,因此，分类主网络在对目标图像中的目标物进行细粒度分类时不会受到场景干扰,从而得到较为准确的分类结果,这种方式适用于对多个场景下的图像进行准确分类,具有一定的普遍适用性。该专利文献是采用了弱监督方法，无法直接对非目标区域图像进行抑制。中国专利文献CN110826629A公开了一种基于细粒度分类的耳镜图像辅助诊断方法，仅要求训练集中的图像有类别标签的标注,不要求有定位信息的标注，如关键位置的边界框,关键点，蒙版,相比强监督的细粒度分类方法简化了数据收集与标注过程；本专利技术同时融合了全局信息与局部信息,能够处理更细粒度的特征,相对直接使用通用卷积神经网络而言,对耳镜图像有更好的分类性能；本专利技术图像提取时使用双线性插值算法对图片进行缩放,利用卷积核对图像进行卷积处理,确定处理后图像各特征图大小,提高了图像特征提取的准确度。该专利文献根据分类网络输出反推图上对结果贡献最大的区域，再对此区域进行分类，这其中存在一个问题，分类模型输出结果不一定正确，因此由当前结果推出的区域也本文档来自技高网...

【技术保护点】
1.一种基于人工智能牡丹品种识别方法，其特征在于，对包含有牡丹花卉的图像进入行如下识别方法，包括：/nS1:数据处理，形成用于模型训练的完整标签/n对牡丹花卉的图像添加：常规的牡丹花种类分类标签，以及还有牡丹花位置信息的标签，经数据处理后，对牡丹花卉的花瓣主体处形成边框；/n每个边框对应产生一个响应区域，对于某一表示为(X,Y,H,W)的边框，X,Y为边框左上角坐标，H,W分别为边框的高和宽，生成响应区域标签过程如下：/n在以边框中心为中心的区域内，产生高斯分布的响应区域；/n对于边框(X，Y，H，W)，其中心点为

【技术特征摘要】
1.一种基于人工智能牡丹品种识别方法，其特征在于，对包含有牡丹花卉的图像进入行如下识别方法，包括：
S1:数据处理，形成用于模型训练的完整标签
对牡丹花卉的图像添加：常规的牡丹花种类分类标签，以及还有牡丹花位置信息的标签，经数据处理后，对牡丹花卉的花瓣主体处形成边框；
每个边框对应产生一个响应区域，对于某一表示为(X,Y,H,W)的边框，X,Y为边框左上角坐标，H,W分别为边框的高和宽，生成响应区域标签过程如下：
在以边框中心为中心的区域内，产生高斯分布的响应区域；
对于边框(X，Y，H，W)，其中心点为
高斯分布区域半径：
通过经验常数，计算可得到高斯分布方差为：
由该方差，根据二维高斯分布公式，计算出边框中心点半径r范围内的响应值；进一步，通过对所有边框的计算，得到牡丹花卉图像的关键区域响应图；所述响应图和牡丹花卉类别标签构成了用于模型训练的完整标签；
S2：模型学习
损失函数用来计算统计学习模型的预测值与真实值的差距，根据损失函数调整模型参数，使得损失函数变小；通过梯度下降法计算模型中各参数对损失函数值的梯度，将模型参数沿着使得损失函数减小的方向移动一定步长即为完成了一次优化；
S3:模型训练
对数据增广和训练数据池策略增加训练数据量；
S4:前向计算过程
模型训练之后，在实际使用过程中，其流程如下：
对于一张输入图像，两分支输出向量的均值为模型最终的输出结果，全局分支输出特征经过全局池化层和全连接层变为N维输出向量，FeatureExtractor1输出特征图经过区域检测模块产生对应目标区域的热力图，热力图与原图叠加，削弱背景区域，经过局部分类分支输出特征经过全局池化层和全连接层变为N维输出向量，两分支的N维向量计算均值得到最终的N维输出对于N类牡丹花的识别任务，输出向量最大值对应的维度n即为模型对当前输入图像的预测结果；模型训练后，最终输出的N维向量即表示对应N中花卉的可能性大小，N维向量最大元素对应的种类即为当前输入图像中牡丹花的种类。


2.根据权利要求1所述的一种基于人工智能牡丹品种识别方法，其特征在于，在所述S2的模型学习中，使用了三个损失函数，包括：全局分类分支的分类损失函数、局部分类分支的分类损失函数和注意力模块响应位置的损失函数；其中，全局分类分支和局部分类分支输出均为N维向量，其中N为所有牡丹花种类数，向量的每个维度分别对应当前输入图像在该分支上预测为对应种类牡丹花的概率；全局分类分支和局部分类分支输出分别记为和每个分支对应的标签相同，记为Y，Y为N维独热向量，对于第n类牡丹花样本，Y的第n维yn为1；其余维度均为0；
两个分类分支均使用交叉熵损失函数，表达式如下：




<...

【专利技术属性】
技术研发人员：高剑，李莹莹，孙辉，祝凤金，刘刚义，
申请(专利权)人：菏泽学院，
类型：发明
国别省市：山东;37