一种基于原型学习实现标签增强的叶片细粒度识别方法和系统，包括：构建细粒度叶片分类数据集；将训练图像输入模型并得到最后一层卷积网络输出的特征向量，按照图像类别标签获取每个类的平均特征值；将训练图像输入上述卷积网络，计算其在最后一个卷积层输出的向量与所有原型特征的相似度；将上述相似度结果与输入图像的真实标签进行加权融合，获得软标签；根据输入图像的真实标签，对原型特征库中对应的原型向量进行迭代更新；获取输入图像经过网络分类层输出的预测标签；将预测标签与软标签进行相似度计算，作为损失函数指导整个系统的训练；将待测图像输入训练完成的网络进行分类预测，根据预测的标签分布确定图像类别。根据预测的标签分布确定图像类别。根据预测的标签分布确定图像类别。
【技术实现步骤摘要】
一种基于原型学习实现标签增强的叶片细粒度识别方法和系统
[0001]本专利技术涉及计算机视觉识别
，尤其是涉及一种基于原型学习实现标签增强的叶片细粒度识别方法和系统。
技术介绍
[0002]细粒度图像分类是计算机视觉领域的一个热门方向，无论在工业界还是学术界都有着广泛的研究需求与应用场景。尽管细粒度分类在公开数据集上已取得了较好的性能，但是在实战环境下却常常表现不佳。主要原因在于，公开数据集选取背景简单，目标突出的图像，且像素值较高。在实际场景中，由于背景、天气、光线、遮挡等复杂情况较多，分类性能较差。细粒度图像分析任务相对通用图像任务的区别和难点在于其图像所属类别的粒度更为精细，其子类间差异细微、子类内部差异大。因此，不止对计算机，对人类来说，细粒度图像任务的难度和挑战无疑也十分巨大。
[0003]针对叶片的细粒度分类数据集有Flavia、Swedish、ImageCLEF、Leafsnap等等，这些叶片数据来自不同品种的植物。目前已有的算法分别从叶片形状、颜色、叶脉、纹理等角度去区分不同的品种，但是性能不佳。研究人员也将深度学习的方法应用在叶片分类上，取得了比传统机器学习方法更好的效果。
[0004]相比于不同品种间的叶片识别，针对某一个品种的植物进行更精细的子品种的分类，其难度更为巨大。目前已有研究人员针对大豆这一物种进行细粒度识别，通过叶片区分出大豆不同的品种。根据公开文献，目前最佳的算法通过卷积网络学习，在公开的大豆叶片数据集SoyCultivar200上细粒度识别算法精度可达到85%左右。但该算法需要同时选取大豆植株上、中、下3张叶片进行识别，效率低下，速度较慢。
技术实现思路
[0005]为解决现有技术的不足，在保证推理速度的前提下提升细粒度识别的性能，本专利技术提出一种基于原型学习实现标签增强的叶片细粒度识别方法和方法。
[0006]一种基于原型学习实现标签增强的叶片细粒度识别方法，包括如下步骤：
[0007]S1，构建细粒度叶片分类数据集，并按照8:2划分训练集和测试集；
[0008]S2，下载于ImageNet数据集上预训练的卷积网络模型，将所有训练图像输入卷积网络模型并得到卷积网络模型最后一层输出的特征向量，按照图像类别标签获取每个类的平均特征值，作为每个类别的初始原型特征库；
[0009]S3，将训练图像输入上述卷积网络模型，计算其在最后一个卷积层输出的向量与所有原型特征的相似度；
[0010]S4，将上述相似度结果与输入图像的真实标签进行加权融合，获得软标签；
[0011]S5，根据输入图像的真实标签，对原型特征库中对应的原型向量进行迭代更新；
[0012]S6，获取输入图像经过卷积网络模型的分类层输出的预测标签；
[0013]S7，将预测标签与软标签进行相似度计算，作为损失函数指导整个系统的训练；
[0014]S8，推理阶段，将待测图像输入训练完成的卷积网络模型进行分类预测，根据预测的标签分布确定图像类别，网络参数大小与推理速度无需增加任何额外成本，在保证灵活性和高速性的情况下，提高了模型的性能。
[0015]进一步，步骤S1中构建细粒度叶片分类数据集，具体包括：采集东北地区大豆叶片图像，包括107种大豆品种：每种类别30张图像，共计3210张图像数据。
[0016]进一步，步骤S2具体包括：采用ResNet50作为卷积网络模型，将所有训练图像输入卷积网络模型并得到卷积网络模型最后一层输出的特征向量，按照图像类别标签获取每个类的平均特征值，作为每个类别的初始原型特征库,n为类别个数，取n=107，特征值维度为2048，的维度为。
[0017]进一步，步骤S3具体包括：将训练图像以batch size（bs）为16、图像大小为输入卷积网络模型中提取图像特征，最后一层卷积层输出的图像特征向量。
[0018]进一步，步骤S4具体包括：
[0019]步骤4.1：将步骤3输出的图像特征向量与原型特征库相乘，得到两者的余弦相似度，并输入一个kernel size=3的一维卷积网络和sigmoid激活层，获得相似度向量，其计算公式如下：
[0020]ꢀꢀꢀꢀꢀ
（1）
[0021]其中相似度向量的维度为；
[0022]步骤4.2：将相似度标签向量与独热编码的原标签向量进行加权融合，获得软标签，其计算公式如下：
[0023]ꢀꢀꢀꢀꢀꢀꢀ
（2）
[0024]其中独热编码的原标签向量维度为，采用超参数控制的权重。
[0025]进一步，步骤S5具体包括：根据输入图像的真实标签，对原型特征库中对应的原型向量进行迭代更新，其更新公式如下：
[0026]ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（3）
[0027]其中代表第i个输入对应的原型向量，代表第i个输入获取的特征向量，作为超参数控制更新速度。
[0028]进一步，步骤S6具体包括：将图像特征向量输入分类层，该分类层由一个的全连接层和一个softmax层组成，输出预测标签分布，公式表示如下：
[0029]ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（4）
[0030]其中预测标签分布的维度为，代表16张图各自在107个大豆类别的概率分布情况。
[0031]进一步，步骤S7具体包括：计算步骤S6获得的预测标签分布与步骤S4.2获得的软标签分布的KL散度，以度量上述两个分布之间的相似度，并作为损失函数指导整个网络的训练，其计算公式如下：
[0032]ꢀꢀꢀꢀꢀꢀꢀꢀ
（5）
[0033][0034]其中表示第i个输入图像的预测标签，表示第i个输入图像的软标签。
[0035]进一步，采用Adam优化器，其初始学习率为0.04，当训练epoch达到40、60、80时，将当前学习率乘以0.1，当训练epoch达到100次后，停止训练。本专利技术还涉及一种基于原型学习实现标签增强的叶片细粒度识别系统，包括如下步骤：
[0036]细粒度叶片分类数据集构建模块，用于构建细粒度叶片分类数据集，并按照8:2划分训练集和测试集；
[0037]初始原型特征库模块，用于下载于ImageNet数据集上预训练的卷积网络模型，将所有训练图像输入卷积网络模型并得到其最后一个卷积层输出的特征向量，按照图像类别标签获取每个类的平均特征值，作为每个类别的初始原型特征库；
[0038]原型特征相似度计算模块，用于将训练图像输入上述卷积网络模型，计算其在最后一个卷积层输出的向量与所有原型特征的相似度；
[0039]加权融合模块，用于将上述相似度结果与输入图像的真实标签进行加权融合，获得软标签；
[0040]迭代更新模块，用于根据输入图像的真实标签，对原型特征库中对应的原型向量进行迭代更新；
[0041]软标签相似度计算模块，用于获取输入图像经过网络分类层输出的预测标签，将其与软标签进行相似度计算，作为损失函数指导整个系统的训练本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于原型学习实现标签增强的叶片细粒度识别方法，包括如下步骤：S1，构建细粒度叶片分类数据集，并按照8:2划分训练集和测试集；S2，下载于ImageNet数据集上预训练的卷积网络模型，将所有训练图像输入卷积网络模型并得到卷积网络模型的最后一个卷积层输出的特征向量，按照图像类别标签获取每个类的平均特征值，作为每个类别的初始原型特征库；S3，将训练图像输入上述卷积网络模型，计算其在最后一个卷积层输出的向量与所有原型特征的相似度；S4，将上述相似度结果与输入图像的真实标签进行加权融合，获得软标签；S5，根据输入图像的真实标签，对原型特征库中对应的原型向量进行迭代更新；S6，获取输入图像经过卷积网络模型的分类层输出的预测标签；S7，将预测标签与软标签进行相似度计算，作为损失函数指导整个系统的训练；S8，推理阶段，将待测图像输入训练完成的卷积网络模型进行分类预测，根据预测的标签分布确定图像类别。2.如权利要求1所述的一种基于原型学习实现标签增强的叶片细粒度识别方法，其特征在于：步骤S1中构建细粒度叶片分类数据集，具体包括：采集东北地区大豆叶片图像，包括107种大豆品种：每种类别30张图像，共计3210张图像数据。3.如权利要求1所述的一种基于原型学习实现标签增强的叶片细粒度识别方法，其特征在于：步骤S2具体包括：采用ResNet50作为卷积网络模型，将所有训练图像输入卷积网络模型并得到其最后一个卷积层输出的特征向量，按照图像类别标签获取每个类的平均特征值，作为每个类别的初始原型特征库,为类别个数，取，特征值维度为2048，的维度为。4.如权利要求1所述的一种基于原型学习实现标签增强的叶片细粒度识别方法，其特征在于：步骤S3具体包括：将训练图像以batch size（bs）为16、图像大小为输入卷积网络模型中提取图像特征，最后一个卷积层输出的图像特征向量。5.如权利要求1所述的一种基于原型学习实现标签增强的叶片细粒度识别方法，其特征在于：步骤S4具体包括：步骤4.1：将步骤S3输出的图像特征向量与原型特征库相乘，得到两者的余弦相似度，并输入一个kernel size=3的一维卷积网络和sigmoid激活层，获得相似度向量，其计算公式如下：
ꢀꢀꢀꢀꢀ
（1）其中相似度向量的维度为；步骤4.2：将相似度标签向量与独热编码的原标签向量进行加权融合，获得软标签，其计算公式如下：
ꢀꢀꢀꢀꢀꢀꢀꢀ
（2）其中独热编码的原标签向量维度为，采用超参数控制的权重。6.如权利要求1所述的一种基于原型学习实现标签增强的叶片细粒度识别方法，其特征在于：步骤S5具体包括：根据输入图像的真实标签，对原型特征库中对应的原型向量进行迭代更新，其更新公式如下：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
...
【专利技术属性】
技术研发人员：章依依，应志文，徐晓刚，冯献忠，王军，虞舒敏，于慧，
申请(专利权)人：中国科学院东北地理与农业生态研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。