一种基于因果干预技术的小样本害虫图像识别方法技术

本发明专利技术涉及一种基于因果干预技术的小样本害虫图像识别方法，与现有技术相比解决了小样本害虫图像识别率低的缺陷。本发明专利技术包括以下步骤：公开数据集的获取；构建和训练嵌入模型；小样本害虫图像的获取、标记和预处理；构建并训练小样本害虫图像识别模型。本发明专利技术利用了因果干预对特征进行分层，缓解了预训练知识中混杂因子带来的影响，提高了在小样本情况下害虫图像识别的准确率，增加了小样本害虫图像识别算法的鲁棒性。算法的鲁棒性。算法的鲁棒性。

【技术实现步骤摘要】
一种基于因果干预技术的小样本害虫图像识别方法


[0001]本专利技术涉及小样本害虫图像识别领域，具体来说是一种基于因果干预技术的小样本害虫图像识别方法。

技术介绍

[0002]近年来，随着人工智能技术的不断发展，深度学习在人脸识别、自动驾驶、语音识别等场景被广泛使用并获得了巨大的突破。然而，在深度学习的背景下，往往需要大量有标签的数据才能使深度学习模型得以应用。在现实生活中，人类却不一样，相较于机器，人类更擅长通过少量样本来认知新的事物。于是，人们非常希望机器能够拥有从少量样本中联想记忆和快速学习的能力，希望人工智能更加接近于人类智能。
[0003]同时，在农业场景下，有时收集和标注大量的某类害虫数据是非常昂贵、困难、甚至是不可能的。因此，小样本学习害虫图像识别的研究课题具有极大的应用价值。
[0004]在机器学习中，模型主要关注特征之间的相关性，而很难识别特征之间的因果性。因此，如何引入因果干预，使得科学地识别特征之间的因果关系，大大减少未见过的图像识别所需的样本数已经成为急需解决的技术问题。

技术实现思路

[0005]本专利技术的目的是为了解决现有技术中小样本害虫图像识别率低的缺陷，提供一种基于因果干预技术的小样本害虫图像识别方法来解决上述问题。
[0006]为了实现上述目的，本专利技术的技术方案如下：
[0007]一种基于因果干预技术的小样本害虫图像识别方法，包括以下步骤：
[0008]公开数据集的获取：从公开数据集中获取大量数据集，并将其划分为基类数据集和验证集，分别用于训练和选择嵌入模型；
[0009]构建和训练嵌入模型：利用基类数据集训练嵌入模型，并在训练过程中使用验证集选择合适的嵌入模型用于特征提取；
[0010]小样本害虫图像的获取、标记和预处理：获取小样本图像数据集，将小样本害虫图像进行标注和预处理，其中，标注的小样本害虫图像数据作为支撑集数据，未标注的小样本害虫图像作为查询集数据；
[0011]构建并训练小样本害虫图像识别模型：利用训练好的嵌入模型，构建小样本害虫图像识别模型，同时使用支撑集和查询集数据对其进行训练，并得到小样本害虫图像识别结果。
[0012]所述的构建和训练嵌入模型包括以下步骤：
[0013]构建嵌入模型；
[0014]采用ResNet
‑
12作为嵌入模型，其包含四个残差块，输出的通道数分别是64、160、320和640；
[0015]设定每个残差块包含三个卷积操作，其均使用3
×
3大小的卷积核，且每个卷积操
作之后使用了归一化操作；
[0016]设定每个残差块之后进行最大池化，第四个残差块还进行全局平均池化，平均池化输出的特征作为该图像的嵌入特征；
[0017]设定在预训练时，根据基类数据的类别数，将连接上多分类线性分类器用于预测基类类别，连接上四分类线性分类器用于预测图像被旋转的角度；在微调时，根据小样本害虫图像的类别数，将连接上多分类线性分类器用于微调并预测小样本害虫的类别；
[0018]训练嵌入模型；
[0019]使用旋转自监督预训练嵌入模型；
[0020]在训练嵌入模型的过程中，使用一个额外的四分类线性分类器预测图片被旋转角度，旋转自监督的损失函数L
rotation
为：
[0021]L
roation
＝L(C4(f
θ
(x
r
)),r)，
[0022]其中，r为旋转的角度，x为输入的图片数据，x
r
为旋转r度的图片，L为标准的交叉熵损失，f
θ
(x
r
)为嵌入模型的输出，C4为一个四分类分类器，r∈{0
°
，90
°
，180
°
，270
°
}；
[0023]使用流形混合预训练嵌入模型；
[0024]在对每个batch的图像进行训练时，随机选择一个嵌入模型的网络层，对这些数据在这个网络层上的特征图进行流形混合；
[0025]流形混合后的特征和标签分别为：
[0026][0027][0028]流形混合后的损失函数为：
[0029][0030]其中，f
l
(x1)和f
l
(x2)分别为训练数据(x
i
,y
i
)和(x
j
,y
j
)在嵌入模型中第l层的特征表示；β∈[0,1]；y
i
和y
j
均为One
‑
hot标签；L为标准的交叉熵损失；g为l层之后模型表示；
[0031]对于每个batch的图像数据，先将所有图片旋转0
°
、90
°
、180
°
和270
°
，然后进行流形混合；
[0032]对于流形混合，不仅对未旋转的图像进行流形混合，也对旋转后的图像进行流形混合，意味着旋转角度的标签同样进行流形混合中的标签变换；
[0033]在每个周期的数据训练完后，使用验证集数据采样多个小样本任务，同样，每个小样本任务中包含少量支撑集数据和大量查询集数据；接着，固定嵌入模型，使用验证集上的该小样本任务中的支撑集数据对最后一层的分类器进行微调；最后，使用微调好的模型对该小样本任务中的查询集数据进行测试，保存测试结果最好的嵌入模型，得到一个训练好的嵌入模型；
[0034]在训练好一个嵌入模型后，重新设置训练时的随机化种子，训练新的嵌入模型，以此训练n个嵌入模型。
[0035]所述的构建并训练小样本害虫图像识别模型包括以下步骤：
[0036]特征提取操作：使用训练好的嵌入模型对支撑集和查询集数据进行特征提取，并对所提取的特征进行特征处理；
[0037]使用转导学习或者归纳学习的方式对前述得到的特征进行处理；
[0038]使用所得到的特征微调多个分类器并对未标注的查询集图像进行测试。
[0039]所述特征提取操作包括以下步骤：
[0040]在该小样本害虫识别任务上，先对每个支撑集数据随机裁剪k次，并将其输入嵌入模型中；
[0041]对k个输出的特征向量取平均后，所得的特征向量作为该支撑集数据的特征
[0042]由于使用了n个不同的嵌入模型，故得同一数据相对应的n个不同的特征向量
[0043]将这n个向量拼接起来，作为该小样本图像的特征并对这个特征进行中心变换：
[0044][0045][0046]其中，表示某个基类数据通过特征预处理后得到的特征向量，其未经过中心变换；表示所有基类数据的平均特征，其代表着数据集映射到嵌入空间后的特征中心；k表示基类数据的数量；x
c
代表将特征原点平移到特征中心后的特征向量。
[0047]所述使用转导学本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于因果干预技术的小样本害虫图像识别方法，其特征在于，包括以下步骤：11)公开数据集的获取：从公开数据集中获取大量数据集，并将其划分为基类数据集和验证集，分别用于训练和选择嵌入模型；12)构建和训练嵌入模型：利用基类数据集训练嵌入模型，并在训练过程中使用验证集选择合适的嵌入模型用于特征提取；13)小样本害虫图像的获取、标记和预处理：获取小样本图像数据集，将小样本害虫图像进行标注和预处理，其中，标注的小样本害虫图像数据作为支撑集数据，未标注的小样本害虫图像作为查询集数据；14)构建并训练小样本害虫图像识别模型：利用训练好的嵌入模型，构建小样本害虫图像识别模型，同时使用支撑集和查询集数据对其进行训练，并得到小样本害虫图像识别结果。2.根据权利要求1所述的一种基于因果干预技术的小样本害虫图像识别方法，其特征在于，所述的构建和训练嵌入模型包括以下步骤：21)构建嵌入模型；211)采用ResNet
‑
12作为嵌入模型，其包含四个残差块，输出的通道数分别是64、160、320和640；212)设定每个残差块包含三个卷积操作，其均使用3
×
3大小的卷积核，且每个卷积操作之后使用了归一化操作；213)设定每个残差块之后进行最大池化，第四个残差块还进行全局平均池化，平均池化输出的特征作为该图像的嵌入特征；214)设定在预训练时，根据基类数据的类别数，将连接上多分类线性分类器用于预测基类类别，连接上四分类线性分类器用于预测图像被旋转的角度；在微调时，根据小样本害虫图像的类别数，将连接上多分类线性分类器用于微调并预测小样本害虫的类别；22)训练嵌入模型；221)使用旋转自监督预训练嵌入模型；在训练嵌入模型的过程中，使用一个额外的四分类线性分类器预测图片被旋转角度，旋转自监督的损失函数L
rotation
为：L
roation
＝L(C4(f
θ
(x
r
)),r)，其中，r为旋转的角度，x为输入的图片数据，x
r
为旋转r度的图片，L为标准的交叉熵损失，f
θ
(x
r
)为嵌入模型的输出，C4为一个四分类分类器，r∈{0
°
，90
°
，180
°
，270
°
}；222)使用流形混合预训练嵌入模型；在对每个batch的图像进行训练时，随机选择一个嵌入模型的网络层，对这些数据在这个网络层上的特征图进行流形混合；流形混合后的特征和标签分别为：分别为：流形混合后的损失函数为：
其中，f
l
(x1)和f
l
(x2)分别为训练数据(x
i
,y
i
)和(x
j
,y
j
)在嵌入模型中第l层的特征表示；β∈[0,1]；y
i
和y
j
均为One
‑
hot标签；L为标准的交叉熵损失；g为l层之后模型表示；223)对于每个batch的图像数据，先将所有图片旋转0
°
、90
°
、180
°
和270
°
，然后进行流形混合；对于流形混合，不仅对未旋转的图像进行流形混合，也对旋转后的图像进行流形混合，意味着旋转角度的标签同样进行流形混合中的标签变换；在...

【专利技术属性】
技术研发人员：谢成军，钱少伟，杜健铭，张洁，李瑞，陈红波，
申请(专利权)人：中国科学院合肥物质科学研究院，
类型：发明
国别省市：