基于多教师知识蒸馏和归一化注意力的岩石类别预测方法技术

本发明专利技术公开了一种基于多教师知识蒸馏和归一化注意力的岩石类别预测方法，包括S1：采集岩石样品图像，建立岩石数据集，并对原始岩石样品图像数据进行预处理；S2:将在原有的网络结构基础上插入基于归一化的注意力模块，构建轻量级神经网络；S3：采用多教师知识蒸馏方法，即采用以Swin

【技术实现步骤摘要】
基于多教师知识蒸馏和归一化注意力的岩石类别预测方法


[0001]本专利技术属于图像类别预测的
，具体涉及一种基于多教师知识蒸馏和归一化注意力的岩石类别预测方法。

技术介绍

[0002]岩石按其成因可分成岩浆岩、沉积岩和变质岩三大类。在地下挖掘工作中，岩石的种类对于开采工作的进行有着不可忽视的影响。但是目前在岩石类别预测领域，还是主要以有经验的工人进行鉴别或者交由专业检测部门进行鉴别。但是在地下挖掘工作中，将岩石送到专业部门检测的效率是非常低下的，对工程的顺利进展也提出了极大的挑战。另外，人工进行鉴别存在如下问题，在实际的地下挖掘工作中，图片采集变得困难，采集的图片往往会存在噪声、平移等一系列问题，这给岩石类别预测带来很大的麻烦。
[0003]为次，出现了采用大型网络进行岩石类别预测的方法，该方法固然可以得到一个比较好的结果，但是由于大型网络实时性较差，而在实际地下挖掘工作中我们使用的设备往往不满足配置大型网络的要求，所以需要一个轻量级的网络，使其性能尽量满足我们的需求。

技术实现思路

[0004]本专利技术提供了一种基于多教师知识蒸馏和归一化注意力的岩石类别预测方法，通过多教师知识蒸馏和自注意力与卷积相结合的方法预测岩石类别，解决上述技术问题。
[0005]为了解决上述技术问题，本专利技术采用如下方案实现：
[0006]基于多教师知识蒸馏和归一化注意力的岩石类别预测方法，包括如下步骤：
[0007]S1：采集多个岩石样品图像，创造岩石数据集，并对原始岩石样品图像数据进行预处理；
[0008]S2:将在原有的网络结构基础上插入基于归一化的注意力模块，构建轻量级神经网络；
[0009]S3：采用多教师知识蒸馏方法，即采用以Swin
‑
Transformer为代表的自注意力模块和以ResNet为代表的卷积模型，训练出轻量级学生模型；
[0010]S4:将待处理的岩石图像加载到模型中，记录分类结果和各项性能指标。
[0011]所述多教师知识蒸馏方法是结合目前具有较好效果的大型神经网络，本专利技术采用以ResNet为代表的CNN网络和以Swin
‑
transformer为代表的自注意力网络。这两种网络的特性有所不同：CNN通过一个正方形或者矩形的感受野来采集一个区域的信息，这是CNN所具有的归纳偏置：
①
局部相关性：输入图像上相邻的区域会有相似的特征，靠的越近的物体相关性越强。
②
平移不变性：CNN对于同一张图及其平移后的版本，都能输出同样的结果。
[0012]Self
‑
Attention模型则没有引入额外的归纳偏置，其采用基于输入特征上下文的加权平均操作，通过相关像素对之间的相似函数动态计算注意力权重。并且其能够获取到一个全局的信息。这也使得网络能够适应地关注不同的区域，并捕捉更多的特征。但同时也
需要更多的训练数据才能使得自注意力模块能够取得预期的效果。
[0013]故可以结合两者的特性，从两种范式中训练出性能更好的神经网络模型。
[0014]进一步优化，所述步骤S1中，预处理包括如下步骤：
[0015]S11：对岩石样品图像进行分类，并分别放到对应的文件夹中；
[0016]S12：创建两个文本文件，一个为训练图片路径及其对应的类别，另一个为测试图片路径及其对应的类别，其中训练集占数据集的80％，验证集占数据集的20％；
[0017]步骤S13：在jupterlab上使用Pytorch重写dataset类：将图片裁剪为224*224大小，先取出一个批量的图片数据，计算该批量数据的均值和方差，根据均值和方差对图片进行归一化处理，以一定概率对训练图像数据增强操作；对测试图像仅做归一化处理；再通过DataLoader函数分批次载入数据，并显示部分图像数据，观察图像是否能够正常显示。
[0018]进一步优化，所述训练图像数据增强操作包括对训练图像进行翻转、平移、旋转和添加随机噪声。所述图像增强操作是为了契合实际应用环境的需要。在地下挖掘的时候，由于设备、光照和操作等一系列原因，我们取得的岩石切片并不如我们期望的数据那样规范，所以进行数据增强可以防止模型的过拟合。
[0019]进一步优化，所述步骤S2中，基于归一化的注意力模块的构建，具体包括如下步骤：
[0020]S21：在MobileNetV3的基础上重新设计注意力机制子模型，使用批量归一化中的缩放因子γ，如下公式所示：
[0021][0022]式中，μ
B
和分别是小批量样本的均值和方差，γ和β是可训练的放射变换参数，B
in
是输入样本，B
out
是输出样本，∈为一个较小值，防止除0操作；
[0023]S22：通过下式求得每个通道的权重：
[0024][0025]式中，w
i
为第i个通道的权重，γ
i
和γ
j
分别为第i个和第j个通道的缩放因子；
[0026]S23：根据所得的权重，与原特征图进行加权求和，再通过一个非线性激活即得到输出：
[0027]M
out
＝sigmoid(W
γ
(BN(M
in
)))
[0028]式中，M
in
为输入特征图，M
out
为输出特征图，W
γ
为通过w
i
对归一化处理后的特征图进行加权求和，sigmoid(
·
)为非线性激活函数。
[0029]进一步优化，所述步骤S3中，多教师知识蒸馏方法的具体训练步骤包括：
[0030]S31：向采用ImageNet预训练后的两个教师模型导入自建的岩石切片数据集中的图像数据，并将其所得概率分布依次与温度参数相除达到软化的目的，通过真实标签量化每个教师模型的置信度，通过不同的权重可以自适应地加权预测，通过softmax处理后得到软标签；
[0031]S32：向学生模型MobileNetV3
‑
NAM中导入自建的岩石切片数据集中的图像数据进行并行计算，对其采用与教师模型同样的计算流程获取软预测，并同时通过不设置温度参
数直接输入softmax获取硬预测；
[0032]S33：采用不同的权重参数依次对所得的多教师模型的软标签和软预测、硬标签和硬预测获得总混合损失值；
[0033]S34：利用Adam优化器和混合损失函数对学生模型MobileNetV3
‑
NAM进行训练，借助梯度反向传播实现学生模型参数的更新；
[0034]S35：重复进行上述步骤，直至MobileNetV3
‑
NAM模型的混合函数及分级准确率变化曲线趋于稳定，结束模型的训练。
[0035]进一步优化，所述软标签的获取过程为：
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多教师知识蒸馏和归一化注意力的岩石类别预测方法，其特征在于，包括如下步骤：S1：采集多个岩石样品图像，创造岩石数据集，并对原始岩石样品图像数据进行预处理；S2：将在原有的网络结构基础上插入基于归一化的注意力模块，构建轻量级神经网络；S3：采用多教师知识蒸馏方法，即采用以Swin
‑
Transformer为代表的自注意力模块和以ResNet为代表的卷积模型，训练出轻量级学生模型；S4:将待处理的岩石图像加载到模型中，记录分类结果和各项性能指标。2.根据权利要求1所述的基于多教师知识蒸馏和归一化注意力的岩石类别预测方法，其特征在于，所述步骤S1中，预处理包括如下步骤：S11：对岩石样品图像进行分类，并分别放到对应的文件夹中；S12：创建两个文本文件，一个为训练图片路径及其对应的类别，另一个为测试图片路径及其对应的类别，其中训练集占数据集的80％，验证集占数据集的20％；步骤S13：在jupterlab上使用Pytorch重写dataset类：将图片裁剪为224*224大小，先取出一个批量的图片数据，计算该批量数据的均值和方差，根据均值和方差对图片进行归一化处理，以一定概率对训练图像数据增强操作；对测试图像仅做归一化处理；再通过DataLoader函数分批次载入数据，并显示部分图像数据，观察图像是否能够正常显示。3.根据权利要求2所述的基于多教师知识蒸馏和归一化注意力的岩石类别预测方法，其特征在于，所述训练图像数据增强操作包括对训练图像进行翻转、平移、旋转和添加随机噪声。4.根据权利要求2所述的基于多教师知识蒸馏和归一化注意力的岩石类别预测方法，其特征在于，所述步骤S2中，基于归一化的注意力模块的构建，具体包括如下步骤：S21：在MobileNetV3的基础上重新设计注意力机制子模型，使用批量归一化中的缩放因子γ，如下公式所示：式中，μ
B
和分别是小批量样本的均值和方差，γ和β是可训练的放射变换参数，B
in
是输入样本，B
out
是输出样本，∈为一个较小值，防止除0操作；S22：通过下式求得每个通道的权重：式中，w
i
为第i个通道的权重，γ
i
和γ
j
分别为第i个和第j个通道的缩放因子；S23：根据所得的权重，与原特征图进行加权求和，再通过一个非线性激活即得到输出：M
out
＝sigmoid(W
γ
(BN(M
in
)))式中，M
in
为输入特征图，M
out
为输出特征图，W
γ
为通过w
i
对归一化处理后的特征图进行加权求和，sigmoid(
·

【专利技术属性】
技术研发人员：秦宗韬，和子杰，张宇韬，王源静，蒋若男，
申请(专利权)人：河海大学，
类型：发明
国别省市：