基于人工智能的海洋生物图像分类方法技术

一种基于人工智能的海洋生物图像分类方法，通过构建训练集与测试集，用于训练深度网络并利用基于梯度定位的网络可视化方法(Grad

【技术实现步骤摘要】
基于人工智能的海洋生物图像分类方法


[0001]本专利技术涉及的是一种图像处理领域的技术，具体是一种基于人工智能的海洋生物图像分类方法。

技术介绍

[0002]现有海洋生物图像识别方法一般由图像特征提取和特征学习两个相对独立的过程来完成。整个过程的流程主要是1)获取海洋动物的图像2)利用图像处理技术，分析提取特征3)构建模型。这样的方法中特征提取步骤较为复杂，且需要大量的人工筛选，除此之外，它的识别精度也不尽人意，而且泛化性差，难以实现智能化应用。

技术实现思路

[0003]本专利技术针对现有技术模型泛化差，无法适用于海洋生物图像进行准确分类的不足，提出一种基于人工智能的海洋生物图像分类方法，利用深度网络模型对海洋图像进行层次分类，并利用可解释分析挖掘图像上关注的区域，准确率超过75％，模型挖掘的关注区域对应图像上生物的主要轮廓。
[0004]本专利技术是通过以下技术方案实现的：
[0005]本专利技术涉及一种基于人工智能的海洋生物图像分类方法，通过构建训练集与测试集，用于训练深度网络并利用基于梯度定位的网络可视化方法(Grad
‑
CAM)对训练后的深度模型进行可解释性分析，挖掘识别图像上的关注区域。
[0006]本专利技术涉及一种实现上述方法的系统，包括：预处理单元、层级分类单元、神经网络单元以及可解释性分析单元，其中：预处理单元根据下载的原始海洋生物图像信息，对图像进行去噪预处理，得到去噪后的图像；层级分类单元根据图像的注释信息，依据分类信息实现了将数据库中的图像按类别层次分类，得到不同层级分类对应的海洋图像数据；神经网络单元根据图像像素信息，进行卷积处理，得到深度网络处理后的图像层次分类结果，可解释性分析单元根据训练好的网络模型信息，进行可解释性分析处理，得到图像上的关注区域。
附图说明
[0007]图1为基于人工智能的海洋生物分类算法流程图；
[0008]图2为利用Grad
‑
CAM对训练好的深度模型进行可解释性分析。
具体实施方式
[0009]如图1所示，为本实施例涉及一种基于人工智能的包含海洋生物的图像分类方法，通过构建训练集与测试集，用于训练深度网络并利用基于梯度定位的网络可视化方法(Grad
‑
CAM)对训练后的深度模型进行可解释性分析，挖掘识别图像上的关注区域。
[0010]所述的训练集与测试集，通过收集生物图像数据并对其进行预处理，进行必要的
数据清洗，具体包括：在收集整理图片数据的同时记录该图片的物种分类信息，包括Phylum(门)、Class(纲)、Order(目)、Family(科)、Genus(属)、Species(种)等，其目的是便于训练前按生物分类层级对数据集中的图像进行分类。
[0011]所述的深度网络为EfficientNetV2网络，根据图像信息，进行1x1卷积处理，得到卷积操作后的特征图，经压缩和激励网络处理，得到通道之间的相互依赖关系，并对其进行3x3卷积处理，得到卷积处理后的特征图后，通过全连接层得到分类预测结果。
[0012]所述的训练，具体包括以下步骤：
[0013]步骤1：搭建模型时要根据扩展比例确定是否要搭建1
×
1的扩展卷积对输入图像进行处理，得到卷积处理后的特征图。
[0014]步骤2：利用压缩和激励网络处理步骤1得到的特征图，其中压缩操作通过在特征图层上执行全局平均池化操作得到当前特征图的全局压缩特征向量，激励操作通过两层全连接得到特征图中每个通道的权值，并将加权后的特征图作为下一层网络的输入。
[0015]步骤3：利用3x3的卷积针对压缩和激励网络的输出进行卷积操作，得到特征图。
[0016]步骤4：得到的特征图输入到全连接层进行不同层次的海洋生物图像分类，并对模型的训练损失进行评估。训练的过程中，通过逐步提升图像大小得到加速，再通过改进后的渐进学习方式，自适应地根据图像大小调整正则化因子，比如dropout、数据增广，从而补偿由于逐步提升图像大小造成的性能掉点。
[0017]如图2所示，所述的可解释性分析，具体为：
[0018]步骤a、网络模型首先对输入图像数据做出识别决策，在正向传播中得到最后一个卷积层的输出，即特征层A和最终的模型预测分数S，当实验研究类别为c，没有经过Softmax处理的网络模型对该图像的预测值，即模型对图像的直接预测分数为S
c
；Z＝c1×
c2表示特征图的大小；表示特征层A在通道k中第i行第j列位置处的数据，Grad
‑
CAM的class activation mapping的计算公式如下所示：其中：A为某个特征层，对于本实施例而言即是最后一个卷积层的输出；k为特征层A中的第k个通道；A
k
则表示特征层A中第k个通道的数据；表示针对的A
k
权重参数。
[0019]步骤b、将S
c
反向传播，得到反向传播回到特征层A的梯度信息A
′
，即A
′
是S
c
对特征层A所求的偏导，A
′
为A中元素对S
c
的贡献，此处的贡献越大，代表该处对于网络模型越敏感。
[0020]步骤c、对A
′
在特征图的每个点上求均值即可得到模型对于类别c在特征层A的每个通道的重视程度，最后经过加权求和，并经由ReLU激活函数得到Grad
‑
CAM热力图。
[0021]经过具体实际实验，在带GPU的Linux服务器上的具体环境设置下，在4026张棘皮动物门图像上运行上述方法，能够得到的实验数据是：不同层次类别下的分类准确率，针对目和科的两个层级测试集的准确率分别达到0.8和0.78；同时模型自动识别图像上的关注区域。
[0022]经过下载、收集、整理、筛选后，得到4026张棘皮动物门图像。基于这些图像的纲的类别，基础的图像分类(class)为5类。其中包含的物种类别与各类别中图像数据的数量如下表所示：
[0023]表1数据集中包含的各物种及其图像数量
物种名称图像数量(张)Asteroidea771Crinoidea40Echinoidea2787Holothuroidea194Ophiuroidea234
[0024]从模型的训练结果中可以看出，由于Class其类别更少，总数更大，对应的每个类别下的数量也越大，所以它的准确率不论是在训练集中还是测试集中，都是最高的；相比于前者，Order和Family这两个分类层次下的模型训练结果相对较差，但在训练集中仍能够达到0.9和0.88的accuracy，在测试集中的accuracy也分别达到0.8和0.78。
[0025]除此之外，本实施例进一步实现不同分类的类别accuracy，并通过Grad
‑
CAM对同一类图像在不同分类层次下的模型进行横向分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人工智能的包含海洋生物的图像分类方法，其特征在于，通过构建训练集与测试集，用于训练深度网络并利用基于梯度定位的网络可视化方法(Grad
‑
CAM)对训练后的深度模型进行可解释性分析，挖掘识别图像上的关注区域。2.根据权利要求1所述的基于人工智能的包含海洋生物的图像分类方法，其特征是，所述的训练集与测试集，通过收集生物图像数据并对其进行预处理，进行必要的数据清洗，具体包括：在收集整理图片数据的同时记录该图片的物种分类信息，包括Phylum(门)、Class(纲)、Order(目)、Family(科)、Genus(属)、Species(种)等，其目的是便于训练前按生物分类层级对数据集中的图像进行分类。3.根据权利要求1所述的基于人工智能的包含海洋生物的图像分类方法，其特征是，所述的深度网络为EfficientNetV2网络根据图像信息，进行1x1卷积处理，得到卷积操作后的特征图，经压缩和激励网络处理，得到通道之间的相互依赖关系，并对其进行3x3卷积处理，得到卷积处理后的特征图后，通过全连接层得到分类预测结果。4.根据权利要求1或3所述的基于人工智能的包含海洋生物的图像分类方法，其特征是，所述的训练，具体包括以下步骤：步骤1：搭建模型时要根据扩展比例确定是否要搭建1
×
1的扩展卷积对输入图像进行处理，得到卷积处理后的特征图；步骤2：利用压缩和激励网络处理步骤1得到的特征图，其中压缩操作通过在特征图层上执行全局平均池化操作得到当前特征图的全局压缩特征向量，激励操作通过两层全连接得到特征图中每个通道的权值，并将加权后的特征图作为下一层网络的输入；步骤3：利用3x3的卷积针对压缩和激励网络的输出进行卷积操作，得到特征图；步骤4：得到的特征图输入到全连接层进行不同层次的海洋生物图像分类，并对模型的训练损失进行评估；训练的过程中，通过逐步提升图像大小得到加速，再通过改进后的渐进学习方式，自适应地根据图像大小调整正则化因子，比如dropout、数据增广，从而补偿由于逐步提升图像大小造成的性能掉点。5.根据权利要求1所述的基于人工智能的包含海洋生物的图像...

【专利技术属性】
技术研发人员：潘小勇，周鹏，周芷诺，符格意，王春生，沈红斌，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：