本发明专利技术提供了一种基于特征引导网络的图像分类与分割的装置、方法、设备及介质，属于深度学习技术领域。本发明专利技术的特征引导分类网络和特征引导分割网络包括基本单元块，基本单元块之间的局部特征增强以及全局特征提取，一定程度上解决了目前图像分类与图像分割网络模型特征利用不充分问题，使得训练出的特征引导分类网络以及特征引导分割网络效果更优，更加鲁棒。本发明专利技术根据输入图像的需求，选择特征引导分类网络还是特征引导分割网络，输出相应的类别或分割后的图像，解决现有的分类或分割网络模型存在分类或分割结果效果不理想的问题。模型存在分类或分割结果效果不理想的问题。模型存在分类或分割结果效果不理想的问题。
【技术实现步骤摘要】
基于特征引导网络的图像分类与分割的装置、方法、设备及介质
[0001]本专利技术涉及深度学习领域，特别是深度学习中卷积神经网络在图像分类与分割方面的应用。
技术介绍
[0002]图像分类与图像分割是计算机视觉领域的两大任务。图像分类的目的是给定一张图像，判定该图像到底属于哪一个具体的类别。图像分割则是从给定的图像中，分割出只包含感兴趣区域的目标。
[0003]在图像分类领域，主要包含传统的机器学习算法和目前流行的深度学习方法。机器学习算法往往需要手动地设计特征与人工干预，而深度学习方法有着强大的自动提取特征的能力而被广泛研究。更为重要的是，深度学习方法在图像分类领域的效果远好于传统的机器学习算法，这得益于深度学习中的卷积神经网络。然而，目前的图像分类网络模型没有充分利用从原始输入到模型输出之间的精细特征，而取得了相对较低的分类精度。这主要是因为目前设计的分类网络模型未能做到充分地特征引导、特征增强与利用。
[0004]图像分割又分为语义分割和实例分割，给定一张图像，前者只要分割出不同类别的目标即可，而后者不但要分割出不同的类别，还要在此基础上进一步完成同一类别、不同对象的分割。在图像分割领域，卷积神经网络也取得了良好的效果。具有里程碑意义的便是2015年提出用于语义分割的全卷积网络，全卷积网络不包含全连接层，从而适应任意尺寸的输入，采用反卷积操作与跳级结构，输出更加精细的结果。正因为全卷积网络的良好设计理念，在图像分割领域被不断的改进与完善，并被广泛应用。图像分割实质上是像素级的图像分类，因此对图像分割网络实施精细的特征提取尤为重要。然而，目前的图像分割网络模型大多忽略了更为密集的特征提取方式与对卷积后特征的充分再利用，例如编码过程的特征增强与解码过程的特征利用。
技术实现思路
[0005]针对现有技术中存在不足，本专利技术提供了一种基于特征引导网络的图像分类与分割的装置、方法、设备及介质，解决现有的分类或分割网络模型分类或分割结果效果不理想的问题。
[0006]本专利技术是通过以下技术手段实现上述技术目的的。
[0007]一种基于特征引导网络的图像分类与分割的方法，根据输入图像的需求，选择进行分类还是分割，若是分类，则将图像输入已训练的分类网络模型，输出相应的类别；若是分割，则将图像输入已训练的分割网络模型，输出分割后的图像；
[0008]所述分类网络模型为特征引导分类网络：输入图像经过一个3
×
3的卷积，再经过5个基本单元块与下采样操作，最后将得到的输出特征图扁平化，并接入全连接网络；在每个基本单元块前后，添加残差连接操作；对每个基本单元块产生的输出特征图在空间维度进
行局部特征增强、在通道维度进行全局特征提取，并在全连接层之前进行全局特征与局部特征融合；
[0009]所述分割网络模型为特征引导分割网络，采用编码器
‑
解码器结构；在编码器部分，输入图像经过一个3
×
3的卷积，再经过4个基本单元块与下采样，最后经过1个基本单元块与ReLU激活函数；在每个基本单元块前后，添加残差连接操作；对每个基本单元块产生的输出特征图在空间维度进行局部特征增强、在通道维度进行全局特征提取；在解码器部分，ReLU激活函数后产生的输出特征图输入解码器，将编码器基本单元块产生的输出特征图与解码器上采样后的特征图在通道维度进行对应尺度的连接，再经过一次普通卷积，产生的输出特征图作为下一个上采样层的输入特征图，直至第4个普通卷积后产生的输出特征图进行第5次上采样和第5次普通卷积，输出分割后的图像。
[0010]进一步的，所述基本单元块采用4条并行的水平通路，每一条水平通路上采用数量不等的卷积操作；通过特征图连接操作，使得各条通路之间的特征相互融合；通过分别在同一通路以及不同通路上引入残差连接操作，增强同一通路上的类似特征与不同通路上特征的融合。
[0011]进一步的，所述卷积操作设计为深度可分离卷积。
[0012]进一步的，所述空间维度进行局部特征增强，具体为：对每个基本单元块输出的特征图进行全局平均池化，得到一个特征向量，再将基本单元块原始输出特征图与所述特征向量进行点乘操作，得到增强后的输出特征图，所述增强后的特征图作为下一个基本单元块的输入，最后一个基本单元块增强后的输出特征图，进行全局平均池化，作为全连接网络的输入。
[0013]进一步的，所述通道维度进行全局特征提取，具体为：对每个基本单元块产生的多通道输出特征图进行压缩，提取出只包含单个通道的全局输出特征图。
[0014]进一步的，在图像输入前，进行感兴趣区域截取。
[0015]进一步的，在图像输入前，对输入图像进行仿射变换操作和归一化操作。
[0016]一种基于特征引导网络的图像分类与分割的装置，包括：
[0017]数据预处理模块，对输入图像进行各种仿射变换操作和归一化操作；
[0018]图像分类模块，用于构建特征引导分类网络，所述特征引导分类网络包括一个3
×
3的卷积、5个基本单元块和全连接网络；
[0019]图像分割模块，用于构建特征引导分割网络，所述特征引导分割网络采用编码器
‑
解码器结构；编码器包括一个3
×
3的卷积、4个基本单元块与下采样、1个基本单元块与ReLU激活函数；解码器包括5个上采样与普通卷积。
[0020]一种计算机设备，包括处理器和存储器；
[0021]所述存储器用于存储计算机程序；
[0022]所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如权利要求1
‑
7中任一项所述的图像分类与分割的方法。
[0023]一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如权利要求1
‑
7中任一项所述的图像分类与分割的方法。
[0024]本专利技术的有益效果为：
[0025](1)本专利技术中的基本单元块采用4条并行的水平通路，每一条水平通路上采用数量不等的卷积操作；通过特征图连接操作，使得各条通路之间的特征相互融合；通过分别在同一通路以及不同通路上引入残差连接操作，增强同一通路上的类似特征与不同通路上特征的融合；基本单元块之间的局部特征增强以及全局特征提取，使得训练出的特征引导分类网络以及特征引导分割网络效果更优，更加鲁棒。
[0026](2)本专利技术中的特征引导分类网络包括一个3
×
3的卷积、5个基本单元块和全连接网络，在每个基本单元块前后，添加残差连接操作，与每个基本单元块内部水平方向的残差连接操作在逻辑上形成一个整体，使得特征引导分类网络的训练更加容易；
[0027]本专利技术中的特征引导分割网络采用编码器
‑
解码器结构，编码器包括一个3
×
3的卷积、4个基本单元块与下采样、1个基本单元块与ReLU激活函数；解码器包括5个上采样与普通卷积本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于特征引导网络的图像分类与分割的方法，其特征在于，根据输入图像的需求，选择进行分类还是分割，若是分类，则将图像输入已训练的分类网络模型，输出相应的类别；若是分割，则将图像输入已训练的分割网络模型，输出分割后的图像；所述分类网络模型为特征引导分类网络：输入图像经过一个3
×
3的卷积，再经过5个基本单元块与下采样操作，最后将得到的输出特征图扁平化，并接入全连接网络；在每个基本单元块前后，添加残差连接操作；对每个基本单元块产生的输出特征图在空间维度进行局部特征增强、在通道维度进行全局特征提取，并在全连接层之前进行全局特征与局部特征融合；所述分割网络模型为特征引导分割网络，采用编码器
‑
解码器结构；在编码器部分，输入图像经过一个3
×
3的卷积，再经过4个基本单元块与下采样操作，最后经过1个基本单元块与ReLU激活函数；在每个基本单元块前后，添加残差连接操作；对每个基本单元块产生的输出特征图在空间维度进行局部特征增强、在通道维度进行全局特征提取；在解码器部分，ReLU激活函数后产生的输出特征图输入解码器，将编码器基本单元块产生的输出特征图与解码器上采样后的特征图在通道维度进行对应尺度的连接，再经过一次普通卷积，产生的输出特征图作为下一个上采样层的输入特征图，直至第4个普通卷积后产生的输出特征图进行第5次上采样和第5次普通卷积，输出分割后的图像。2.根据权利要求1所述的基于特征引导网络的图像分类与分割的方法，其特征在于，所述基本单元块采用4条并行的水平通路，每一条水平通路上采用数量不等的卷积操作；通过特征图连接操作，使得各条通路之间的特征相互融合；通过分别在同一通路以及不同通路上引入残差连接操作，增强同一通路上的类似特征与不同通路上特征的融合。3.根据权利要求1所述的基于特征引导网络的图像分类与分割的方法，其特征在于，所述卷积操作设计为深度可分离卷积。4.根据权利要求1所述的基于特征引导网络的图像分类与分割的方法，其特征在于，所述...
【专利技术属性】
技术研发人员：刘哲，庞杰，宋余庆，
申请(专利权)人：江苏大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。