一种轻量化图像分割方法、系统、介质、终端及应用技术方案

本发明专利技术属于图像处理技术领域，公开了一种轻量化图像分割方法、系统、介质、终端及应用，获取训练数据集，并将训练数据集中的图像以及真实标签图进行切割处理；构建改进型U

【技术实现步骤摘要】
一种轻量化图像分割方法、系统、介质、终端及应用


[0001]本专利技术属于图像处理
，尤其涉及一种轻量化图像分割方法、系统、介质、终端及应用。

技术介绍

[0002]目前对人类接收的信息进行利用大都依赖于对图像信息的处理，图像分割是图像预处理的一种重要方法，是图像价值提取的重要环节。图像分割是指将一幅图像分解为若干互不交迭区域的集合。图像分割有着广泛的应用，例如场景物体分割、自动驾驶、遥感图像分析、医学图像分析等领域。
[0003]传统的分割算法例如阈值分割、边缘检测分割、区域分割等，但这些方法耗时长，并且只能提取图像的颜色、形状、纹理等低层次特征，对于特征复杂多样的图像分割效果比较差。
[0004]近年来，随着计算机软硬件的快速迭代，深度学习在计算机视觉方面得到快速发展，利用深度学习来进行图像分割成为了一个研究热点。U
‑
Net网络模型是一个编码解码结构的全卷积神经网络，编码网络部分用于目标特征信息的提取，解码网络部分用于恢复图像的细节信息并使用反卷积对特征图进行上采样恢复至输入图片尺寸。编码部分和解码部分对应阶段之间使用跳跃连接结构，复用低层次特征信息，更好的还原图像细节信息。
[0005]然而，随着社会的快速发展，越来越多的任务应用于越来越复杂的场景，对分割算法在复杂的场景下要求也越来越高，复杂的背景和多样的类别目标导致分割算法分割结果不精确，同时深度学习算法往往需要计算大量的参数，硬件设施较差的环境下实时性难以满足。
[0006]通过上述分析，现有技术存在的问题及缺陷为：现有的分割方法在复杂场景下图像分割性能效果较差，网络模型容易存在错分和漏分现象，并且网络参数量和计算量较大，训练和推理效率低下。

技术实现思路

[0007]针对现有技术存在的问题，本专利技术提供了一种轻量化图像分割方法、系统、介质、终端及应用，具体涉及一种基于U
‑
Net的轻量化图像分割方法。
[0008]本专利技术是这样实现的，一种基于U
‑
Net的轻量化图像分割方法包括：
[0009]步骤一，获取训练数据集，并将训练数据集中的图像以及真实标签图进行切割和数据增强处理；
[0010]步骤二，构建改进型U
‑
Net的编码解码网络，并利用切割后的训练数据集中的图像以及真实标签图对构建的改进型U
‑
Net的编码解码网络进行训练；
[0011]步骤三，利用训练好的改进型U
‑
Net的编码解码网络进行轻量化图像分割。
[0012]进一步，在步骤一中所述将训练数据集中的图像以及真实标签图进行切割和数据增强处理包括：
[0013]将训练数据集中的图像和真实标签图，以256像素为步长，滑动窗口的形式切割成256*256的尺寸，为了缓解数据集存在的类别不均衡问题，对数据中类别占比较少的目标进行过采样切割，增加较少类别目标的占比，为了增强网络的泛化性和鲁棒性，采用数据增强的方式，具体为切割后的图片通过OpenCV库进行90度、180度和270度的翻转，同时使用PyTorch深度学习框架进行在线增强，使同一批次的图像进行随机水平翻转。
[0014]进一步，在步骤二中所述改进型U
‑
Net的编码解码网络包括：
[0015]编码端，用于利用EfficientNetV2
‑
S网络替换原始U
‑
Net网络的编码部分为以EfficientNetV2
‑
S网络为U
‑
Net的编码器，利用编码器输出1/2、1/4、1/8、1/16和1/32的5种特征图，利用多尺度卷积融合模块进行编码；
[0016]解码端，用于基于编码器输出1/2、1/4、1/8、1/16和1/32的5种特征图利用卷积结构重参数化方法并结合通道注意力机制进行解码，得到分割结果。
[0017]进一步，所述利用多尺度卷积融合模块进行编码包括：
[0018]多尺度卷积模块以及下采样模块；
[0019]多尺度卷积模块，用于以不同卷积核大小的卷积进行特征提取，并将多尺度卷积得到的特征图进行拼接融合；
[0020]下采样模块，用于将融合后的特征信息传递至深层网络。
[0021]进一步，所述多尺度卷积模块依次设置有卷积核大小分别为3
×
3、5
×
5和7
×
7的三个卷积核，三个进行拼接处理的分支特征，一个3
×
3进行融合的卷积。
[0022]进一步，所述下采样模块包括：
[0023]最大池化下采样单元，用于通过1
×
1卷积进行特征图维度的改变；
[0024]下采样单元，用于采用3
×
3卷积、步长为2的方式进行下采样；
[0025]融合单元，用于最大池化下采样单元和下采样单元通过对应元素求和的方式进行融合，接入SiLU函数进行非线性激活。
[0026]进一步，所述基于编码器输出1/2、1/4、1/8、1/16和1/32的5种特征图利用卷积结构重参数化方法并结合通道注意力机制进行解码包括：
[0027]将1/32的特征图作为解码端的输入，1/2、1/4、1/8、1/16特征图作为跳跃连接的特征信息与解码端进行拼接融合处理；
[0028]利用反卷积处理将特征图的尺寸扩大为原来的2倍并逐步将特征图恢复至原图片分辨率大小，并与编码端的每层输出的编码特征进行拼接处理；并利用输出层将特征图映射成特定数量的类别进行像素类别预测，得到分割结果。
[0029]进一步，所述解码端包括：
[0030]RepVGG模块、RepVGG
‑
SE模块；
[0031]RepVGG模块，用于加强特征提取能力，避免梯度消失问题；
[0032]RepVGG
‑
SE模块，用于提升模型分割性能，强化有用特征，抑制无效信息。
[0033]进一步，所述RepVGG模块包括：
[0034]构建信息流为y＝b(x)+g(x)+f(x)，若x和f(x)维度不匹配，y＝g(x)+f(x)，其中b(x)、g(x)和f(x)分别为x通过BN层(identity分支连接)、1
×
1卷积和3
×
3卷积的同层分支连接，在推理时，从已训练好的模型中进行转换，整合一条分支的卷积层和BN层，通过线性组合方式整合多个分支结构，网络分支架构等价于y＝h(x)，其中h(x)仅由一个3
×
3卷积层
实现，并通过ReLU激活层。
[0035]进一步，所述RepVGG
‑
SE模块包括：
[0036]在RepVGG模块的基础上，在identity分支结构中结合SE通道注意力机制。
[0037]进一步，在步骤二中所述利用切割后的训练数据集中的图像以及真本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种轻量化图像分割方法，其特征在于，所述轻量化图像分割方法包括：步骤一，获取训练数据集，并将训练数据集中的图像以及真实标签图进行切割处理；步骤二，构建改进型U
‑
Net的编码解码网络，并利用切割后的训练数据集中的图像以及真实标签图对构建的改进型U
‑
Net的编码解码网络进行训练；步骤三，利用训练好的改进型U
‑
Net的编码解码网络进行轻量化图像分割。2.如权利要求1所述轻量化图像分割方法，其特征在于，所述将训练数据集中的图像以及真实标签图进行切割处理包括：将训练数据集中的图像和真实标签图切割成256*256的尺寸；所述改进型U
‑
Net的编码解码网络包括：编码端，用于利用EfficientNetV2
‑
S网络替换原始U
‑
Net网络的编码部分为以EfficientNetV2
‑
S网络为U
‑
Net的编码器，利用编码器输出1/2、1/4、1/8、1/16和1/32的5种特征图，利用多尺度卷积融合模块进行编码；解码端，用于基于编码器输出1/2、1/4、1/8、1/16和1/32的5种特征图利用卷积结构重参数化方法并结合通道注意力机制进行解码，得到分割结果。3.如权利要求2所述轻量化图像分割方法，其特征在于，所述利用多尺度卷积融合模块进行编码包括：多尺度卷积模块以及下采样模块；多尺度卷积模块，用于以不同卷积核大小的卷积进行特征提取，并将多尺度卷积得到的特征图进行拼接融合；下采样模块，用于将融合后的特征信息传递至深层网络；所述多尺度卷积模块依次设置有卷积核大小分别为3
×
3、5
×
5和7
×
7的三个卷积核，三个进行拼接处理的分支特征，一个3
×
3进行融合的卷积；所述下采样模块包括：最大池化下采样单元，用于通过1
×
1卷积进行特征图维度的改变；下采样单元，用于采用3
×
3卷积、步长为2的方式进行下采样；融合单元，用于最大池化下采样单元和下采样单元通过对应元素求和的方式进行融合，接入SiLU函数进行非线性激活。4.如权利要求2所述轻量化图像分割方法，其特征在于，所述基于编码器输出1/2、1/4、1/8、1/16和1/32的5种特征图利用卷积结构重参数化方法并结合通道注意力机制进行解码包括：将1/32的特征图作为解码端的输入，1/2、1/4、1/8、1/16特征图作为跳跃连接的特征信息与解码端进行拼接融合处理；利用反卷积处理将特征图的尺寸扩大为原来的2倍并逐步将特征图恢复至原图片分辨率大小，并与编码端的每层输出的编码特征进行拼接处理；并利用输出层将特征图映射成特定数量的类别进行像素类别预测，得到分割结果；所述解码端包括：RepVGG模块、RepVGG
‑
SE模块、多尺度卷积模块以及下采样模块；RepVGG模块，用于加强特征提取能力，避免梯度消失；RepVGG
‑
SE模块，用于强化有用特征；
所述RepVGG模块包括：构建信息流为y＝b(x)+g(x)+f(x)，若x和f(x)维度不匹配，y＝g(x)+f(x)，其中b(x)、g(x)和f(x)分别为x通过BN层、1
×
1卷积和3
×
3卷积的同层分支连接，在推理时，从已训练好的模型中进行转换，整合一条分支的卷积层和BN层，通过线性组合方式整合多个分支结构，网络分支架构等价于y＝h(x)，其中h(x)仅由一个3
×
3卷积层实现，并通过ReLU激活层；所述RepVGG
‑
SE模块包括：在RepVGG模块的基础上，在identity分支结构中结合SE通道注意力机制。5.如权利要...

【专利技术属性】
技术研发人员：朱烨，胡伟，魏敏，
申请(专利权)人：成都信息工程大学，
类型：发明
国别省市：