基于卷积稀疏编码的Unet语义分割方法技术

本发明专利技术公开了基于卷积稀疏编码的Unet语义分割方法，将卷积稀疏编码与Unet模型中的编码网络相结合形成CSC‑Unet模型的编码器，从而来获得图像的全局信息；将卷积稀疏编码与Unet中的解码网络相结合组成CSC‑Unet模型的解码器，从而来获得图像的位置信息；并使用跳跃结构使得全局信息可以和位置信息相结合，产生准确而精细的分割。本发明专利技术首先对数据集中训练图片及标签进行预处理，如裁剪、数据增强等，其次读入CSC‑Unet分割模型进行训练。训练结束后，将数据集中的测试样本和标签读入CSC‑Unet分割模型，并将保存的最好权重值载入模型，从而达到使用该模型进行精确语义分割的目的。

【技术实现步骤摘要】
基于卷积稀疏编码的Unet语义分割方法
本专利技术设计对图像的语义分割领域，具体为基于卷积稀疏编码的Unet语义分割方法。
技术介绍
过去的几十年里，稀疏和冗余表示领域取得了重大飞跃。它成长为一门成熟的、极具影响力的学科。稀疏领域带来了这样一种想法，即自然信号可以描述为仅由几个构件或组件(通常称为原子)组成的线性组合。稀疏领域模型逐渐成为信号和图像处理以及机器学习应用的核心，在各种任务和许多不同的领域产生了最先进的结果。近些年来，稀疏领域的后代模型卷积稀疏编码(CSC)以及多层卷积稀疏编码(ML-CSC)在信号和图像处理到机器学习的许多不同领域都取得了显著的效果。另一方面，语义分割是计算机视觉中的关键任务之一。现实中，越来越多的应用场景需要从影像中推理出相关的知识或语义(即由具体到抽象的过程)。作为计算机视觉的核心问题，语义分割对于场景理解的重要性日渐突出。基于此，本专利技术提供了基于卷积稀疏编码的Unet语义分割方法，可以更好的捕获图像的语义信息和表征信息，以便更精确的对图像进行语义分割。
技术实现思路
本专利技术的目的是基于卷积稀疏编码在许多不同领域的显著的效果，将卷积稀疏编码与Unet分割模型相结合，得到分割效果更精确的模型。为实现上述目的，本专利技术提供基于卷积稀疏编码的Unet语义分割方法，该方法包含以下步骤：S1：将数据集中的训练样本和标签读入CSC-Unet语义分割网络，根据实际需要，应先对训练图片及标签进行预处理，如裁剪和归一化；S2：将卷积稀疏编码与Unet中的编码网络相结合形成CSC-Unet模型的编码器，从而来获得图像的全局信息；S3：将卷积稀疏编码与Unet中的解码网络相结合组成CSC-Unet模型的解码器，从而来获得图像的位置信息，并使用跳跃结构使得全局信息可以和位置信息相结合，从而产生准确而精细的分割；S4：将CSC-Unet模型得出的结果进行后处理得到可视化后的语义分割图。作为本专利技术的一种优选技术方案，所述S1和S4分别是对图像进行预处理和后处理，所述S2和S3是提出基于卷积稀疏编码和Unet分割模型形成的CSC-Unet语义分割方法。作为本专利技术的一种优选技术方案，所述S1：数据预处理部分，其处理可由以下几个步骤构成：S1.1、将数据进行预处理，如归一化、标准化、裁剪和数据增强，有利于深层网络的训练，加速收敛过程，同时也避免过拟合问题并增强了模型的泛化能力；S1.2、将数据进预处理后读入网络：根据batch-size大小，将数据集中的训练样本和标签读入卷积神经网络。作为本专利技术的一种优选技术方案，所述S2：CSC-Unet模型的编码器设计过程，其设计过程可由以下几个步骤构成：S2.1、设计两层的卷积稀疏编码模型网络模型组成ML-CSC模块：设原始信号X满足两层卷积稀疏模型，可以表示为X＝D1Γ1,Γ1＝D2Γ2，其中S2.2、ML-CSC问题的求解：关于如何求出Γ1和Γ2可以看成是深度编码问题(DCP)：在||Y-D1Γ1||2≤ε,Γ1＝D2Γ2,条件下求解其中Y是混合了噪声E的原始信号X,即Y＝X+E(||E||2≤ε)。用分层基础追踪算法(LBP)解决深度编码问题可以得出：其中S2.3、LBP问题的求解：使用多层迭代软阈值算法(ML-ISTA)可以求出LBP问题的近似解：其中t为迭代次数，Tλ为阈值算子；若进一步假设表示系数有非负性，则上述近似解可以写成：其中Wk为卷积操作，当t＝0，即无迭代次数时，ML-CSC模块相当于两次卷积操作，卷积系数分别为：W1和W2，当迭代次数t＝1时，且在迭代过程不会增加可学习参数的数量；S2.4、将ML-CSC模块与传统Unet分割网络的编码端相结合。作为本专利技术的一种优选技术方案，所述S3：CSC-Unet模型的编码器以及跳跃连接的设计，其设计过程可由以下几个步骤构成：S3.1、将ML-CSC模块与传统Unet分割网络的解码端相结合；S3.2、使用跳跃结构使得全局信息可以和位置信息相结合，从而产生准确而精细的分割；S3.3、损失函数选用NLL_LOSS,对输入参数进行log-SoftMax函数激活，优化函数选用一种自适应学习率的优化方法Adam优化函数进行优化。作为本专利技术的一种优选技术方案，所述S4中将CSC-Unet模型得出的结果进行后处理得到可视化后的准确语义分割图；其过程可由以下几个步骤构成：S4.1、将模型输出后的结果与真实标签进行精度运算，求出混淆矩阵，从而得到相应的平均交并比(Miou)，像素精度，平均像素精度，等指标度量参数，进而衡量的网络性能；S4.2、将模型的预测结果以图片的形式保存下来，直观感受分割的精确程度。本专利技术的有益效果是：本方法和现有技术的分割方法相比，其优点在于，本专利技术首先在编码端可以更好的捕获原始图像的全局信息，然后在解码端可以更好捕获原图的位置信息，最后将捕获的全局信息和位置信息相结合，从而得到更精确的图像语义分割，本专利技术将非常有利于地理信息系统、无人车驾驶、医疗影像分析、机器人以及图像搜索引擎等方面的研究。附图说明图1为本专利技术基于卷积稀疏编码的Unet语义分割方法的流程简图；图2-3为本专利技术基于卷积稀疏编码的Unet语义分割方法的模型。具体实施方式下面结合附图对本专利技术的较佳实施例进行详细阐述，以使本专利技术的优点和特征能更易被本领域人员理解，从而对本专利技术的保护范围做出更为清楚明确的界定。实施例：请参阅图1-3，本专利技术提供一种技术方案：以下结合附图，进一步说明本专利技术的具体实施例。如图1所示，为本专利技术基于卷积稀疏编码的Unet语义分割方法，该方法包含以下步骤：S1：数据预处理部分，其处理可由以下几个步骤构成：S1.1、将数据进行预处理，如归一化、标准化、裁剪、数据增强等。这有利于深层网络的训练，加速收敛过程，同时也避免过拟合问题并增强了模型的泛化能力。S1.2、将数据进预处理后读入网络：根据batch-size大小，将数据集中的训练样本和标签读入卷积神经网络。S2：CSC-Unet模型的编码器设计过程，其设计过程可由以下几个步骤构成：S2.1、设计两层的卷积稀疏编码模型网络模型组成ML-CSC模块：设原始信号X满足两层卷积稀疏模型，可以表示为X＝D1Γ1,Γ1＝D2Γ2，其中S2.2、ML-CSC问题的求解：关于如何求出Γ1和Γ2可以看成是深度编码问题(DCP)：在||Y-D1Γ1||2≤ε,Γ1＝D2Γ2,条件下求解其中Y是混合了噪声E的原始信号X,即Y＝X+E(||E||2≤ε)。用分层基础追踪算法(LBP)解决深度编码问题可以得出：其中S2.3、LBP问题的求解：使用多层迭代软阈值算法(ML-ISTA)可以求出LBP问题的近似解：其中t为迭代次数，Tλ为阈值算子。若进一步假设表示系数有非负性，则上述近似解可以写成：其中Wk为卷积操作，当t＝0，即本文档来自技高网...

【技术保护点】
1.基于卷积稀疏编码的Unet语义分割方法，其特征在于，该方法包含以下步骤：/nS1：将数据集中的训练样本和标签读入CSC-Unet语义分割网络，根据实际需要，应先对训练图片及标签进行预处理，如裁剪和归一化；/nS2：将卷积稀疏编码与Unet中的编码网络相结合形成CSC-Unet模型的编码器，从而来获得图像的全局信息；/nS3：将卷积稀疏编码与Unet中的解码网络相结合组成CSC-Unet模型的解码器，从而来获得图像的位置信息，并使用跳跃结构使得全局信息可以和位置信息相结合，从而产生准确而精细的分割；/nS4：将CSC-Unet模型得出的结果进行后处理得到可视化后的语义分割图。/n

【技术特征摘要】
1.基于卷积稀疏编码的Unet语义分割方法，其特征在于，该方法包含以下步骤：
S1：将数据集中的训练样本和标签读入CSC-Unet语义分割网络，根据实际需要，应先对训练图片及标签进行预处理，如裁剪和归一化；
S2：将卷积稀疏编码与Unet中的编码网络相结合形成CSC-Unet模型的编码器，从而来获得图像的全局信息；
S3：将卷积稀疏编码与Unet中的解码网络相结合组成CSC-Unet模型的解码器，从而来获得图像的位置信息，并使用跳跃结构使得全局信息可以和位置信息相结合，从而产生准确而精细的分割；
S4：将CSC-Unet模型得出的结果进行后处理得到可视化后的语义分割图。


2.根据权利要求1所述的基于卷积稀疏编码的Unet网络的语义分割方法，其特征在于：所述S1和S4分别是对图像进行预处理和后处理，所述S2和S3是提出基于卷积稀疏编码和Unet分割模型形成的CSC-Unet语义分割方法。


3.根据权利要求1所述的基于卷积稀疏编码的Unet网络的语义分割方法，其特征在于：所述S1：数据预处理部分，其处理可由以下几个步骤构成：
S1.1、将数据进行预处理，如归一化、标准化、裁剪和数据增强，有利于深层网络的训练，加速收敛过程，同时也避免过拟合问题并增强了模型的泛化能力；
S1.2、将数据进预处理后读入网络：根据batch-size大小，将数据集中的训练样本和标签读入卷积神经网络。


4.根据权利要求1所述的基于卷积稀疏编码的Unet网络的语义分割方法，其特征在于：所述S2：CSC-Unet模型的编码器设计过程，其设计过程可由以下几个步骤构成：
S2.1、设计两层的卷积稀疏编码模型网络模型组成ML-CSC模块：设原始信号X满足两层卷积稀疏模型，可以表示为X＝D1Γ1,Γ1＝D2Γ2，其中
S2.2、ML-CSC问题的求解：关...

【专利技术属性】
技术研发人员：王倪传，唐海童，卢霞，颜虹杰，
申请(专利权)人：江苏海洋大学，
类型：发明
国别省市：江苏;32