一种基于语义分割的线条物体提取方法技术

本发明专利技术公开了一种基于语义分割的线条物体提取方法，首先对样本图像进行标注类别、生成掩膜图像并进行数据集增强得到训练数据集，然后构建语义分割神经网络模型，并对模型进行训练，使用训练好的模型对待检测的图像进行推理得到分割结果，再对语义分割得到的结果进行后处理，后处理包括图像细化、交叉线的识别和线条合并，最终得到线条物体构成的点在图像中的的坐标信息，完成在复杂的图像中对线条物体的提取。的提取。的提取。

【技术实现步骤摘要】
一种基于语义分割的线条物体提取方法


[0001]本专利技术属于图像处理
，尤其涉及一种基于语义分割的线条物体提取方法。

技术介绍

[0002]在工业生产中，存在一些以线条物体为主的产品或产品中的一些元素，由于质量检测的需求，需要对其进行缺陷的检测。随着图像处理和计算机视觉技术的发展，图像处理技术在工业产品缺陷检测中也得到了广泛的应用。
[0003]使用图像进行缺陷检测，一个很重要的步骤是从图像中将被测对象与背景分离，即图像分割。所谓图像分割，就是将一幅图像通过一定的方法分割成不同的区域，同一区域表现出相同或相似的灰度、颜色、空间纹理、几何形状甚至语义等特征。图像分割是图像处理到图像分析之间重要的一步，也是计算机视觉研究中的一个经典难题。
[0004]现有技术中，从图像中分割物体仍大多采用传统的图像分割方法，例如常见的基于阈值的分割算法、基于边缘的分割算法和基于区域的分割算法，还有一些其他理论，例如聚类、数学形态、遗传算法、小波变换等。这些传统算法大多着眼于图像自身的低阶视觉信息，对于分割内容简单、类别少和目的性强的图像效果较好，但是无法利用目标的高级特征进行分割。面对复杂的分割任务时，传统的分割算法达不到用于缺陷检测的效果。
[0005]随着深度学习的快速发展，卷积神经网络这一技术给图像处理领域带来了新的解决方案。Ronneberger等人基于FCN网络提出了端到端编码
‑
解码器结构的U
‑
Net网络模型(Ronneberger O,Fischer P,Brox T.U
‑
Net:Convolutional Networks for Biomedical Image Segmentation[J].Springer International Publishing,2015.)，在卷积部分和对称的上采样部分之间新加入了跳跃连接，克服了FCN不能保留部分像素空间位置信息和上下文信息导致局部特征和全局特征丢失的缺点。U
‑
Net主要由编码器、解码器、跳跃连接构成，跳跃连接降低上下文信息差距，进一步地提升了分割性能。由于该网络因结构类似U型，故名为UNet网络。该网络的分割精度高，适合小样本数据。
[0006]U
‑
Net的成功使得许多其他网络结构选择将这种“U”型网络作为模型的主干。然而，基于编码
‑
解码网络的U
‑
Net结构也存在一定的限制，一是最佳的编码解码深度在先验上是未知的，需要广泛的架构搜索或不同深度模型的低效率集成来测试，即不同的数据集决定了不同的网络最优深度，并且网络越深效果不一定越好；二是编码器与解码器之间的跳跃连接施加了不必要的限制性融合方案，它仅在编码器和解码器子网的相同比例的特征图上强制融合，即来自解码器和编码器网络的相同比例的特征图在语义上并不相同，没有可靠的理论保证它们是特征融合的最佳匹配。
[0007]为解决上述UNet存在的问题，Zhou等人提出了基于U
‑
Net改进的UNet++模型(Zhou Z,Siddiquee M M R,Tajbakhsh N,et al.UNet++:A Nested U
‑
Net Architecture for Medical Image Segmentation[J].2018.)，该模型最主要的特点是使用多层U
‑
Net网络叠加，通过不同深度的U
‑
Net的有效集成来缓解未知的网络深度，这些U
‑
Net可以部分共享一
个编码器，且通过深度监督同时进行学习。另外，UNet++模型重新设计了跳跃连接，使得解码器子网络可以聚合语义尺度不同的特征，从而产生高度灵活的特征融合方案。
[0008]虽然现有语义分割模型可以将线条物体从背景中精确地分割出来，但是分割的结果是二值化图像，并不是线条物体的坐标信息。从图像中精确地提取线条物体上每一个点的坐标成为了当前急迫需要解决的问题。

技术实现思路

[0009]本专利技术正是针对现有技术中在复杂场景下难以进行线条物体精确提取的问题，提供一种基于语义分割的线条物体提取方法，首先对样本图像进行标注类别、生成掩膜图像并进行数据集增强得到训练数据集，然后构建语义分割神经网络模型，并对模型进行训练，使用训练好的模型对待检测的图像进行推理得到分割结果，再对语义分割得到的结果进行后处理，后处理包括图像细化、交叉线的识别和线条合并，最终得到线条物体构成的点在图像中的的坐标信息，完成在复杂的图像中对线条物体的提取。
[0010]为了实现上述目的，本专利技术采取的技术方案是：一种基于语义分割的线条物体提取方法，包括如下步骤：
[0011]S1，构建训练集样本：使用原始图片和标记好的标签经过程序转换生成掩膜图像，形成数据集，并对数据集增强形成训练数据集；所述数据集增强方式包括仿射变换、对比度变换和弹性形变中的一种或多种组合；
[0012]S2，构建语义分割神经网络模型：所述神经网络模型主要包括编码器、解码器和跳跃连接，跳跃连接将来自解码器子网的深度、语义、粗粒度特征图与来自编码器子网的浅、低层、细粒度特征图结合在一起，实现精细分割；
[0013]S3，模型训练：根据步骤S1获得的训练数据集对步骤S2构建的网络模型进行训练，得到训练好的网络模型；
[0014]S4，图像分割：将待测样本图像输入步骤S3获得的训练好的网络模型中进行推理分割，得到二值化掩膜图像的分割结果；
[0015]S5，图像后处理：对步骤S4获得的分割结果进行后处理，获得图像线条的分段坐标信息，所述后处理至少包括线条物体轮廓的提取、轮廓的细化、线条的提取和交叉点的识别；
[0016]S6，线条合并：对端点距离和端点向量方向角均符合设定阈值的线条进行并查集操作，并对集合内的线条部分进行合并，最终得到各个完整线条物体构成的点在图像中的坐标信息。
[0017]作为本专利技术的一种改进，所述步骤S1构建训练集样本中，使用Labelme标注工具对样本图像进行像素类别的标注，得到标签数据文件；将标签数据文件经过程序转换输出对应的掩膜图像；将样本图像和对应的掩膜图像同时做水平、垂直翻转和旋转变换、并进行随机的亮度、对比度、弹性形变处理，形成训练数据集
[0018]作为本专利技术的另一种改进，所述步骤S1数据集增强方式中的仿射变换是二维坐标到二维坐标间的线性变换，从整体图像中进行样本增强，具体为：
[0019][0020]其中，(x,y)表示原图像上的像素坐标，(x',y')表示变换后的像素坐标，分别是6个变换参数，用来控制平移、旋转、缩放、剪切操作；
[0021]令则式又可以记为
[0022][0023]矩阵A是一个2*2的矩阵，控制了变换前后的缩放、旋转和剪切线性变换；其中，第一列向量和第二列向量分别控制了变换前后x轴和y轴的缩放和旋转；向量B是一个2*1的列本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于语义分割的线条物体提取方法，其特征在于，包括如下步骤：S1，构建训练集样本：使用原始图片和标记好的标签经过程序转换生成掩膜图像，形成数据集，并对数据集增强形成训练数据集；所述数据集增强方式包括仿射变换、对比度变换和弹性形变中的一种或多种组合；S2，构建语义分割神经网络模型：所述神经网络模型主要包括编码器、解码器和跳跃连接，跳跃连接将来自解码器子网的深度、语义、粗粒度特征图与来自编码器子网的浅、低层、细粒度特征图结合在一起，实现精细分割；S3，模型训练：根据步骤S1获得的训练数据集对步骤S2构建的网络模型进行训练，得到训练好的网络模型；S4，图像分割：将待测样本图像输入步骤S3获得的训练好的网络模型中进行推理分割，得到二值化掩膜图像的分割结果；S5，图像后处理：对步骤S4获得的分割结果进行后处理，获得图像线条的分段坐标信息，所述后处理至少包括线条物体轮廓的提取、轮廓的细化、线条的提取和交叉点的识别；S6，线条合并：对端点距离和端点向量方向角均符合设定阈值线条进行并查集操作，并对集合内的线条部分进行合并，最终得到各个完整线条物体构成的点在图像中的坐标信息。2.如权利要求1所述的一种基于语义分割的线条物体提取方法，其特征在于：所述步骤S1构建训练集样本中，使用Labelme标注工具对样本图像进行像素类别的标注，得到标签数据文件；将标签数据文件经过程序转换输出对应的掩膜图像；将样本图像和对应的掩膜图像同时做水平、垂直翻转和旋转变换、并进行随机的亮度、对比度、弹性形变处理，形成训练数据集。3.如权利要求2所述的一种基于语义分割的线条物体提取方法，其特征在于：所述步骤S1数据集增强方式中的仿射变换是二维坐标到二维坐标间的线性变换，从整体图像中进行样本增强，具体为：其中，(x,y)表示原图像上的像素坐标，(x',y')表示变换后的像素坐标，分别是6个变换参数，用来控制平移、旋转、缩放、剪切操作；令则式又可以记为矩阵A是一个2*2的矩阵，控制了变换前后的缩放、旋转和剪切线性变换；其中，第一列向量和第二列向量分别控制了变换前后x轴和y轴的缩放和旋转；向量B是一个2*1的列向量，控制了变换后的平移部分；其中，第一个元素c控制了x轴上的平移量，第二个元素f控制了y轴上的平移量。
4.如权利要求2所述的一种基于语义分割的线条物体提取方法，其特征在于：所述步骤S1数据集增强方式中的对比度变换从单一像素上进行样本增强，具体用公式x'＝αx+β来表示，其中x'是像素变换后的灰度值，x是像素变换前的灰度值，α和β分别决定变换的对比度和亮度的程度。5.如权利要求2所述的一种基于语义分割的线条物体提取方法，其特征在于：所述步骤S1数据集增强方式中的弹性形变从形态尺度上进行样本增强，具体使用公式Trans(x+
△
x(x,y),y+
△
y(x,y))＝I(j,k)来表示，对于原图上的点I(j,k)，经过弹性形变以后得到Trans值，其中对输入图像的每个像素点(x...

【专利技术属性】
技术研发人员：王慧青，刘复铭，余厚云，
申请(专利权)人：东南大学，
类型：发明
国别省市：