一种基于超像素和图卷积网络的平面分割方法技术

本发明专利技术公开了一种基于超像素和图卷积网络的平面分割方法；首对输入的彩色图像进行预处理，获得预处理后的图像；然后根据图像分辨率，将预处理后的图像分割为合适数量的超像素，并转化为无向图结构；构造图卷积网络，并使用数据集对其进行训练；最后使用训练好的图卷积网络对超像素构成的图进行预测，给每一个超像素进行平面分类，从而完成平面分割。本发明专利技术将图像分割为超像素，可以很好地保留原始图像中的边缘信息，并减轻后续图神经网络的学习负担，防止分割出的平面边缘与实际情况差距过大；利用现有数据集，通过特定算法提取特定标签，作为后续监督神经网络学习的训练集，解决了没有针对平面分割数据集的问题，避免了人工标记的巨大成本。

【技术实现步骤摘要】
一种基于超像素和图卷积网络的平面分割方法
本专利技术属于平面分割计算领域，具体涉及一种基于超像素和图卷积网络的平面分割方法。技术背景计算机视觉是一门高度交叉和复杂的学科，发展迅猛，并且广泛应用于安保、交通、医疗等领域，与人们的生活息息相关。计算机视觉的研究目标是让计算机代替人类完成诸如目标检测、图像描述、人脸识别等视觉任务。在人类感知的尺度上，平面是作为环境中最常见的结构之一，具有强大的约束能力，约束着大量的点/线及其所携带的信息，并且各种曲面都可以用平面进行近似，根据精度要求选择拟合的平面数量。实际应用中，许多计算机视觉任务都需要平面信息，比如：机器人领域中，识别地面、墙面等平面可用于视觉导航，识别桌面、书架等平面可辅助机械手抓取和放置物品；三维场景重建中，使用平面而非点云可以实现对一个城市大规模、简洁的重建。传统平面分割方法使用特征点、线段、超像素等几何基元，通过马尔可夫随机场等方法分割平面实例，分割效果不尽人意。近年来，深度学习在各个计算机视觉任务的应用获得了巨大的成功。相较于几何方法，使用卷积神经网络分割平面的效果大大提升。但是无论是何种方法，分割的平面边缘都与现实情况存在一定出入，无法很好地分割得到真实的平面边缘。对于神经网络来说，问题在于其分割平面本质上是在聚类像素，而聚类过程中网络无法很好的学习边缘信息。几何方法中使用的超像素可以很好的保留图像中的边缘信息，但是普通的卷积神经网络只能用于处理图像这样信息规则分布的输入。将图像等规则信息泛化后，可以使用图的结构进行表示，进而可以使用深度学习中的图卷积网络进行处理。
技术实现思路
为解决单张彩色图像平面分割问题，本专利技术提供一种基于超像素和图卷积网络的平面分割方法，其输入为单张彩色图像，输出为图像中平面实例的区域信息，专利技术中的方法使用超像素构造无向图结构，然后使用图卷积网络分类平面实例标签，从而完成平面分割任务。本专利技术提出的一种基于超像素和图卷积网络的平面分割方法，包括以下步骤：步骤(1)、对输入的彩色图像进行预处理，获得预处理后的图像；步骤(2)、根据图像分辨率，将预处理后的图像分割为合适数量的超像素，并转化为无向图结构；步骤(3)、构造图卷积网络，并使用数据集对其进行训练；步骤(4)、使用训练好的图卷积网络对超像素构成的图进行预测，给每一个超像素进行平面分类，从而完成平面分割；本专利技术有益效果如下：1.本专利技术将图像分割为超像素，可以很好地保留原始图像中的边缘信息，并减轻后续图神经网络的学习负担，防止分割出的平面边缘与实际情况差距过大；2.本专利技术使用超像素构成的无向图结构作为图神经网路的输入，大大降低了计算复杂度，简化了神经网络的结构；3.本专利技术利用现有数据集，通过特定算法从其中已有信息里提取特定标签，作为后续监督神经网络学习的训练集，解决了没有针对平面分割数据集的问题，避免了人工标记的巨大成本。附图说明图1为本专利技术方法的整体流程图；图2为本专利技术所用到的图卷积网络结构示意图；图3为本专利技术所用到的图卷积网络的子网络示意图；具体实施方式为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本专利技术作进一步详细的说明。本专利技术提出的基于超像素和图卷积网络的平面分割方法，如图1所示，包括以下步骤：步骤(1)、对输入的彩色图像进行预处理，获得预处理后的图像；首先将输入的彩色图像从RGB色彩空间转换HIV色彩空间，接着对H、I、V通道分别使用直方图均衡化算法，再将图像从HIV色彩空间转回到RGB色彩空间，完成图像对比度的提高；使用Sobel算子提取步骤1-1得到图像的边缘信息，然后与步骤1-1得到的图像相加，从而完成对图像边缘的增强，得到预处理后的图像；步骤(2)、根据图像分辨率，将预处理后的图像分割为合适数量的超像素，并转化为无向图结构；2-1超像素分割算法SLIC中一个重要的参数是超像素的个数S，假设图像中像素个数为P，则单个超像素包含像素个数N＝P/S。由于后续图神经网络中的卷积操作需要固定输入大小，因此取N＝30*30。此外，考虑到平面作为场景中基本的几何结构，想要区分出图像中的平面，输入图像的分辨率必然不能过低，如果图像像素个数小于18万(即超像素个数小于200)或者大于72万(即超像素个数大于800)，则使用线性插值算法将图像按照原比例缩放到18万～72万的分辨率，防止图像质量过低导致分割质量下降，或者防止图像过大带来大量计算。当图像分辨率合适时，则使用SLIC算法从图像中提取超像素，其中超像素个数S＝P/N；2-2将每一个超像素作为节点，并从上到下、从左到右将其中的每个像素存在一个列表中得到该节点的矩阵表示，由于每个像素包含R、G、B三个数值，因此矩阵维度为N*3。同时，相邻的超像素使用权重为1的无向边相连，而每个节点使用权重为2的无向边连接其本身(表示对于每个节点来说其本身特征比相邻节点的特征更为重要)，得到无向图G，将所有的超像素按照其在图像中的位置(从上到下、从左到右)堆叠起来，构成G的特征矩阵，维度为S*N*3；步骤(3)、构造图卷积网络，并使用数据集对其进行训练；3-1、整个图卷积网络的结构图如图2所示。图卷积网络采用UNet++结构，由三个不同大小的子网络嵌套而成。每个子网络都为UNet的结构(如图3)，只是每个子网络的深度不同(即所用的下采样个数不同，分别为1个、2个、3个)，子网络之间通过下采样与跳跃连接相连。每个子网络包括编码器和解码器两大部分。编码器用于将无向图编码，其包含卷积操作和下采样操作；解码器用于提取抽象的编码信息，最终还原成每个超像素的平面实例分类，其包含卷积操作和上采样操作；3-2、卷积积操作：假设输入的无向图Gc＝{Vc，Ec}，其中Vc＝表示无向图中的nc个节点，表示无向图中的mc条无向边。首先构造Gc的邻接矩阵Ac，Ac为nc阶实对称矩阵，其中每个元素aij(i，j＝0，1，...，n-1)表示第i个节点和第j个节点的连接关系，值为无向边的权重；然后构造矩阵Ac的度矩阵Dc，Dc同为nc阶实对称矩阵，且除主对角线以外的所有元素值为0，主对角元素取值为再利用输入无向图Gc的特征矩阵Xc，计算得到卷积操作输出的特征矩阵X′c：其中σ为ReLU激活函数，Wc为训练过程中可学习的权重矩阵。需要注意的是，整个过程中无向图的结构不发生变化，即Vc、Ec不变，卷积操作只是改变了Gc的特征矩阵，即每个节点所携带的信息；3-3、下采样操作用于减少无向图中节点，以达到压缩信息的功能。假设输入的无向图Gs＝{Vs，Es}，其中表示个ns节点。Gs的邻接矩阵为As，特征矩阵为Xs(维度为Ss*Ns*3)。首先使用一个在训练中可学习的投影矩阵M(维度为Ns*3)从无向图Gs的特征矩阵Xs中提取信息Y：其中，||·||表示取模长。Y的维度为Ss*3，对其中每行的三个元素取平本文档来自技高网...

【技术保护点】
1.一种基于超像素和图卷积网络的平面分割方法，其特征在于，包括以下步骤：/n步骤(1)、对输入的彩色图像进行预处理，获得预处理后的图像；/n步骤(2)、根据图像分辨率，将预处理后的图像分割为合适数量的超像素，并转化为无向图结构；/n步骤(3)、构造图卷积网络，并使用数据集对其进行训练；/n步骤(4)、使用训练好的图卷积网络对超像素构成的图进行预测，给每一个超像素进行平面分类，从而完成平面分割。/n

【技术特征摘要】
1.一种基于超像素和图卷积网络的平面分割方法，其特征在于，包括以下步骤：
步骤(1)、对输入的彩色图像进行预处理，获得预处理后的图像；
步骤(2)、根据图像分辨率，将预处理后的图像分割为合适数量的超像素，并转化为无向图结构；
步骤(3)、构造图卷积网络，并使用数据集对其进行训练；
步骤(4)、使用训练好的图卷积网络对超像素构成的图进行预测，给每一个超像素进行平面分类，从而完成平面分割。


2.根据权利要求1所述的一种基于超像素和图卷积网络的平面分割方法，其特征在于，步骤(1)具体操作如下；
首先将输入的彩色图像从RGB色彩空间转换HIV色彩空间，接着对H、I、V通道分别使用直方图均衡化算法，再将图像从HIV色彩空间转回到RGB色彩空间，完成图像对比度的提高；
使用Sobel算子提取步骤1-1得到图像的边缘信息，然后与步骤1-1得到的图像相加，从而完成对图像边缘的增强，得到预处理后的图像。


3.根据权利要求2所述的一种基于超像素和图卷积网络的平面分割方法，其特征在于，步骤(2)具体操作如下；
2-1超像素分割算法SLIC中一个重要的参数是超像素的个数S，假设图像中像素个数为P，则单个超像素包含像素个数N＝P/S；由于后续图神经网络中的卷积操作需要固定输入大小，因此取N＝30*30；使用线性插值算法将图像按照原比例缩放到18万～72万的分辨率，防止图像质量过低导致分割质量下降，或者防止图像过大带来大量计算；当图像分辨率合适时，则使用SLIC算法从图像中提取超像素，其中超像素个数S＝P/N；
2-2将每一个超像素作为节点，并从上到下、从左到右将其中的每个像素存在一个列表中得到该节点的矩阵表示，由于每个像素包含R、G、B三个数值，因此矩阵维度为N*3；同时，相邻的超像素使用权重为1的无向边相连，而每个节点使用权重为2的无向边连接其本身，得到无向图G，将所有的超像素按照其在图像中的位置堆叠起来，构成G的特征矩阵，维度为S*N*3。


4.根据权利要求3所述的一种基于超像素和图卷积网络的平面分割方法，其特征在于，步骤(3)具体操作如下：
3-1、图卷积网络采用UNet++结构，由三个不同大小的子网络嵌套而成；每个子网络都为UNet的结构，只是每个子网络的深度不同，子网络之间通过下采样与跳跃连接相连；每个子网络包括编码器和解码器两大部分；编码器用于将无向图编码，其包含卷积操作和下采样操作；解码器用于提取抽象的编码信息，最终还原成每个超像素的平面实例分类，其包含卷积操作和上采样操作；
3-2、卷积积操作：假设输入的无向图Gc＝{Vc,Ec}，其中表示无向图中的nc个节点，表示无向图中的mc条无向边；首先构造Gc的邻接矩阵Ac，Ac为nc阶实对称矩阵，其中每个元素aij(i,j＝0,1,…,n-1)表示第i个节点和第j个节点的连接关系，值为无向边的权重；然后构造矩阵Ac的度矩阵Dc，Dc同为nc阶实对称矩阵，且除主对角线以外的所有元素值为0，主对角元素...

【专利技术属性】
技术研发人员：颜成钢，徐浙峰，朱尊杰，孙垚棋，张继勇，李宗鹏，张勇东，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江;33