一种基于图卷积网络的图像特征分割方法技术

一种基于图卷积网络的图像特征分割方法。用均匀网格分割预处理后的图像；构建以中心图像块为顶点的有向无权图，利用图像块的关系，写出该图对应的邻接矩阵、特征矩阵以及每个节点的度矩阵；根据先验知识设定权重矩阵，用公式f(X，A)＝D

【技术实现步骤摘要】
一种基于图卷积网络的图像特征分割方法
本专利技术涉及图像特征分割领域，适用于规则与非规则图像的特征分割，涉及一种基于图卷积网络的图像特征分割方法。
技术介绍
图像的研究中，人们往往对图像中的某些部分感兴趣，这些感兴趣的部分一般对应图像中特定的、具有特殊性质的区域，称之为目标；而其他部分称为图像的背景。为了辨识目标和背景，需要把目标从一幅图像中孤立出来，这就是图像分割要研究的问题。图像分割是图像分析的第一步，图像分割接下来的任务，如特征提取、目标识别等的好坏，都取决于图像分割的质量如何。现在的技术，在特征提取方面，大多采用卷积神经网络的方法来实现，采用阈值分割方法、边缘检测方法、区域提取方法和结合特定理论工具的分割方法4类，采用sift算子、fishervector或VLAD等机器学习的方法提取特征，提取的特征向量维度大，计算成本高，准确率低下。基于卷积神经网络的特征提取方法，无法处理非欧式结构的数据，无法利用同一个卷积核来进行整张图像的准确运算，现在的图像处理方面，大多都选用同一个卷积核来进行卷积运算，这样会大大降低特征区域提取的准确性。而图卷积神经网络构建的空间拓扑结构恰恰解决了这个问题，对于不规则的特征区域，图卷积神经网络的特征提取要相对卷积神经网络的准确性更高，辨识度越强。因此申请人杭州电子科技大学，申请了专利号CN201810797764.6，专利名称一种基于图卷积神经网络的形状协同分割方法，其公开了一种基于图卷积网络的形状协同分割方法，本专利技术所述方法包括：将给定的一组形状过分割成子片，并构建子片间的关系图模型；对其中的部分子片进行标签指定；构建图卷积网络，将已标注的子片标签信息传播至其它未标注子片上。本专利技术将图卷积网络应用于形状协同分割领域，相比目前其它方法，本专利技术能得到准确率更高的结果，但是其是通过以下几个步骤的：1、形状过分割；2、图模型构建；3、图卷积神经网络；4、形状分割结果。是通过对三维模型分割成字片，然后以相似距离构图，构图方式，因此其仅仅义了邻接矩阵和权重矩阵，没有特征矩阵和度矩阵的定义，而本申请采用了采用原创图卷积的公式，解决卷积神经网络无法处理非欧式结构数据的问题，并极大的提升了特征提取效果，其通过图像块之间的关系构建图，以此来获得邻接矩阵、特征矩阵以及度矩阵，并通过手动设置权重的方法定义权重矩阵，从而分层进行图卷积，得到特征分割图像。
技术实现思路
随着图像种类的增加，图像的呈现形状也有了更多的选择，一直以来，人们都想在图像中通过电脑主动判断特征，以此来减轻人的工作量，在惯用的卷积神经网络分割图像的方法中，由于卷积核的数值固定，导致无法处理非欧式结构的数据，且提取特征的准确性较低，为了解决以上问题，本专利技术提供一种基于图卷积网络的图像特征分割方法，目的是解决卷积神经网络无法处理非欧式结构数据的问题，并极大的提升了特征提取效果，其通过图像块之间的关系构建图，以此来获得邻接矩阵、特征矩阵以及度矩阵，并通过手动设置权重的方法定义权重矩阵，从而分层进行图卷积，得到特征分割图像，为达此目的，本专利技术提供一种基于图卷积网络的图像特征分割方法，包括如下步骤：S1：读取图像并进行预处理；S2：将步骤S1处理后的图像用边长为8像素的均匀网格划分图像，划分为n个8*8的图像块，构建以最中间的图像块为顶点，周围相邻图像块为其他节点的图；S3：根据步骤S2构建的图构建邻接矩阵A和特征矩阵X以及度矩阵D，并定义权重矩阵W，用公式f(X，A)＝D-1*A*X*W完成第一层图卷积，用卷积结果更新顶点以及节点图像块的图像信息；S4：构建经过S3更新的顶点作为新的顶点，周围相邻块以及相邻块的相邻块图像为节点的图，进行第二层图卷积，更新顶点以及各节点的图像信息；S5：对整张图像按层做以中心图像块为顶点的图卷积，直至整张图像每个图像块都完成作为节点的卷积，得出特征分割图像；S6：为保证更精确的分割，对已完成的特征分割图像再次进行以边长为4像素的均匀网格分割，重复上述步骤，返回特征分割图。作为本专利技术进一步改进，所述的步骤S1中图像预处理具体包括如下步骤，S1.1：对图像进行灰度化，采用平均值法；S1.2：对灰度化后的图像进行几何变换，采用双线性插值法；S1.3：对几何变换后的图像进行图像增强，采用直方图均衡法。作为本专利技术进一步改进，所述步骤S2中采用均匀网格划分图像,图像块不足8*8的部分像素用0补齐，并且用图像块内所有元素像素的平均值作为此图像块的像素信息，在一定程度上减少了卷积计算的计算量。作为本专利技术进一步改进，步骤S3中所述的构建邻接矩阵A和特征矩阵X以及度矩阵D，并定义权重矩阵具体包括如下步骤，S3.1：根据每个节点的像素值之间的关系构建有向无权图，箭头由像素值大的节点指向像素值小的节点，若两节点像素值相等，箭头为双向箭头；S3.2：根据有向无权图写对应的邻接矩阵，节点依照像素值由小到大的顺序分别对应矩阵的1至n行，1至n列，假设对于3号节点，由3号节点出发，分别指向5号和8号节点，则3号节点对应的邻接矩阵第三行为：[000010011]；S3.3：根据每个节点的像素信息写特征矩阵，第一列是节点像素值由小到大，第二列取第一列的相反数；S3.4：根据有向无权图，从每一节点出发的边数构建形式为对角阵的度矩阵；S3.5：自设置权重矩阵；S3.6：按公式进行卷积。作为本专利技术进一步改进，步骤S3.1中，箭头仅为互异节点之间，节点聚合时忽略自节点的特征，用周围节点的信息判断当前节点的特征。作为本专利技术进一步改进，步骤S3.5中，采用手动设计法设计权重矩阵，根据先验知识，对背景部分的权重设置为-1，特征部分的权重设置为1。作为本专利技术进一步改进，每次做完一层图卷积会更新图的每个节点信息，在下一次进行卷积运算时可作为已知节点再次参与计算，以此达到层层迭代来做出更准确的特征分割。作为本专利技术进一步改进，所述步骤S5完成后，用边长为4像素的均匀网格再次划分图像，重新开始进行卷积，以增加特征分割的准确性。本专利技术一种基于图卷积网络的图像特征分割方法，具有如下特征；本专利技术在做图卷积网络之前，提出以均匀网格分割图像，很大程度上减少卷积运算的计算量，并采用层层迭代的方法，提高特征分割的准确性。本专利技术用图卷积网络进行图像特征分割，解决卷积神经网络不能处理不规则图像的问题，大幅提升分割效果，并对特征分割结果起到优化作用。附图说明图1为本专利技术的基于图卷积网络的图像特征分割方法流程图；图2为本专利技术第一层有向无权图；图3为本专利技术经过更新后的第二层有向无权图。具体实施方式下面结合附图与具体实施方式对本专利技术作进一步详细描述：本专利技术提供一种基于图卷积网络的图像特征分割方法，目的是解决卷积神经网络无法处理非欧式结构数据的问题，并极大的提升了特征提取效果，其通过图像块之间的关系构建图，以此来获得邻接矩阵、特征矩阵以及度矩阵，并通过手动设置权重的方法定义权重矩阵，从而分层进行图卷积，得到特征分割图像。请参考图1。图1为本专利技术的基于图卷积网络的图像特征分割方法流程图。本专利技术首先提供一种基于图卷积网络的图像特征分割方法，其步骤如下：S1：读取图像并进行预处理。输入一张彩色图像，该图像实际是一个RGB三通道的0-255的正整数组成的数值矩阵，首先对图像进行灰度化，本文档来自技高网...

【技术保护点】
1.一种基于图卷积网络的图像特征分割方法，包括如下步骤，其特征在于：S1：读取图像并进行预处理；S2：将步骤S1处理后的图像用边长为8像素的均匀网格划分图像，划分为n个8*8的图像块，构建以最中间的图像块为顶点，周围相邻图像块为其他节点的图；S3：根据步骤S2构建的图构建邻接矩阵A和特征矩阵X以及度矩阵D，并根据先验知识定义权重矩阵W，用公式f(X，A)＝D

【技术特征摘要】
1.一种基于图卷积网络的图像特征分割方法，包括如下步骤，其特征在于：S1：读取图像并进行预处理；S2：将步骤S1处理后的图像用边长为8像素的均匀网格划分图像，划分为n个8*8的图像块，构建以最中间的图像块为顶点，周围相邻图像块为其他节点的图；S3：根据步骤S2构建的图构建邻接矩阵A和特征矩阵X以及度矩阵D，并根据先验知识定义权重矩阵W，用公式f(X，A)＝D-1*A*X*W完成第一层图卷积，用卷积结果更新顶点以及节点图像块的图像信息；S4：构建经过S3更新的顶点作为新的顶点，周围相邻块以及相邻块的相邻块图像为节点的图，进行第二层图卷积，更新顶点以及各节点的图像信息；S5：对整张图像按层做以中心图像块为顶点的图卷积，直至整张图像每个图像块都完成作为节点的卷积，得出特征分割图像；S6：为保证更精确的分割，对已完成的特征分割图像再次进行以边长为4像素的均匀网格分割，重复上述步骤，返回特征分割图。2.根据权利要求1所述的一种基于图卷积网络的图像特征分割方法，其特征在于：所述的步骤S1中图像预处理具体包括如下步骤，S1.1：对图像进行灰度化，采用平均值法；S1.2：对灰度化后的图像进行几何变换，采用双线性插值法；S1.3：对几何变换后的图像进行图像增强，采用直方图均衡法。3.根据权利要求1所述的一种基于图卷积网络的图像特征分割方法，其特征在于：所述步骤S2中采用均匀网格划分图像,图像块不足8*8的部分像素用0补齐，并且用图像块内所有元素像素的平均值作为此图像块的像素信息，在一定程度上减少了卷积计算的计算量。4.根据权利要求1所述的一种基于图卷积网络的图像特征分割方法，其特征在于：步骤...

【专利技术属性】
技术研发人员：张涛，魏宏宇，张硕骁，翁铖铖，王帅，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏,32