基于递归图神经网络解决边缘过平滑的方法及装置制造方法及图纸

本发明专利技术公开了一种基于递归图神经网络解决边缘过平滑的方法及装置，方法包括以下步骤：利用图神经网络建模边缘位置特征，采用更新后的超像素特征来增强边缘像素的表示，并将增强后的边缘像素映射回原规则网格中；利用图神经网络建模所述边缘位置特征和像素关系，利用超像素的特征来增强边缘像素的表示，重新计算得到该些位置的分类结果，递归图传播边缘优化直到输出的分割图的分辨率与原始图像相同。装置包括：处理器和存储器。本发明专利技术利用图神经网络建模边缘位置特征与区域超像素特征的关系、超像素与超像素特征之间的关系，更好地利用边缘像素的上下文信息实现更精确的边缘像素分类。素分类。素分类。

【技术实现步骤摘要】
基于递归图神经网络解决边缘过平滑的方法及装置


[0001]本专利技术涉及图像语义分割领域，尤其涉及一种基于递归图神经网络解决边缘过平滑的方法及装置。

技术介绍

[0002]边界像素的分类已经引起了广泛的关注。由于规则网格采样的原因，分割的边界往往被过平滑化。早期，DeepLab等全卷积网络使用后处理方法如CRF(条件随机场)进行边缘优化。后来，在线难样本挖掘和Focal Loss(焦点损失)被广泛用于语义分割任务，从损失函数的角度解决这个问题。近期，出现了一些从模型设计的角度优化边缘的工作，Gated
‑
SCNN(用于语义分割的门控形状的CNN)和EGNet(用边缘信息来指导网络进行重要的目标检测)在网络中加入了边界预测分支来学习边缘像素的分类，PointRend(基于点的渲染)则是将边缘优化问题与渲染问题进行类比，逐次上采样和边缘优化同步进行，由于只针对边缘部分进行优化，降低了内存消耗和计算代价。
[0003]近年来，基于图的方法非常流行，并且被证明是一种有效的关系推理方法。图卷积网络(Graph Convolutional Networks，GCN)在视频识别任务中被用于捕获对象之间的关系。Chen等人将GCN用于分割任务中，在Double Attention的基础上，将不同区域的特征表示作为图的节点，在不相交和相距较远的区域之间进行推理，并且不需要目标检测或额外的标注信息。
[0004]通常，用于图像分割的CNN(卷积神经网络)基于规则网格：输入图像是规则网格上的像素集合，CNN的中间表示是规则网格上的特征向量，其输出是规则网格上的标签图。规则网格上的CNN方便易用，能够有效地提取图像特征，但在一些具体领域，比如遥感影像屋顶分割任务中，仅使用规则网格上的卷积未必是一种理想的方式。这些神经网络的分割结果往往是过平滑的，由于像素稀疏的高频信号仅仅存在于不同目标之间的边界上，CNN倾向于为相邻像素分配相同的标签。规则网格对平滑区域进行过采样的同时对对象边界进行欠采样，既导致了在平滑区域上的不必要的计算，又使得分割边缘不够锐利。

技术实现思路

[0005]本专利技术提供了一种基于递归图神经网络解决边缘过平滑的方法及装置，本专利技术利用图神经网络建模边缘位置特征与区域超像素特征的关系、超像素与超像素特征之间的关系，更好地利用边缘像素的上下文信息实现更精确的边缘像素分类，详见下文描述：
[0006]第一方面，一种基于递归图神经网络解决边缘过平滑的方法，所述方法包括以下步骤：
[0007]利用图神经网络建模边缘位置特征，采用更新后的超像素特征来增强边缘像素的表示，并将增强后的边缘像素映射回原规则网格中；
[0008]利用图神经网络建模所述边缘位置特征和像素关系，利用超像素的特征来增强边缘像素的表示，重新计算得到该些位置的分类结果，递归图传播边缘优化直到输出的分割
图的分辨率与原始图像相同。
[0009]其中，所述利用图神经网络建模边缘位置特征，采用更新后的超像素特征来增强边缘像素的表示，并将增强后的边缘像素映射回原规则网格中具体为：
[0010]将特征张量从规则网格空间投影到交互空间中的特征V，将每个区域表示为一个单独的特征表示，在交互空间中构建一个新的全连接图，节点存储区域的特征表示；
[0011]在全连接图上使用图卷积操作进行推理，用更新后的超像素特征来增强边缘像素的表示，并将增强后的边缘像素映射回原规则网格中，逐级上采样递归该过程，使得边缘像素的分割结果不断被优化，最终输出全分辨率的分割结果。
[0012]在一种实施方式中，所述利用超像素的特征来增强边缘像素的表示，重新计算得到该些位置的分类结果具体为：
[0013]对低分辨率的输出特征进行上采样，选取置信度最低的N个像素，将推理后的区域特征传播至采样的特征上，对特征进行分类。
[0014]在另一种实施方式中，所述递归图传播边缘优化具体为：
[0015]输入：细粒度特征Xfine；粗预测特征Xcoarse；采样像素数N；
[0016]输出：精确的预测Yrefined；
[0017]若判断条件为训练，则执行：
[0018](1)选择N个点P，从边缘部分，从平滑区域选择另一个点；
[0019](2)使用Xfine和Xcoarse的坐标P收集特征Xsampled；
[0020](3)计算区域表示、推理和扩充样本Xsampled；
[0021]否则，则判断当粗预测特征Xcoarse的规模是否小于细粒度特征Xfine规模，判断为是则执行：
[0022]1)Xcoarse＝unsampling(Xcoarse)
[0023]2)选择前N个不确定边缘点；
[0024]3)使用Xfine和Xcoarse的坐标P收集特征Xsampled；；
[0025]4)计算区域表示、推理和扩充样本Xsampled。
[0026]第二方面，一种基于递归图神经网络解决边缘过平滑的装置，其特征在于，所述装置包括：处理器和存储器，所述存储器中存储有程序指令，所述处理器调用存储器中存储的程序指令以使装置执行第一方面中的任一项所述的方法步骤。
[0027]第三方面，一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时使所述处理器执行第一方面中的任一项所述的方法步骤。
[0028]本专利技术提供的技术方案的有益效果是：
[0029]1、本专利技术更好地利用边缘像素的上下文信息实现了更精确的边缘像素分类，在遥感图像语义分割数据集上评估了递归图神经网络的有效性，并与当前最先进的语义分割模型进行比较；
[0030]2、本专利技术在边缘分割精度上取得了良好的分数，同时在常用的语义分割评价指标上也表现较好；
[0031]3、本专利技术相较于DeepLab、PSPNet以及DANet等先进的方法，本专利技术的模型具备更高的时间和空间效率；
[0032]4、本专利技术还可应用于半监督的语义分割任务中，且本专利技术在只有部分标注的屋顶分割任务中，能够取得接近于全监督的分割精度。
附图说明
[0033]图1为一种基于递归图神经网络解决边缘过平滑的方法的流程图；
[0034]图2为一种基于递归图神经网络解决边缘过平滑的方法的区域超像素之间的特征交互和更新图；
[0035]图3为一种基于递归图神经网络解决边缘过平滑的方法的超像素和边缘像素之间的特征交互和更新图；
[0036]图4为一种基于递归图神经网络解决边缘过平滑的方法的图卷积进行关系推理图；
[0037]图5为一种基于递归图神经网络解决边缘过平滑装置的结构示意图。
[0038]表1为不同模型在全监督屋顶分割中的性能表现。
具体实施方式
[0039]为使本专利技术的目的、技术方案和优点更加清楚，下面对本专利技术实施方式作进一步地详细描述。
[004本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于递归图神经网络解决边缘过平滑的方法，其特征在于，所述方法包括以下步骤：利用图神经网络建模边缘位置特征，采用更新后的超像素特征来增强边缘像素的表示，并将增强后的边缘像素映射回原规则网格中；利用图神经网络建模所述边缘位置特征和像素关系，利用超像素的特征来增强边缘像素的表示，重新计算得到该些位置的分类结果，递归图传播边缘优化直到输出的分割图的分辨率与原始图像相同。2.根据权利要求1所述的一种基于递归图神经网络解决边缘过平滑的方法，其特征在于，所述利用图神经网络建模边缘位置特征，采用更新后的超像素特征来增强边缘像素的表示，并将增强后的边缘像素映射回原规则网格中具体为：将特征张量从规则网格空间投影到交互空间中的特征V，将每个区域表示为一个单独的特征表示，在交互空间中构建一个新的全连接图，节点存储区域的特征表示；在全连接图上使用图卷积操作进行推理，用更新后的超像素特征来增强边缘像素的表示，并将增强后的边缘像素映射回原规则网格中，逐级上采样递归该过程，使得边缘像素的分割结果不断被优化，最终输出全分辨率的分割结果。3.根据权利要求1所述的一种基于递归图神经网络解决边缘过平滑的方法，其特征在于，所述利用超像素的特征来增强边缘像素的表示，重新计算得到该些位置的分类结果具体为：对低分辨率的输出特征进行上采样，选取置信度最低的N个像素，将推理后的区域特征传播至采样的特征上，对特征进行分类。...

【专利技术属性】
技术研发人员：朱鹏飞，贾安，刘满杰，谢津平，徐寅生，詹昊，张云姣，王守志，
申请(专利权)人：中水北方勘测设计研究有限责任公司，
类型：发明
国别省市：