KNN动态自适应的双图卷积图像分割方法和系统技术方案

本发明专利技术公开了KNN动态自适应的双图卷积图像分割方法，包括以下步骤：S1：将原始图像中的像素映射为图空间的节点；S2：建立所述节点和对应于所述节点的所述邻居节点的连接关系生成图结构；S3：在所述图结构中更新每个所述节点的特征形成全局推理数据；S4：将所述全局推理数据中每个节点的特征反映射至原始图像中的像素描述完成推理。本发明专利技术还公开了KNN动态自适应的双图卷积图像分割系统。本发明专利技术KNN动态自适应的双图卷积图像分割方法和系统，实现了对图像语义分割的推理，极大的加强了特征分配时全局信息和长远距离信息的上下文语义分配，使得分配的特征直接关系紧密，提高信息质量去除信息冗余，提高了图像语义分割的精度。

【技术实现步骤摘要】
KNN动态自适应的双图卷积图像分割方法和系统
本专利技术涉及图像处理、计算机视觉技术，具体涉及KNN动态自适应的双图卷积图像分割方法和系统。
技术介绍
基于图像语义分割在智能交通、城市规划、自动驾驶、应急救援等智慧城市建设多方面有广泛的应用场景。区别于图像的识别和分类技术，图像语义分割属于多元语义分割问题，需要将每个属于分割对象的像素标识分类。根据分割对象的不同，我们需要获得全局信息和上下文语义关系，并做推理学习。如果可以根据样本数据动态自适应的学习特征，将避免信息冗余提高效率和语义分割精度。全局空间信息相对局部空间信息，学习到的特征更加全面丰富，效果更好。当然，有学者采用注意力机制实现全局信息的学习，效果也较好。但以注意力机制为代表的全局空间信息学习的语义分割方法也存在两点弊端：(1)信息冗余；(2)全局推理能力较弱。为此，我们提出本专利基于KNN和图卷积为基础技术的解决方法。本专利技术普遍适用于图像语义分割，同时保护将本创新结构用于任何主干网络的任何部分。为进一步说明上述问题，我们以图像分割领域中较为困难的对象提取为例，即描述基于遥感影像的道路对象提取，说明本专利在全局信息学习、推理能力、样本信息动态自适应方面的能力做进一步说明。基于遥感影像的道路提取是一项具有挑战性的任务。不像道路骨架信息(中心线)的提取，道路区域提取属于二元语义分割问题，需要将每个属于道路的像素标识为道路，剩余的像素标识为背景。相比其他常见的语义分割对象，道路语义分割的困难性来源于道路的独特性，具体的独特因素表现在：(1)道路细长，虽占据整张影像比例偏小，但往往整体跨度覆盖整张影像；(2)几何特征与河流、铁路、沟壑等相似，专业人员常难以判别；(3)纹理特征很容易和周边背景环境混淆；(4)因树木、阴影、建筑物等遮挡造成提取的道路不连通；(5)拓扑关系复杂，尤其在多条道路相互交叉的位置容易导致提取的道路不连通。这些因素使得遥感影像道路提取变得更加困难。假设动态的充分考虑长距离、全局信息将有助于道路的提取效果。
技术实现思路
本专利技术所要解决的技术问题是现有的语义分割信息质量和信息去冗余问题，同时提升网络的推理能力，学习推理上下文语义特征和长远距离语义相关信息，目的在于提供KNN动态自适应的双图卷积图像分割方法和系统，解决上述问题。本专利技术通过下述技术方案实现：KNN动态自适应的双图卷积图像分割方法，包括以下步骤：S1：将原始图像中的像素映射为图空间的节点，所述节点表示原始图像中一片区域中的一簇像素；S2：根据所述节点之间的空间距离动态自适应地获取每个所述节点对应的邻居节点，并建立所述节点和对应于所述节点的所述邻居节点的连接关系生成图结构；S3：在所述图结构中将沿着确定的边进行图卷积运算完成信息传播更新每个所述节点的特征形成全局推理数据；S4：将所述全局推理数据中每个节点的特征反映射至原始图像中的像素描述完成推理。本专利技术应用时，目标是提高图像语义分割精度，尽量降低信息的冗余度，并尽量减少模型参数量以支持和适应图像提取的广泛应用。因此，本申请提出了一个新的全局推理的图像提取网络以解决上述问题，提高图像提取精度。在本专利技术中采用了双动态图卷积网络进行图像处理，第一步是进行映射，即将像素映射为节点，每个节点代表一簇像素，对应原始图片中的区域；第二步是推理，由于在本申请中创造性的讲像素映射成了节点，而节点可以组成图结构，由于在图结构中节点和节点之间的关系是清晰准确的，所以可以容易的实现推理过程，不但可以提高图像处理精度，也可以提高图像处理效率；在推理过程中，基于节点的空间距离，使用KNN算法找出每个节点的邻居节点，并建立连接关系，从而确定图结构，本专利技术构建的KNN图可以更有效的捕获长距离、相关性更强的语义信息。基于KNN图使用一般的图卷积沿着确定的边进行信息传播，更新各节点特征，从而实现全局推理；第三步是进行反映射，将推理后的节点再反映射回像素描述完成图像推理过程。本专利技术通过设置上述步骤，实现了对图像语义分割的推理，极大的加强了特征分配时上下文语义分配，使得分配的特征直接关系紧密，从而提高了图像语义分割的精度。进一步的，步骤S1包括以下子步骤：S11：建立映射函数Fprojection(X)，使得V＝Fprojection(X)，其中X为特征空间RC×H×W中的像素，C为特征通道数，H和W均为输入特征图的空间维数，V为所述图空间的节点且V∈RN×S，N为节点数，S为节点的特征维度；所述Fprojection(X)＝φ(X)·θ(X)T其中θ(X)为转换函数，φ(X)为系数函数；S12：通过所述转换函数θ(X)将所述像素的特征维度转换为所述节点的特征维度S，其中所述像素的特征维度等于所述特征通道数C，Wprojection∈RS×C是一组可学习的转换矩阵，随网络一起训练；θ(X)＝WprojectionXS13：通过所述系数函数φ(X)获取将像素转为节点的注意力系数Eprojection(ij)；步骤S13包括以下子步骤：使用可训练参数We对像素X进行变换，并将变换后的像素X在M维度进行归一化处理生成节点的注意力系数Eprojection(ij)，M＝H×W；Eprojection＝φ(X)式中We为可训练参数。进一步的，步骤S2包括以下子步骤：构建N×N的邻接矩阵A获得图结构中边的集合E；所述邻接矩阵A的元素为1或0，当元素为1时表示两个节点连接，当元素为0时表示两个节点不连接，且sum(Ai)＝k，其中k为关联节点数量，Ai为邻接矩阵A中一个向量；通过所述邻接矩阵A获取每个所述节点Vi,对应的k个邻居节点Vj，j∈Ωk，Ωk为任意一个节点k个临近节点的集合；生成图结构G＝<V,E>，利用KNN动态自适应地求解A。进一步的，步骤S3包括以下子步骤：利用图卷积，对关联节点的特征进行聚合进行全局特征推理Z＝FKNN_Dual_GCN(V)＝AVW；对任意节点Vi,通过AV可以将其邻居节点Vj的特征进行聚合，实现信息传播，更新节点特征，即Zi＝aggregate(Vj)；对聚合后的特征求平均，再加上节点自身特征防止过分考虑邻居(关联)特征而忽略了节点本身特征；W是一个可学习的参数矩阵，采用1D卷积实现W操作，用于对节点特征进行线性变换。进一步的，所述全局推理包括以下步骤：将所述图推理部分分为第一分支和第二分支，所述第一分支为对节点维度进行全局推理，所述第二分支为对节点特征维度进行全局推理；将所述第一分支通过KNN动态图卷积推理，动态自适应地聚合所述邻居节点的特征，捕获长距离依赖关系生成节点推理数据；将所述第二分支通过KNN动态图卷积推理，动态自适应地生成节点特征推理数据；将所述节点推理数据和节点特征推理数据进行融合作为所述全局推理数据。本专利技术应用时，第一分支用基本的KNN动态图卷积进行推理，通过聚合邻居节点的特征，捕获长距离依赖关系，使每个节点本文档来自技高网...

【技术保护点】
1.KNN动态自适应的双图卷积图像分割方法，其特征在于，包括以下步骤：/nS1：将原始图像中的像素映射为图空间的节点，所述节点表示原始图像中一片区域中的一簇像素；/nS2：根据所述节点之间的空间距离动态自适应地获取每个所述节点对应的邻居节点，并建立所述节点和对应于所述节点的所述邻居节点的连接关系生成图结构；/nS3：在所述图结构中将沿着确定的边进行图卷积运算完成信息传播更新每个所述节点的特征形成全局推理数据；/nS4：将所述全局推理数据中每个节点的特征反映射至原始图像中的像素描述完成推理。/n

【技术特征摘要】
1.KNN动态自适应的双图卷积图像分割方法，其特征在于，包括以下步骤：
S1：将原始图像中的像素映射为图空间的节点，所述节点表示原始图像中一片区域中的一簇像素；
S2：根据所述节点之间的空间距离动态自适应地获取每个所述节点对应的邻居节点，并建立所述节点和对应于所述节点的所述邻居节点的连接关系生成图结构；
S3：在所述图结构中将沿着确定的边进行图卷积运算完成信息传播更新每个所述节点的特征形成全局推理数据；
S4：将所述全局推理数据中每个节点的特征反映射至原始图像中的像素描述完成推理。


2.根据权利要求1所述的KNN动态自适应的双图卷积图像分割方法，其特征在于，步骤S1包括以下子步骤：
S11：建立映射函数Fprojection(X)，使得V＝Fprojectton(X)，其中X为特征空间RC×H×W中的像素，C为特征通道数，H和W均为输入特征图的空间维数，V为所述图空间的节点且V∈RN×S，N为节点数，S为节点的特征维度；
所述Fprojection(X)＝φ(X)·θ(X)T其中θ(X)为转换函数，φ(X)为系数函数；
S12：通过所述转换函数θ(X)将所述像素的特征维度转换为所述节点的特征维度S，其中所述像素的特征维度等于所述特征通道数C，Wprojection∈RS×C是一组可学习的转换矩阵，随网络一起训练；
θ(X)＝WprojectionX
S13：通过所述系数函数φ(X)获取将像素转为节点的注意力系数Eprojection(ij)；
步骤S13包括以下子步骤：使用可训练参数We对像素X进行变换，并将变换后的像素X在M维度进行归一化处理生成节点的注意力系数Eprojection(ij)，M＝H×W；
Eprojection＝φ(X)



式中We为可训练参数。


3.根据权利要求2所述的KNN动态自适应的双图卷积图像分割方法，其特征在于，步骤S2包括以下子步骤：
构建N×N的邻接矩阵A获得图结构中边的集合E；所述邻接矩阵A的元素为1或0，当元素为1时表示两个节点连接，当元素为0时表示两个节点不连接，且sum(Ai)＝k，其中k为关联节点数量，Ai为邻接矩阵A中一个向量；
通过所述邻接矩阵A获取每个所述节点Vi，对应的k个邻居节点Vj，j∈Ωk，Ωk为任意一个节点k个临近节点的集合；
生成图结构G＝<V，E>，利用KNN动态自适应地求解A。


4.根据权利要求3所述的KNN动态自适应的双图卷积图像分割方法，其特征在于，步骤S3包括以下子步骤：
利用图卷积，对关联节点的特征进行聚合进行全局特征推理Z＝FKNN_Dual_GCN(V)＝AVW；
对任意节点Vi，通过AV可以将其邻居节点Vj的特征进行聚合，实现信息传播，更新节点特征，即Zi＝aggregate(Vj)；
对聚合后的特征求平均，再加上节点自身特征防止过分考虑邻居(关联)特征而忽略了节点本身特征；W是一个可学习的参数矩阵，采用1D卷积实现W操作，用于对节点特征进行线性变换。


5.根据权利要求4所述的KNN动态自适应的双图卷积图像分割方法，其特征在于，所述全局推理包括以下步骤：
将所述图推理部分分为第一分支和第二分支，所述第一分支为对节点维度进行全局推理，所述第二分支为对节点特征维度进行全局推理；
将所述第一分支通过KNN动态图卷积推理，动态自适应地聚合所述邻居节点的特征，捕获长距离依赖关系生成节点推理数据；
将所述第二分支通过KNN动态图卷积推理，动态自适应地生成节点特征推理数据；
将所述节点推理数据和节点特征推理数据进行融合作为所述全局推理数据。


6.根据权利要求5所述的KNN动态自适应的双图卷积图像分割方法，其特征在于，步骤S4包括以下子步骤：
根据下式进...

【专利技术属性】
技术研发人员：解岩，苗放，周凯，彭京，钟波，罗曦，刘力，
申请(专利权)人：成都大成均图科技有限公司，
类型：发明
国别省市：四川;51