【技术实现步骤摘要】
本专利技术属于计算机数据处理，更具体地，涉及一种基于超像素和图神经网络的可解释性语义分割方法。
技术介绍
1、语义分割是计算机视觉领域中最基础且关键的任务之一，是自动驾驶等应用中底层感知模块的重要组成部分。其核心任务是对图像中的每一个像素进行分类，准确定位物体所在区域，并排除背景干扰。
2、随着深度学习技术的迅猛发展，基于卷积神经网络(cnn)的语义分割技术取得了显著进展。尤其是全卷积网络(fcn)等方法的出现，大大提高了分割的准确性和效率。然而，传统的像素级cnn模型在捕捉图像中物体之间的空间关系方面仍然存在一定的局限性。为了解决这一问题，图神经网络(gnn)被引入，该网络能够处理非欧几里得结构化数据，并在各种图像处理任务中展现出优越的性能。
3、gnn通过提取图像的拓扑结构特征并利用全局上下文进行推理，从而有效提升了分割的准确性和鲁棒性。然而，基于gnn的大多数方法依然是直接预测像素的最终类别，缺乏中间聚合过程，导致分割过程中的错误难以解释。超像素作为一种像素聚集方法，可以在一定程度上解释像素之间的空间关系，但现有方法通常不直接生成语义分割结果。
技术实现思路
1、为解决此类问题，本专利技术提出一种基于超像素和图神经网络的可解释性语义分割方法，从而有效提高语义分割的精度和可解释性。本专利技术解决了以下技术问题：
2、1.针对语义分割过程的透明度和可解释性不足的问题，本专利技术提出增强解释性的分割反馈机制，实现实时监测和调整分割过程中的错误，增
3、2.针对传统语义分割方法难以精确捕捉图像的语义结构，本专利技术使用多级融合的超像素生成与优化技术，通过初级生成和优化调整，精确捕捉图像语义结构，增强像素间的空间关系表示，并保持了图像的细节和边界信息，显著提高了分割精度像素区域。
4、3.针对传统方法在处理复杂场景和变化时灵活性和准确性不足，本专利技术引入了动态图结构构建与自适应拓扑更新，实时构建和调整图结构，使图神经网络能够适应复杂场景和变化，提高分割的灵活性和准确性。
5、本专利技术针对传统像素级别的语义分割方法，提出增强解释性的分割反馈机制，通过逐层可视化像素聚合过程，实现实时检测和调整分割过程中的错误，增强模型的透明度和可解释性，使得结果更易于理解和调整。
6、为实现上述目的，本专利技术提供了如下技术方案：
7、一种基于超像素和图神经网络的可解释性语义分割方法，包括以下步骤：
8、步骤一：将原始图像输入超像素分割网络，构建图结构数据；
9、步骤二：搭建基于图神经网络的多层语义分割模型；
10、步骤三：模型初始化，将图结构数据输入多层语义分割模型；
11、步骤四：图卷积块更新节点特征，预测块预测节点分类；
12、步骤五：图池化块聚合节点信息，构建新的图结构；
13、步骤六：重复步骤四、五，直到获得最终语义分割结果；
14、步骤七：将测试集图结构数据输入模型中，输出多层语义分割结果。
15、本技术方案进一步的优化，所述步骤一包括，
16、将图片输入到超像素分割网络中，使用多级融合的超像素生成与优化技术对图像进行多尺度分割，获得多尺度超像素表示；将每个超像素视为一个节点，在进行超像素分割的同时，提取每个像素的多维信息，将其与原始图像的平均颜色和位置信息结合，形成丰富的超像素特征，计算公式如下：
17、
18、其中，mj，cj，pj分别表示第j个超像素的多维特征信息、色彩信息和位置信息，nj表示第j个超像素包含的像素的数量，si表示第j个超像素中的第i个像素的多维特征信息，ri，gi，bi表示第j个超像素中的第i个像素的色彩信息，xi，yi表示第j个超像素中的第i个像素的位置信息；根据超像素的空间关系确定节点之间的连接，生成原始图像的图结构数据。
19、本技术方案进一步的优化，所述图结构数据的生成包括：将原始图片的超像素分割结果与真实标签图片重叠，对真实标签图片进行同样的超像素分割，根据同一个分割区域内大多数像素的标签类别决定该超像素的标签类别，获得超像素级别的真实标签，标签类别的计算公式如下：
20、
21、其中，lsuperpixel为超像素的标签，r为超像素区域内的像素集合，li为像素i的真实标签，k是可能的标签类别，δ是克罗内克函数，对于两个变量i和j，克罗内克函数δij定义如下：
22、
23、这意味着，当i和j相等时，δij等于1，否则等于0；
24、此外，对原始图片进行多次下采样，对下采样图片进行同样的超像素分割。将下采样图片的超像素分割图片恢复到原始图片尺寸后，分别将每张下采样图片的超像素分割图片与原始图片的超像素图片重叠，基于重叠区域建立原始图像每个超像素与下采样图像超像素的对应关系，生成原始超像素的各级标签，并利用这些标签计算交叉熵损失函数，从而约束生成中间语义层，交叉熵损失函数的计算公式如下：
25、
26、其中，c是类别总数，yi是标签的one-hot编码向量，第i个元素yi表示样本是否属于第i类，取值为0或1，pi为模型预测的样本属于第i类的概率，取值范围为0到1，且所有类别的概率之和为1；
27、将前面获得的所有信息，包括超像素特征、真实标签、各级下采样标签作为节点特征一起存储到图结构数据中。
28、本技术方案进一步的优化，所述图神经网络模型包含多个图卷积块、图池化块和预测块，其中每个图卷积块由图卷积层和激活函数组成，每个图池化块由图池化层和激活函数组成，每个预测块由图反池化层、全连接层和激活函数组成。
29、本技术方案进一步的优化，所述步骤三包括：将处理好的图结构数据输入到搭建好的图神经网络模型中进行语义分割训练，得到模型在训练集和验证集上的准确率和交并比，选择验证集上交并比最高的模型参数作为预训练模型。
30、本技术方案进一步的优化，所述步骤四包括：图结构数据传入图卷积块后，图卷积层通过聚合邻居节点的信息来更新每个节点的特征；将图卷积层输出的特征经过relu激活函数进行非线性变换，再经过dropout层，以一定概率随机丢弃部分节点特征，防止模型过拟合；经过上述操作后，使用图反池化层将新的图结构恢复成原始图结构，然后再通过全连接层将节点特征转换为类别预测向量；使用softmax函数将全连接层的输出转换为类别概率分布，选择最大概率对应类别作为节点的预测类别，获得语义分割结果。
31、本技术方案进一步的优化，所述步骤五包括：图池化块根据前面一层的预测结果聚合属于同一类别的节点来简化图结构，减少节点数量和计算复杂度；将池化后的特征与池化前的特征进行融合，通过加权求和操作，生成新的节点特征；根据新的节点特征和空间关系，重新构建图结构，更新节点之间的连接关系；并使用动态图构建技术，自适应地调整图的本文档来自技高网...
【技术保护点】
1.一种基于超像素和图神经网络的可解释性语义分割方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于超像素和图神经网络的可解释性语义分割方法，其特征在于，
3.如权利要求2所述的基于超像素和图神经网络的可解释性语义分割方法，其特征在于，所述图结构数据的生成包括：将原始图片的超像素分割结果与真实标签图片重叠，对真实标签图片进行同样的超像素分割，根据同一个分割区域内大多数像素的标签类别决定该超像素的标签类别，获得超像素级别的真实标签，标签类别的计算公式如下：
4.如权利要求1所述的基于超像素和图神经网络的可解释性语义分割方法，其特征在于，所述图神经网络模型包含多个图卷积块、图池化块和预测块，其中每个图卷积块由图卷积层和激活函数组成，每个图池化块由图池化层和激活函数组成，每个预测块由图反池化层、全连接层和激活函数组成。
5.如权利要求1所述的基于超像素和图神经网络的可解释性语义分割方法，其特征在于，所述步骤三包括：将处理好的图结构数据输入到搭建好的图神经网络模型中进行语义分割训练，得到模型在训练集和验证集上的准确率和交并比，选择验
6.如权利要求1所述的基于超像素和图神经网络的可解释性语义分割方法，其特征在于，所述步骤四包括：图结构数据传入图卷积块后，图卷积层通过聚合邻居节点的信息来更新每个节点的特征；将图卷积层输出的特征经过ReLU激活函数进行非线性变换，再经过dropout层，以一定概率随机丢弃部分节点特征，防止模型过拟合；经过上述操作后，使用图反池化层将新的图结构恢复成原始图结构，然后再通过全连接层将节点特征转换为类别预测向量；使用Softmax函数将全连接层的输出转换为类别概率分布，选择最大概率对应类别作为节点的预测类别，获得语义分割结果。
7.如权利要求1所述的基于超像素和图神经网络的可解释性语义分割方法，其特征在于，所述步骤五包括：图池化块根据前面一层的预测结果聚合属于同一类别的节点来简化图结构，减少节点数量和计算复杂度；将池化后的特征与池化前的特征进行融合，通过加权求和操作，生成新的节点特征；根据新的节点特征和空间关系，重新构建图结构，更新节点之间的连接关系；并使用动态图构建技术，自适应地调整图的拓扑结构，将更新后的节点特征传入下一个图卷积块，重复图卷积和图池化的过程，逐层提取和聚合节点特征，直至完成所有层的语义分割。
8.如权利要求1所述的基于超像素和图神经网络的可解释性语义分割方法，其特征在于，所述步骤六包括：分别使用多层聚合标签和真实标签进行多次交叉熵损失函数计算来约束训练过程，损失函数的计算公式如下：
...【技术特征摘要】
1.一种基于超像素和图神经网络的可解释性语义分割方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于超像素和图神经网络的可解释性语义分割方法，其特征在于，
3.如权利要求2所述的基于超像素和图神经网络的可解释性语义分割方法，其特征在于，所述图结构数据的生成包括：将原始图片的超像素分割结果与真实标签图片重叠，对真实标签图片进行同样的超像素分割，根据同一个分割区域内大多数像素的标签类别决定该超像素的标签类别，获得超像素级别的真实标签，标签类别的计算公式如下：
4.如权利要求1所述的基于超像素和图神经网络的可解释性语义分割方法，其特征在于，所述图神经网络模型包含多个图卷积块、图池化块和预测块，其中每个图卷积块由图卷积层和激活函数组成，每个图池化块由图池化层和激活函数组成，每个预测块由图反池化层、全连接层和激活函数组成。
5.如权利要求1所述的基于超像素和图神经网络的可解释性语义分割方法，其特征在于，所述步骤三包括：将处理好的图结构数据输入到搭建好的图神经网络模型中进行语义分割训练，得到模型在训练集和验证集上的准确率和交并比，选择验证集上交并比最高的模型参数作为预训练模型。
6.如权利要求1所述的基于超像素和图神经网络的可解释性语义分割方法，其特征在于，所述步骤四包括...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。