基于图神经网络的全景分割方法、系统、设备及存储介质技术方案

本发明专利技术公开了一种基于图神经网络的全景分割方法，包括：从图片中提取多个目标特征；通过实例分割头部网络以得到图片的前景类别概率、背景类别概率及掩膜结果，通过语义分割头部网络以得到图片的初步语义分割结果；通过前景类别概率对新前景图进行处理以生成实例分类结果，并根据掩膜结果从实例分类结果中提取目标实例分割掩膜；通过背景类别概率及初步语义分割结果对新背景图进行处理以生成目标语义分割结果；采用启发式算法对目标实例分割掩膜及目标语义分割结果进行融合，生成全景分割结果。本发明专利技术还公开了一种基于图神经网络的全景分割系统、计算机设备及计算机可读存储介质。采用本发明专利技术，可利用物体之间的相互关系优化图片的全景分割效果。

【技术实现步骤摘要】
基于图神经网络的全景分割方法、系统、设备及存储介质
本专利技术涉及图像数据处理
，尤其涉及一种基于图神经网络的全景分割方法、基于图神经网络的全景分割系统、计算机设备及计算机可读存储介质。
技术介绍
图像分割（imagesegmentation）技术是计算机视觉领域的研究热点，它在人们生活中的方方面面都有着非常广泛的应用，如自动驾驶领域的地图构建、医学影像领域的自动化诊断、日常生活中的虚拟试穿等。图像分割技术分为语义分割（SemanticSegmentation）、实例分割（InstanceSegmentation）及全景分割（PanopticSegmentation）。其中：语义分割要求对图像中的每一个像素都赋予一个类别标签，但是不对相同物体的不同实例进行区分。比如，如果一个像素被标记为红色，那就代表这个像素所在的位置是一个人，但是如果有两个都是红色的像素，则无法判断它们是属于同一个人还是不同的人，也就是说语义分割只能判断类别，无法区分个体。实例分割则要求识别出图像中的每个物体以及区分物体实例，而忽略背景像素的分割。也就是说，实例分割不需要对每个像素进行标记，它只需要找到感兴趣物体的边缘轮廓就行。全景分割是语义分割和实例分割的结合，要求对图像中的每个像素都赋予类别，并且对属于可数物体的像素，还要区分物体实例。但是，现有的全景分割技术没有考虑图片中前景和前景、背景和背景、前景和背景之间的关系，仅仅是两个独立的任务，没有像人类一样从物体关系的层面来进行推断。比如，一般来说，在湖上的物体更可能是一艘船而不是一辆车；如果背景是天空，那么前景物体更可能是小鸟而不是鱼；人牵着的更可能是一只狗而不是一匹狼。因此，现有的全景分割技术预测效果并不好，经常有误判的情况发生。
技术实现思路
本专利技术所要解决的技术问题在于，提供一种基于图神经网络的全景分割方法、系统、计算机设备及计算机可读存储介质，可将全景分割网络应用于图片处理中，使预测更准确，网络解释性更强。为了解决上述技术问题，本专利技术提供了一种基于图神经网络的全景分割方法，包括：通过ResNet-50网络及FPN网络对图片进行特征提取，以提取多个目标特征；通过实例分割头部网络并根据所述目标特征以得到图片的前景类别概率、背景类别概率及掩膜结果，通过语义分割头部网络并根据所述目标特征以得到图片的初步语义分割结果；通过前景图神经网络对原始前景图进行处理以生成新前景图，通过所述前景类别概率对所述新前景图进行处理以生成实例分类结果，并根据所述掩膜结果从所述实例分类结果中提取目标实例分割掩膜；通过背景图神经网络对原始背景图进行处理以生成新背景图，通过所述背景类别概率及初步语义分割结果对所述新背景图进行处理以生成目标语义分割结果；采用启发式算法对所述目标实例分割掩膜及目标语义分割结果进行融合，生成全景分割结果。作为上述方案的改进，所述通过ResNet-50网络及FPN网络对图片进行特征提取，以提取多个目标特征的步骤包括：通过ResNet-50网络对图片进行特征提取，以提取初步特征；通过FPN网络对所述初步特征进行特征提取，以提取多个目标特征。作为上述方案的改进，所述通过实例分割头部网络并根据目标特征以得到图片的前景类别概率、背景类别概率及掩膜结果的步骤包括：通过RPN网络对每一目标特征分别进行处理，以生成多个候选区域；对每一候选区域分别进行池化处理，以生成候选区域特征；通过全连接层对每一候选区域特征分别进行处理，以生成初步特征图；通过全连接层对每一初步特征图进行处理，以生成前景类别概率；通过全连接层对每一初步特征图进行处理，以生成背景类别概率；对每一候选区域特征分别进行卷积处理，以生成每一类别的掩模结果。作为上述方案的改进，所述通过语义分割头部网络并根据目标特征以得到图片的初步语义分割结果的步骤包括：对每一目标特征分别进行上采样处理；将所有上采样结果相加，以生成特征；将所述特征进行上采样处理，以生成语义分割特征；将所述特征进行卷积处理；将卷积结果进行上采样处理，以生成初步语义分割结果。作为上述方案的改进，所述通过前景图神经网络对原始前景图进行处理以生成新前景图，通过前景类别概率对新前景图进行处理以生成实例分类结果，并根据掩膜结果从实例分类结果中提取目标实例分割掩膜的步骤包括：通过前景图神经网络对原始前景图进行节点特征的传播及节点表示的更新，以生成新前景图；对所述前景类别概率中的每一行向量分别进行归一化处理，将每一归一化结果分别作为实例注意力系数，将每一实例注意力系数与新前景图分别相乘以生成加权结果，将每一行的加权结果相加并求均值以生成实例一维向量；将所述实例一维向量与初步特征图中对应的行向量进行拼接，以生成新实例特征图；通过全连接层对所述新实例特征图进行处理，以生成实例分类结果；提取实例分类结果中每一行的概率最大值，根据所述概率最大值提取候选区域对应的类别，并根据所述类别提取对应的掩模结果以得到目标实例分割掩膜。作为上述方案的改进，所述通过背景图神经网络对原始背景图进行处理以生成新背景图，通过背景类别概率及初步语义分割结果对新背景图进行处理以生成目标语义分割结果的步骤包括：通过背景图神经网络对原始背景图进行节点特征的传播及节点表示的更新，以生成新背景图；对所述背景类别概率中的每一行向量分别进行归一化处理，将所有归一化结果相加以作为第一注意力系数；对所述初步语义分割结果中每一像素所对应的向量分别进行归一化处理，将每一归一化结果分别作为第二注意力系数；将每一第二注意力系数与第一注意力系数分别相加并求均值以作为语义注意力系数，将每一语义注意力系数与新背景图分别相乘以生成加权结果，将每一行的加权结果相加并求均值以生成语义一维向量；将每一语义一维向量与所述语义分割特征中对应像素的向量分别进行拼接，以生成新语义特征图；将所述新语义特征图输入卷积层，以生成目标语义分割结果。作为上述方案的改进，，所述采用启发式算法对目标实例分割掩膜及目标语义分割结果进行融合，生成全景分割结果的步骤包括：判断图片中的像素在所述目标实例分割掩膜中是否存在对应的标签；判断为是时，则将所述目标实例分割掩膜中对应的标签赋值给所述像素；判断为否是，则将所述目标语义分割结果中对应的标签赋值给所述像素。相应地，本专利技术还提供了一种基于图神经网络的全景分割系统，包括：特征提取单元，用于通过ResNet-50网络及FPN网络对图片进行特征提取，以提取多个目标特征；初步分割单元，用于通过实例分割头部网络并根据所述目标特征以得到图片的前景类别概率、背景类别概率及掩膜结果，通过语义分割头部网络并根据所述目标特征以得到图片的初步语义分割结果；实例分割单元，用于通过前景图神经网络对原始前景图进行处理以生成新前景图，通过所述前景类别概率对所述新前景图进行处理以生成实例分类结果，并根据所述掩膜结果从所述实例分类结果中提取目标实例分割掩膜；语义分割单元，用于通过背景图神经网络对原始背景图进行处理以生成新背景图，通过所述背景类别概率及初步语义分割结果对所述新背景图进行处理以生成目标语义分本文档来自技高网...

【技术保护点】
1.一种基于图神经网络的全景分割方法，其特征在于，包括：/n通过ResNet-50网络及FPN网络对图片进行特征提取，以提取多个目标特征；/n通过实例分割头部网络并根据所述目标特征以得到图片的前景类别概率、背景类别概率及掩膜结果，通过语义分割头部网络并根据所述目标特征以得到图片的初步语义分割结果；/n通过前景图神经网络对原始前景图进行处理以生成新前景图，通过所述前景类别概率对所述新前景图进行处理以生成实例分类结果，并根据所述掩膜结果从所述实例分类结果中提取目标实例分割掩膜；/n通过背景图神经网络对原始背景图进行处理以生成新背景图，通过所述背景类别概率及初步语义分割结果对所述新背景图进行处理以生成目标语义分割结果；/n采用启发式算法对所述目标实例分割掩膜及目标语义分割结果进行融合，生成全景分割结果。/n

【技术特征摘要】
1.一种基于图神经网络的全景分割方法，其特征在于，包括：
通过ResNet-50网络及FPN网络对图片进行特征提取，以提取多个目标特征；
通过实例分割头部网络并根据所述目标特征以得到图片的前景类别概率、背景类别概率及掩膜结果，通过语义分割头部网络并根据所述目标特征以得到图片的初步语义分割结果；
通过前景图神经网络对原始前景图进行处理以生成新前景图，通过所述前景类别概率对所述新前景图进行处理以生成实例分类结果，并根据所述掩膜结果从所述实例分类结果中提取目标实例分割掩膜；
通过背景图神经网络对原始背景图进行处理以生成新背景图，通过所述背景类别概率及初步语义分割结果对所述新背景图进行处理以生成目标语义分割结果；
采用启发式算法对所述目标实例分割掩膜及目标语义分割结果进行融合，生成全景分割结果。


2.如权利要求1所述的基于图神经网络的全景分割方法，其特征在于，所述通过ResNet-50网络及FPN网络对图片进行特征提取，以提取多个目标特征的步骤包括：
通过ResNet-50网络对图片进行特征提取，以提取初步特征；
通过FPN网络对所述初步特征进行特征提取，以提取多个目标特征。


3.如权利要求1所述的基于图神经网络的全景分割方法，其特征在于，所述通过实例分割头部网络并根据目标特征以得到图片的前景类别概率、背景类别概率及掩膜结果的步骤包括：
通过RPN网络对每一目标特征分别进行处理，以生成多个候选区域；
对每一候选区域分别进行池化处理，以生成候选区域特征；
通过全连接层对每一候选区域特征分别进行处理，以生成初步特征图；
通过全连接层对每一初步特征图进行处理，以生成前景类别概率；
通过全连接层对每一初步特征图进行处理，以生成背景类别概率；
对每一候选区域特征分别进行卷积处理，以生成每一类别的掩模结果。


4.如权利要求3所述的基于图神经网络的全景分割方法，其特征在于，所述通过语义分割头部网络并根据目标特征以得到图片的初步语义分割结果的步骤包括：
对每一目标特征分别进行上采样处理；
将所有上采样结果相加，以生成特征；
将所述特征进行上采样处理，以生成语义分割特征；
将所述特征进行卷积处理；
将卷积结果进行上采样处理，以生成初步语义分割结果。


5.如权利要求3所述的基于图神经网络的全景分割方法，其特征在于，所述通过前景图神经网络对原始前景图进行处理以生成新前景图，通过前景类别概率对新前景图进行处理以生成实例分类结果，并根据掩膜结果从实例分类结果中提取目标实例分割掩膜的步骤包括：
通过前景图神经网络对原始前景图进行节点特征的传播及节点表示的更新，以生成新前景图；
对所述前景类别概率中的每一行向量分别进行归一化处理，将每一归一化结果分别作为实例注意力系数，将每一实例注意力系数与新前景图分别相乘以生成加权结果，将每一行的加权结果相加并求均值以生成实例一维向量；
将所述实例一维向量与初步特征图中对应的行向量进行拼接，以生成新实例特征...

【专利技术属性】
技术研发人员：邓夏君，王若梅，周凡，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东;44