一种基于图结构神经网络的语义分割方法及装置制造方法及图纸

本发明专利技术公开了一种基于图结构神经网络的语义分割方法及装置。提出了类语义增强模块(CSE)，该模块利用图模型在通道之间创建图结构，并进一步输出“通道

【技术实现步骤摘要】
一种基于图结构神经网络的语义分割方法及装置


[0001]本专利技术涉及深度学习、语义分割等领域，尤其涉及一种基于图结构神经网络的语义分割方法及装置。

技术介绍

[0002]语义分割是计算机视觉中一项具有挑战性的基本任务，旨在理解和分割场景。在现实世界中，场景中的对象不是独立的，而是相互作用以形成复杂的场景。准确捕捉对象之间的相互依赖关系有助于理解场景语义，从而完成场景中的像素级分割。
[0003]自从全卷积网络
[1]出现(Fully convolutional networks，FCN)以来，基于FCN的方法一直是主要的解决方案。最近几项采用多尺度策略的工作成功地利用了对象上下文信息。DeepLab系列方法
[2][3][4]不断探索具有不同空洞率的卷积模块，以扩大感受野并增强对象上下文特征。PSPNet
[5]利用全局平均池来学习全局上下文。作为上述方法的扩展和延伸，一些工作
[6][7][8][9][10]通过在多个尺度上聚合特征图，得到了范围更广的语义信息。尽管多尺度方法拓宽了感受野，但其方法使得本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图结构神经网络的语义分割方法，其特征在于，该方法包括以下步骤：(1)获取待分割的图像，输入残差网络进行特征提取；并将提取的特征图通过卷积网络生出初步分割结果；(2)将初步分割结果输入若干个依次连接的类语义增强网络逐步细化分割结果，所述类语义增强网络包括类语义增强模块和融合物体先验信息的全卷积网络层；所述类语义增强模块将上一个类语义增强网络的生成的特征图及分割结果作为输入，输出新特征图和联合概率密度矩阵到融合物体先验信息的全卷积网络层中，进而输出分割结果；(3)将最后一个类语义增强网络细化后的分割结果恢复为输入图像的原始分辨率，并取置信度最高的类别作为每个像素的最终类别，得到语义分割后的图像。2.根据权利要求1所述的一种基于图结构神经网络的语义分割方法，其特征在于，所述类语义增强网络中的类语义增强模块将上一类语义增强网络的特征图和分割结果转换成矩阵后相乘，得到物体
‑
通道关系矩阵，利用k个可学习参数对关系矩阵进行线性映射，并对映射后的每维向量两两计算余弦相似度，形成k个邻接矩阵A
k
(k＝1，2，3)，A
k
中的元素A
i，j
的值能够表征特征图通道i和通道j间的相关程度，其值越大，两通道关联性越紧密；利用图神经网络在关联紧密的维度上交互、聚合类语义信息，生成联合概率密度矩阵；关系矩阵和联合概率密度矩阵逐元素相乘后再与分割结果转换的矩阵相乘得到重建后的特征图，与上一个类语义增强网络的生成的特征图融合后，输出融合后的特征图。3.根据权利要求2所述的一种基于图结构神经网络的语义分割方法，其特征在于，生成联合概率密度矩阵的具体过程如下：定义为P∈R
C*N
，其中R
C*N
为C*N维实向量空间，其数学表达式如下：P＝σ(||A
k
Rψ

【专利技术属性】
技术研发人员：胡浩基，白健弘，王化良，龙永文，欧阳涛，黄源甲，
申请(专利权)人：佛山市顺德区美的电热电器制造有限公司，
类型：发明
国别省市：