图像的语义分割方法、装置、电子设备及介质制造方法及图纸

本申请公开了一种图像的语义分割方法、装置、电子设备及介质，涉及计算机视觉、深度学习、云计算技术领域。具体实现方案为：通过对输入图像进行特征提取，以生成多个不同粒度的图特征，进而分别对多个不同粒度的图特征进行图非局部处理，以生成多个不同粒度的增强图特征，大量的冗余计算被缩减，极大地减少了计算的复杂度，进一步地，对多个不同粒度的增强图特征进行交叉图非局部处理，以生成多个粒度的上下文推理信息，根据多个粒度的上下文推理信息生成级联上下文推理信息，进而根据级联上下文推理信息对图像进行语义分割，有效地提升了基于深度学习的语义分割系统的特征学习能力和分割精度。

【技术实现步骤摘要】
图像的语义分割方法、装置、电子设备及介质
本申请涉及图像处理
，具体涉及计算机视觉、深度学习、云计算
，尤其涉及一种图像的语义分割方法、装置、电子设备及介质。
技术介绍
目前，计算机视觉与机器学习研究者对图像语义分割问题越来越感兴趣，越来越多的应用场景需要精确且高效的分割技术，如自动驾驶、室内导航、甚至虚拟现实与增强现实等。相关技术中，图像语义分割系统大都采用上下文建模的方法进行语义分割，例如，利用条件随机场(ConditionalRandomFields)、多维LSTM(multi-dimensionalLongShort-TermMemory)、膨胀卷积(DilatedConv)和特征金字塔池化(Pyramidpooling)来捕捉上下文依赖，在坐标系空间中利用非局部模块(Non-localBlock)来建模上下文依赖。但是，现有的语义分割方法存在计算复杂度大、语义分割性能低等缺点。
技术实现思路
本申请提供了一种图像的语义分割方法、装置、电子设备以及介质。本申请第一方面实施例提供了一种图像的语义分割方法，包括：对输入图像进行特征提取，以生成多个不同粒度的图特征；分别对所述多个不同粒度的图特征进行图非局部处理，以生成多个不同粒度的增强图特征；对所述多个不同粒度的增强图特征进行通过交叉图非局部处理，以生成多个粒度的上下文推理信息；根据所述多个粒度的上下文推理信息生成级联上下文推理信息；以及根据所述级联上下文推理信息对所述输入图像进行语义分割，以得到图像的分割结果。本申请第二方面实施例提供了一种图像的语义分割装置，包括：提取模块，用于对输入图像进行特征提取，以生成多个不同粒度的图特征；第一处理模块，用于分别对所述多个不同粒度的图特征进行图非局部处理，以生成多个不同粒度的增强图特征；第二处理模块，用于对所述多个不同粒度的增强图特征进行通过交叉图非局部处理，以生成多个粒度的上下文推理信息；生成模块，用于根据所述多个粒度的上下文推理信息生成级联上下文推理信息；以及分割模块，用于根据所述级联上下文推理信息对所述输入图像进行语义分割，以得到图像的分割结果。本申请第三方面实施例提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面实施例的图像的语义分割方法。本申请第四方面实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行第一方面实施例的图像的语义分割方法。上述申请中的一个实施例具有如下优点或有益效果：通过对输入图像进行特征提取，以生成多个不同粒度的图特征，进而分别对多个不同粒度的图特征进行图非局部处理，以生成多个不同粒度的增强图特征，大量的冗余计算被缩减，极大地减少了计算的复杂度，进而，对多个不同粒度的增强图特征进行交叉图非局部处理，以生成多个粒度的上下文推理信息，根据多个粒度的上下文推理信息生成级联上下文推理信息，根据级联上下文推理信息对输入图像进行语义分割，以得到图像的分割结果。由此，结合级联上下文推理信息对图像进行语义分割，有效地提升了基于深度学习的语义分割系统的特征学习能力和分割精度。应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。附图说明附图用于更好地理解本方案，不构成对本申请的限定。其中：图1为本申请实施例一提供的图像的语义分割方法的流程示意图；图2为本申请实施例二提供的用于生成增强图特征的子流程示意图；图3为本申请实施例提供的生成增强图特征的示例图；图4为本申请实施例三提供的用于生成上下文推理信息的子流程示意图；图5为本申请实施例提供的生成上下文推理信息的示例图；图6为本申请实施例四提供的图像的语义分割装置的结构示意图；图7是用来实现本申请实施例的图像的语义分割方法的电子设备的框图。具体实施方式以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。下面参考附图描述本申请实施例的图像的语义分割方法、装置、电子设备和存储介质。图1为本申请实施例一提供的图像的语义分割方法的流程示意图。本申请实施例以该图像的语义分割方法被配置于图像的语义分割装置中来举例说明，该图像的语义分割装置可以应用于任一电子设备中，以使该电子设备可以执行图像的语义分割功能。其中，电子设备可以为个人电脑(PersonalComputer，简称PC)、云端设备、移动设备等，移动设备例如可以为手机、平板电脑、个人数字助理、穿戴式设备、车载设备等具有各种操作系统的硬件设备。如图1所示，该图像的语义分割方法，可以包括以下步骤：步骤101，对输入图像进行特征提取，以生成多个不同粒度的图特征。其中，特征提取是计算机视觉和图像处理中的一个概念。它指的是使用计算机提取图像信息，决定每个图像的点是否属于一个图像特征。特征提取的结果是把图像上的点分为不同的子集，这些子集往往属于孤立的点、连续的曲线或者连续的区域。其中，输入图像，是指待进行语义分割的图像。图像识别的不同粒度，可以分为通用型图像识别，细粒度图像识别以及更细粒度图像识别。本申请实施例中，可以采用深度卷积神经网络作为骨干网络对输入图像进行特征提取，以得到多个不同粒度的图特征。例如，深度卷积神经网络的5个卷积层输入图像的特征空间分辨率大小，分别是输入图像的1/2、1/4、1/8、1/16以及1/32，从而可以生成不同粒度的图特征。例如，输入图像中有房子、车、人，在这整张图上提取特征，提取的是全局的特征，现在，可以截取图像的一部分，比如截取汽车的部分，并将其放大至与原图相同的尺寸，在此时截取后放大的图上提取特征，提取的是整幅图像中某一部分的详细特征。或者，例如在进行卷积时，分别提取出第三、四、五层卷积得到的特征图，然后将他们缩放到同一尺寸，也是一种多尺度的表现。其中，越深的卷积层提取出的特征图越抽象，提取到的特征更高级。需要说明的是，深度卷积神经网络包括但不限于深度残差网络(ResNet-50)、拆分注意网络(ResNeSt)等等。步骤102，分别对多个不同粒度的图特征进行图非局部处理，以生成多个不同粒度的增强图特征。本申请实施例中，在对输入图像进行特征提取，得到多个不同粒度的图特征后，可以分别对多个不同粒度的图特征进行图本文档来自技高网...

【技术保护点】
1.一种图像的语义分割方法，包括：/n对输入图像进行特征提取，以生成多个不同粒度的图特征；/n分别对所述多个不同粒度的图特征进行图非局部处理，以生成多个不同粒度的增强图特征；/n对所述多个不同粒度的增强图特征进行交叉图非局部处理，以生成多个粒度的上下文推理信息；/n根据所述多个粒度的上下文推理信息生成级联上下文推理信息；以及/n根据所述级联上下文推理信息对所述输入图像进行语义分割，以得到图像的分割结果。/n

【技术特征摘要】
1.一种图像的语义分割方法，包括：
对输入图像进行特征提取，以生成多个不同粒度的图特征；
分别对所述多个不同粒度的图特征进行图非局部处理，以生成多个不同粒度的增强图特征；
对所述多个不同粒度的增强图特征进行交叉图非局部处理，以生成多个粒度的上下文推理信息；
根据所述多个粒度的上下文推理信息生成级联上下文推理信息；以及
根据所述级联上下文推理信息对所述输入图像进行语义分割，以得到图像的分割结果。


2.如权利要求1所述的图像的语义分割方法，其中，所述分别对所述多个不同粒度的图特征进行图非局部处理，以生成多个不同粒度的增强图特征，包括：
对所述多个不同粒度的图特征分别进行图投影，以生成多个投影图特征；
对所述多个投影图特征进行图非局部操作，以生成增强的图表示；
对所述增强的图表示进行全局图推理，以生成演进的图表示；
根据所述演进的图表示和分配矩阵对像素级的所述图特征进行增强，以生成所述增强图特征。


3.如权利要求2所述的图像的语义分割方法，其中，所述多个投影图特征包括第一投影图特征、第二投影图特征和第三投影图特征，所述对所述多个投影图特征进行图非局部操作，以生成增强的图表示，包括：
根据所述第一投影图特征和所述第二投影图特征生成图注意力矩阵；
根据所述图注意力矩阵和所述第三投影图特征生成所述增强的图表示。


4.如权利要求2所述的图像的语义分割方法，其中，所述对所述增强的图表示进行全局图推理，以生成演进的图表示，包括：
根据所述增强的图表示生成邻接矩阵；
根据所述增强的图表示和所述邻接矩阵生成所述演进的图表示。


5.如权利要求2所述的图像的语义分割方法，其中，所述根据所述演进的图表示和分配矩阵对像素级的所述图特征进行增强，以生成所述增强图特征，包括：
根据所述演进的图表示和所述分配矩阵生成增强特征；
在所述图特征之上增加所述增强特征以生成所述增强图特征。


6.如权利要求1所述的图像的语义分割方法，其中，所述对所述多个不同粒度的增强图特征进行交叉图非局部处理，以生成多个粒度的上下文推理信息，包括：
获取所述多个不同粒度的增强图特征之中的第一增强图特征和第二增强图特征；
根据所述第一增强图特征和所述第二增强图特征，生成第一注意力矩阵和第二注意力矩阵，其中，所述第一注意力矩阵为所述第一增强图特征至所述第二增强图特征的注意力矩阵，所述第二注意力矩阵为所述第二增强图特征至所述第一增强图特征的注意力矩阵；
根据所述第一增强图特征和所述第二注意力矩阵生成第一注意力融合特征，并根据所述第二增强图特征和所述第一注意力矩阵生成第二注意力融合特征；
根据所述第一注意力融合特征和所述第二注意力融合特征生成所述上下文推理信息。


7.一种图像的语义分割装置，包括：
提取模块，用于对输入图像进行特征提取，以生成多个不同粒度的图特征；
第一处理模块，用于分别对所述...

【专利技术属性】
技术研发人员：伍天意，郭国栋，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11