图像分割方法、装置、电子设备及存储介质制造方法及图纸

本申请公开了图像分割方法、装置、电子设备及存储介质，涉及图像处理、计算机视觉、自然语义处理、深度学习技术领域。具体实现方案为：分别获取输入图像和语义图，对输入图像进行视觉特征提取，并根据该视觉特征生成视觉图；接着，根据语义图对视觉图进行增强以生成增强视觉图；对增强视觉图进行反投影以生成局部增强像素级特征，以及根据局部增强像素级特征进行图像分割。该方法通过语义图对视觉图进行增强以生成增强视觉图，可促进语义图与视觉图的交互操作，改善视觉图的上下文推理，根据增强视觉图反投影生成局部增强像素级特征，可增强局部增强像素的表征能力，从而根据该局部增强级特征进行图像分割可有效地提升图像的分割性能和精度。

【技术实现步骤摘要】
图像分割方法、装置、电子设备及存储介质
本申请涉及计算机
，具体涉及图像处理、计算机视觉、自然语言处理、深度学习
，尤其涉及图像分割方法、装置、电子设备及存储介质。
技术介绍
随着计算机技术的发展，图像分割技术应用越来越广泛，例如，医学图像分割、自然图像分割等。其中，图像分割技术是指把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术。目前，主要基于视觉图上下文推理建模进行图像分割。相关技术中，通过对输入样本的视觉特征图构建视觉图，然后在视觉图上进行信息传播和上下文推理，以进行图像分割。但是，上述方法中建模的上下文推理关系简单，导致图像分割性能和分割精度较低。
技术实现思路
提供了一种用于图像分割的方法、装置、电子设备以及存储介质。根据第一方面，提供了一种图像分割的方法，包括：获取输入图像，并提取所述输入图像的视觉特征；根据所述输入图像的视觉特征生成视觉图；获取语义图；根据所述语义图对所述视觉图进行增强以生成增强视觉图；对所述增强视觉图进行反投影以生成局部增强像素级特征；以及根据所述局本文档来自技高网...

【技术保护点】
1.一种图像分割方法，包括：/n获取输入图像，并提取所述输入图像的视觉特征；/n根据所述输入图像的视觉特征生成视觉图；/n获取语义图；/n根据所述语义图对所述视觉图进行增强以生成增强视觉图；/n对所述增强视觉图进行反投影以生成局部增强像素级特征；以及/n根据所述局部增强像素级特征进行图像分割。/n

【技术特征摘要】
1.一种图像分割方法，包括：
获取输入图像，并提取所述输入图像的视觉特征；
根据所述输入图像的视觉特征生成视觉图；
获取语义图；
根据所述语义图对所述视觉图进行增强以生成增强视觉图；
对所述增强视觉图进行反投影以生成局部增强像素级特征；以及
根据所述局部增强像素级特征进行图像分割。


2.如权利要求1所述的图像分割方法，其中，所述根据所述输入图像的视觉特征生成视觉图，包括：
获取投影矩阵和转换矩阵；
根据所述投影矩阵、所述转换矩阵和所述输入图像的视觉特征生成所述视觉图。


3.如权利要求1所述的图像分割方法，其中，所述获取语义图包括：
根据预设词向量生成每个类别的语义表征；
根据预设的多层感知矩阵和所述每个类别的语义表征生成语义图。


4.如权利要求1所述的图像分割方法，其中，所述根据所述语义图对所述视觉图进行增强以生成增强视觉图，包括：
对所述语义图进行自推理以生成语义自推理图；
对所述视觉图进行自推理以生成视觉自推理图；
根据所述语义自推理图和所述视觉自推理图生成第一引导矩阵，其中，所述第一引导矩阵为所述语义图至所述视觉图的引导矩阵；
根据所述视觉自推理图和所述第一引导矩阵生成所述增强视觉图。


5.如权利要求4所述的图像分割方法，其中，还包括：
根据所述语义自推理图和所述视觉自推理图生成第二引导矩阵，其中，所述第二引导矩阵为所述视觉图至所述语义图的引导矩阵；
根据所述语义自推理图和所述第二引导矩阵生成增强语义图，其中，所述增强语义图用于进行语义上下文约束。


6.如权利要求1所述的图像分割方法，其中，所述对所述增强视觉图进行反投影以生成局部增强像素级特征，包括：
获取转置矩阵和权重矩阵；
根据所述转置矩阵、所述权重矩阵和所述增强视觉图以及所述输入图像的视觉特征生成所述局部增强像素级特征。


7.如权利要求1所述的图像分割方法，其中，所述根据所述局部增强像素级特征进行图像分割，包括：
对所述局部增强像素级特征进行卷积以生成局部增强像素级卷积特征；
对所述局部增强像素级卷积特征进行上采样以生成图像分割结果。


8.一种图像分割装置，包括：
第一获取模块，用于获取输入图像，并提取所述输入图像的视觉特征；
第一生成模块，用于根据所述输入图像的视觉特征生成视觉图；
第二获取模块，用于获取语义图；
第二生成模块...

【专利技术属性】
技术研发人员：伍天意，郭国栋，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11