图像处理方法、装置、设备和存储介质制造方法及图纸

本公开涉及一种图像处理方法、装置、设备和存储介质，所述方法包括：对目标图像进行特征提取，得到所述目标图像的第一特征图；基于所述第一特征图，得到所述目标图像的粗糙分割结果；根据所述粗糙分割结果，对所述第一特征图进行图卷积处理，得到所述目标图像的最终分割结果。通过上述过程，可以利用目标图像的粗糙分割结果，对目标图像的第一特征图通过图卷积来融合周边信息，从而有效提升最终分割结果的精度。

【技术实现步骤摘要】
图像处理方法、装置、设备和存储介质
本公开涉及计算机视觉
，尤其涉及一种图像处理方法、装置、设备和存储介质。
技术介绍
语义分割是计算机视觉中的基本任务之一，它的目标是为图像中的每个像素指定一个类别标签。它在很多领域都有重要应用，比如自动驾驶、场景理解以及图像编辑等等。语义分割任务较为精细，对精度具有较高的要求。如何有效地提高语义分割的精度，是目前一个亟待解决的问题。
技术实现思路
本公开提出了一种图像处理技术方案。根据本公开的一方面，提供了一种图像处理方法，包括：对目标图像进行特征提取，得到所述目标图像的第一特征图；基于所述第一特征图，得到所述目标图像的粗糙分割结果；根据所述粗糙分割结果，对所述第一特征图进行图卷积处理，得到所述目标图像的最终分割结果。在一种可能的实现方式中，所述根据所述粗糙分割结果，对所述第一特征图进行图卷积处理，得到所述目标图像的最终分割结果，包括：根据所述粗糙分割结果，对所述第一特征图进行图卷积处理，得到第二特征图；根据所述第二特征图，得到所述目标图像的最终分割结果。在一种可能的实现方式中，所述根据所述第二特征图，得到所述目标图像的最终分割结果，包括：对所述第一特征图和所述第二特征图进行融合处理，得到第三特征图；根据所述第三特征图，得到所述目标图像的最终分割结果。在一种可能的实现方式中，所述根据所述粗糙分割结果，对所述第一特征图进行图卷积处理，得到所述目标图像的最终分割结果，包括：根据所述粗糙分割结果，确定所述第一特征图中的多个像素点所属的类别；基于所述多个像素点所属的类别，对所述第一特征图进行图卷积处理，得到所述目标图像的最终分割结果。在一种可能的实现方式中，所述根据所述粗糙分割结果，对所述第一特征图进行图卷积处理，得到所述目标图像的最终分割结果，包括：根据所述粗糙分割结果，对所述第一特征图进行采样，得到至少两个类别中每个类别对应的采样点集合；基于所述至少两个类别对应的采样点集合，建立所述至少两个类别中每个类别的邻接矩阵；根据至少两个类别中每个类别的所述邻接矩阵，对所述每个类别对应的采样点集合进行处理，得到所述目标图像的最终分割结果。在一种可能的实现方式中，所述基于所述至少两个类别对应的采样点集合，建立所述至少两个类别中每个类别的邻接矩阵，包括：基于每个类别对应的所述采样点集合中的两个采样点之间的相似度，确定所述两个采样点在所述每个类别的邻接矩阵中对应的第一元素的值，其中，所述邻接矩阵中除所述第一元素之外的其他元素的值为0。在一种可能的实现方式中，所述方法应用于神经网络模型的训练，所述方法还包括：基于所述第一特征图中多个像素点的标注类别信息和所述粗糙分割结果，对所述第一特征图中的像素点进行采样，得到至少两个类别中每个类别对应的采样点集合。在一种可能的实现方式中，在一种可能的实现方式中，所述基于所述第一特征图中多个像素点的标注类别信息和所述粗糙分割结果，对所述第一特征图中的像素点进行采样，得到至少两个类别中每个类别对应的采样点集合，包括：基于所述第一特征图中多个像素点的标注类别信息和所述粗糙分割结果，确定至少两个类别中每个类别的困难像素点和容易像素点；基于每个类别的困难像素点和容易像素点，对所述第一特征图中的像素点进行采样，得到所述每个类别的采样点集合。在一种可能的实现方式中，所述采样点集合包含所述困难像素点中的全部像素点以及所述容易像素点中的一定比例的像素点。根据本公开的一方面，提供了一种图像处理装置，包括：特征提取模块，用于对目标图像进行特征提取，得到所述目标图像的第一特征图；粗糙分割模块，用于基于所述第一特征图，得到所述目标图像的粗糙分割结果；最终分割模块，用于根据所述粗糙分割结果，对所述第一特征图进行图卷积处理，得到所述目标图像的最终分割结果。根据本公开的一方面，提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为：执行上述任意可能的图像处理方法。根据本公开的一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述任意可能的图像处理方法。根据本公开的一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述任意可能的图像处理方法。在本公开实施例中，通过对目标图像进行特征提取，得到目标图像的第一特征图，并根据第一特征图得到目标图像的粗糙分割结果，从而根据粗糙分割结果来对第一特征图进行图卷积处理，得到目标图像的最终分割结果。通过上述过程，可以利用目标图像的粗糙分割结果，对目标图像的第一特征图通过图卷积来融合周边信息，从而有效提升最终分割结果的精度。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。附图说明此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。图1示出根据本公开一实施例的图像处理方法的流程图。图2示出根据本公开一实施例的对第一特征图中的像素点进行采样的示意图。图3示出根据本公开一应用示例的示意图。图4示出根据本公开一应用示例的示意图。图5示出根据本公开一实施例的图像处理装置的框图。图6示出根据本公开实施例的一种电子设备的框图。图7示出根据本公开实施例的一种电子设备的框图。具体实施方式以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。另外，为了更好地说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。图1示出根据本公开一实施例的图像处理方法的流程图，该方法可以应用于终端设备、服务器或者其他图像处理设备等。其中，终端设备可以为用户设备(UserEquipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(PersonalDigitalAssistant，PDA)、本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，包括：/n对目标图像进行特征提取，得到所述目标图像的第一特征图；/n基于所述第一特征图，得到所述目标图像的粗糙分割结果；/n根据所述粗糙分割结果，对所述第一特征图进行图卷积处理，得到所述目标图像的最终分割结果。/n

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：
对目标图像进行特征提取，得到所述目标图像的第一特征图；
基于所述第一特征图，得到所述目标图像的粗糙分割结果；
根据所述粗糙分割结果，对所述第一特征图进行图卷积处理，得到所述目标图像的最终分割结果。


2.根据权利要求1所述的方法，其特征在于，所述根据所述粗糙分割结果，对所述第一特征图进行图卷积处理，得到所述目标图像的最终分割结果，包括：
根据所述粗糙分割结果，对所述第一特征图进行图卷积处理，得到第二特征图；
根据所述第二特征图，得到所述目标图像的最终分割结果。


3.根据权利要求2所述的方法，其特征在于，所述根据所述第二特征图，得到所述目标图像的最终分割结果，包括：
对所述第一特征图和所述第二特征图进行融合处理，得到第三特征图；
根据所述第三特征图，得到所述目标图像的最终分割结果。


4.根据权利要求1至3中任意一项所述的方法，其特征在于，所述根据所述粗糙分割结果，对所述第一特征图进行图卷积处理，得到所述目标图像的最终分割结果，包括：
根据所述粗糙分割结果，确定所述第一特征图中的多个像素点所属的类别；
基于所述多个像素点所属的类别，对所述第一特征图进行图卷积处理，得到所述目标图像的最终分割结果。


5.根据权利要求1至4中任意一项所述的方法，其特征在于，所述根据所述粗糙分割结果，对所述第一特征图进行图卷积处理，得到所述目标图像的最终分割结果，包括：
根据所述粗糙分割结果，对所述第一特征图进行采样，得到至少两个类别中每个类别对应的采样点集合；
基于所述至少两个类别对应的采样点集合，建立所述至少两个类别中每个类别的邻接矩阵；
根据至少两个类别中每个类别的所述邻接矩阵，对所述每个类别对应的采样点集合进行处理，得到所述目标图像的最终分割结果。


6.根据权利要求5所述的方法，其特征在于，所述基于所述至少两个类别对应的采样点集合，建立所述至少两个类别中每个类别的邻接矩阵，包括：
基于每个类别对应的所述采样点集合中的两个采样点之间的相似度，确定所述两个采样点在所述每个类别的邻接矩阵中对应的第一元素的值，其中，所述邻接矩阵中除所述第一元素之外的其他元素的值为0。


7.根据权利要求1至6中任意一项所述的方法，其特征在于，所述方法应用于神经网络模型的训练，所述方法还包括：
基于所述第一特征图中多个像素点的标注类别信息和所述粗糙分割结果，对所述第一特征图中的像素点进行采样，得到至少两个类别中每个类别对应的采样点集合。


8.根据权利要求7所述的方法，其特征在于，所述基于所述第一特征图中多个像素点的标注类别信息和所述粗糙分割结果，对所述第一特征图中的像素点进行采样，得到至少两个类别中每个类别对应的采样点集合，包括：
基于所述第一特征图中多个像素点的标注类别信息和所述粗糙分割结果，确定至少两个类别中每个类别的困难像素点和容易像素点；
基于每个类别的困难像素点和容易像素点，对所述第一特征图中的像素点进行采样，得到所述每个类别的采样点集合。


9.根据权利要求8所述的方法，其特征在于，所述采样点集合包含所述困难像素点中的全部像素点以及所述容易像素点中的一定比例的像素点。


10.一...

【专利技术属性】
技术研发人员：胡含哲，纪德益，甘伟豪，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京;11