一种图像分割方法及装置制造方法及图纸

本申请实施例提供了一种图像分割方法及装置，本申请通过对包含有目标物的指示图像和待分割的查询图像进行编码，使用编码后提取出的图像特征进行比对，再通过得到的特征分布矩阵搭配提取的图像特征进行解码，从而从查询图像中分割出目标物的分割图像，这样，不需要对待分割图像进行归一化或是尺寸约束，通过两幅图像的比对，利用少量数据即可在待分割的查询图像中将对应目标物分割出来，速度快，鲁棒性好，适应能力强。

An image segmentation method and device

【技术实现步骤摘要】
一种图像分割方法及装置
本申请涉及图像处理
，尤其是涉及一种图像分割方法及装置。
技术介绍
图像处理技术是一个跨学科的领域，随着科学技术的不断发展，图像处理技术也得到了长足的发展，图像处理和分析逐渐形成了自己的科学体系，引起各方面人士和各行各业的广泛关注。首先，视觉是人类最重要的感知手段，图像又是视觉的基础，因此，图像处理成为心理学、生理学、计算机科学等诸多领域内的学者们研究视觉感知的有效工具。其次，图像处理在军事、遥感、气象等大型应用中有不断增长的需求。现有图像分割技术通常利用一个神经网络，比如U-net神经网络对图片进行端到端的语义分割，也就是让神经网络学习从RGB图像空间直接到分割图像的映射，这种方法虽然可以有效对图像进行分割，但是必须要在图像进行大量的标注数据才能发挥作用，处理过程中数据量大，获取标注数据的成本也非常高，耗时耗力，而且在实际应用中，也存在着有些图像上不易进行大量数据标注，例如在医疗领域、安全领域等。
技术实现思路
有鉴于此，本申请提供一种图像分割方法及装置，以方便在对图像进行分割时，可以通过少量目标数据在待分割图像中将对应目标物分割出来，速度快，鲁棒性好，适应能力强。本申请实施例提供了图像分割方法，所述方法包括：分别对查询图像和与所述查询图像对应的指示图像使用同一编码方式进行编码处理，所述指示图像和所述查询图像中包含有同一类目标物；提取编码后的所述查询图像的第一图像特征，以及提取编码后的所述指示图像的第二图像特征；基于所述第一图像特征和所述第二图像特征，对所述查询图像和所述指示图像进行特征比对，确定所述指示图像中的目标物在所述查询图像中的特征分布矩阵；根据所述特征分布矩阵和所述第一图像特征进行解码处理，得到从所述查询图像分割出的所述目标物的分割图像。进一步的，所述基于所述第一图像特征和所述第二图像特征，对所述查询图像和所述指示图像进行特征比对，确定所述指示图像中的目标物在所述查询图像中的特征分布矩阵，包括：基于所述第一图像特征，确定所述查询图像的特征分布图；基于所述第二图像特征，确定所述指示图像的特征向量；基于所述查询图像的特征分布图和所述指示图的像特征向量，确定所述指示图像的特征分布矩阵。进一步的，所述基于所述第二图像特征，确定所述指示图像的特征向量，包括：基于所述第二图像特征，生成所述指示图像的特征分布图；对所述指示图像的特征分布图进行最大池化处理，得到所述指示图像的特征向量。进一步的，所述基于所述查询图像的特征分布图和所述指示图像的特征向量，确定所述指示图像的特征分布矩阵，包括：将所述指示图像的特征向量与所述查询图像的特征分布图中每个位置上的特征向量做内积处理；将内积处理的结果进行归一化处理，得到所述指示图像的特征分布矩阵。进一步的，所述根据所述特征分布矩阵和所述第一图像特征进行解码处理，得到从所述查询图像分割出的所述目标物的分割图像，包括：将所述特征分布矩阵与所述第二图像特征做乘积处理；将乘积处理后的结果与所述第一图像特征并联后进行解码处理；基于解码处理后的结果确定对所述查询图像进行图像分割得到的所述目标物的分割图像。本申请实施例提供了一种图像分割装置，所述图像分割装置包括：编码模块，用于分别对查询图像和与所述查询图像对应的指示图像使用同一编码方式进行编码处理，所述指示图像和所述查询图像中包含有同一类目标物；提取模块，用于提取编码后的所述查询图像的第一图像特征，以及提取编码后的所述指示图像的第二图像特征；比对模块，用于基于所述第一图像特征和所述第二图像特征，对所述查询图像和所述指示图像进行特征比对，确定所述指示图像中的目标物在所述查询图像中的特征分布矩阵；解码模块，用于根据所述特征分布矩阵和所述第一图像特征进行解码处理，得到从所述查询图像分割出的所述目标物的分割图像。进一步的，所述比对模块包括：第一确定单元，用于基于所述第一图像特征，确定所述查询图像的特征分布图；第二确定单元，用于基于所述第二图像特征，确定所述指示图像的特征向量；第三确定单元，用于基于所述查询图像的特征分布图和所述指示图的像特征向量，确定所述指示图像的特征分布矩阵。进一步的，所述第二确定单元具体用于：基于所述第二图像特征，生成所述指示图像的特征分布图；对所述指示图像的特征分布图进行最大池化处理，得到所述指示图像的特征向量。进一步的，所述第三确定单元具体用于：将所述指示图像的特征向量与所述查询图像的特征分布图中每个位置上的特征向量做内积处理；将内积处理的结果进行归一化处理，得到所述指示图像的特征分布矩阵。进一步的，所述解码模块包括：第一处理单元，用于将所述特征分布矩阵与所述第二图像特征做乘积处理；第二处理单元，用于将乘积处理后的结果与所述第一图像特征并联后进行解码处理；第四确定单元，用于基于解码处理后的结果确定对所述查询图像进行图像分割得到的所述目标物的分割图像。本申请实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述的图像分割方法的步骤。本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述的图像分割方法的步骤。本申请实施例提供的图像分割方法及装置，分别对查询图像和与所述查询图像对应的指示图像使用同一编码方式进行编码处理，所述指示图像和所述查询图像中包含有同一类目标物；提取编码后的所述查询图像的第一图像特征，以及提取编码后的所述指示图像的第二图像特征；基于所述第一图像特征和所述第二图像特征，对所述查询图像和所述指示图像进行特征比对，确定所述指示图像中的目标物在所述查询图像中的特征分布矩阵；根据所述特征分布矩阵和所述第一图像特征进行解码处理，得到从所述查询图像分割出的所述目标物的分割图像。与现有技术中的图像分割方式相比，本申请通过对包含有目标物的指示图像和待分割的查询图像进行编码，使用编码后提取出的图像特征进行比对，再通过得到的特征分布矩阵搭配提取的图像特征进行解码，从而从查询图像中分割出目标物的分割图像，这样，不需要对待分割图像进行归一化或是尺寸约束，通过两幅图像的比对，利用少量数据即可在待分割的查询图像中将对应目标物分割出来，速度快，鲁棒性好，适应能力强。附图说明为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。图1为一种可能的应用场景下的系统架本文档来自技高网...

【技术保护点】
1.一种图像分割方法，其特征在于，所述方法包括：/n分别对查询图像和与所述查询图像对应的指示图像使用同一编码方式进行编码处理，所述指示图像和所述查询图像中包含有同一类目标物；/n提取编码后的所述查询图像的第一图像特征，以及提取编码后的所述指示图像的第二图像特征；/n基于所述第一图像特征和所述第二图像特征，对所述查询图像和所述指示图像进行特征比对，确定所述指示图像中的目标物在所述查询图像中的特征分布矩阵；/n根据所述特征分布矩阵和所述第一图像特征进行解码处理，得到从所述查询图像分割出的所述目标物的分割图像。/n

【技术特征摘要】
1.一种图像分割方法，其特征在于，所述方法包括：
分别对查询图像和与所述查询图像对应的指示图像使用同一编码方式进行编码处理，所述指示图像和所述查询图像中包含有同一类目标物；
提取编码后的所述查询图像的第一图像特征，以及提取编码后的所述指示图像的第二图像特征；
基于所述第一图像特征和所述第二图像特征，对所述查询图像和所述指示图像进行特征比对，确定所述指示图像中的目标物在所述查询图像中的特征分布矩阵；
根据所述特征分布矩阵和所述第一图像特征进行解码处理，得到从所述查询图像分割出的所述目标物的分割图像。


2.如权利要求1所述的方法，其特征在于，所述基于所述第一图像特征和所述第二图像特征，对所述查询图像和所述指示图像进行特征比对，确定所述指示图像中的目标物在所述查询图像中的特征分布矩阵，包括：
基于所述第一图像特征，确定所述查询图像的特征分布图；
基于所述第二图像特征，确定所述指示图像的特征向量；
基于所述查询图像的特征分布图和所述指示图像的特征向量，确定所述指示图像的特征分布矩阵。


3.如权利要求2所述的方法，其特征在于，所述基于所述第二图像特征，确定所述指示图像的特征向量，包括：
基于所述第二图像特征，生成所述指示图像的特征分布图；
对所述指示图像的特征分布图进行最大池化处理，得到所述指示图像的特征向量。


4.如权利要求2所述的方法，其特征在于，所述基于所述查询图像的特征分布图和所述指示图像的特征向量，确定所述指示图像的特征分布矩阵，包括：
将所述指示图像的特征向量与所述查询图像的特征分布图中每个位置上的特征向量做内积处理；
将内积处理的结果进行归一化处理，得到所述指示图像的特征分布矩阵。


5.如权利要求1所述的方法，其特征在于，所述根据所述特征分布矩阵和所述第一图像特征进行解码处理，得到从所述查询图像分割出的所述目标物的分割图像，包括：
将所述特征分布矩阵与所述第二图像特征做乘积处理；
将乘积处理后的结果与所述第一图像特征并联后进行解码处理；
基于解码处理后的结果确定对所...

【专利技术属性】
技术研发人员：黄永祯，刘旭，曹春水，杨家辉，
申请(专利权)人：银河水滴科技北京有限公司，
类型：发明
国别省市：北京;11