图像分割方法及装置、电子设备和存储介质制造方法及图纸

本公开涉及一种图像分割方法及装置、电子设备和存储介质，所述方法包括：对待分割图像进行特征提取，得到待分割图像的第一特征，待分割图像中包括N个像素类别，N是大于1的整数；将第一特征与M个第二特征进行融合，得到M个第一目标特征，M个第二特征和M个第一目标特征均与M个像素类别一一对应，M个第二特征是基于第一样本数据集确定得到的，第一样本数据集中包括M个像素类别中各像素类别对应的至少一个样本图像和各样本图像的标注信息，M大于或等于N，N个像素类别是M个像素类别的子集；根据M个第一目标特征，对待分割图像进行图像分割，得到待分割图像的目标分割结果。本公开实施例可实现对待分割图像中多个像素类别的快速分割。

【技术实现步骤摘要】
图像分割方法及装置、电子设备和存储介质
本公开涉及计算机
，尤其涉及一种图像分割方法及装置、电子设备和存储介质。
技术介绍
图像语义分割是计算机视觉中的基本任务之一，其在很多领域都有重要应用，例如，自动驾驶，场景理解等。用于进行图像语义分割的神经网络的训练过程需要像素级的标注样本，获得如此精细的标注样本是十分不易的，并且很多类别的样本的获得十分困难。此外，一张待分割图像中可能包含多个像素类别。因此，在实际应用中，如何利用少样本实现多类别的图像分割是亟需解决的问题。
技术实现思路
本公开提出了一种图像分割方法及装置、电子设备和存储介质的技术方案。根据本公开的一方面，提供了一种图像分割方法，包括：对待分割图像进行特征提取，得到所述待分割图像的第一特征，所述待分割图像中包括N个像素类别，N是大于1的整数；将所述第一特征与M个第二特征进行融合，得到M个第一目标特征，所述M个第二特征和所述M个第一目标特征均与M个像素类别一一对应，所述M个第二特征是基于第一样本数据集确定得到的，所述第一样本数据集中包括所述M个像素类别中各像素类别对应的至少一个样本图像和各样本图像对应的标注信息，M大于或等于N，所述N个像素类别是所述M个像素类别的子集；根据所述M个第一目标特征，对所述待分割图像进行图像分割，得到所述待分割图像的目标分割结果。在一种可能的实现方式中，所述将所述第一特征与M个第二特征进行融合，得到M个第一目标特征，包括：针对所述M个第二特征中的第i个第二特征，对所述第一特征与所述第i个第二特征执行特征乘法，得到第i个第三特征，1≤i≤M；对所述第一特征与所述第i个第二特征执行特征减法，得到第i个第四特征；对所述第一特征、所述第i个第三特征以及所述第i个第四特征进行特征连接，得到所述M个第一目标特征中的第i个第一目标特征；所述第i个第二特征、所述第i个第三特征、所述第i个第四特征以及所述第i个第一目标特征均为与所述M个像素类别中的第i个像素类别对应的特征。在一种可能的实现方式中，所述根据所述M个第一目标特征，对所述待分割图像进行图像分割，得到所述待分割图像的目标分割结果，包括：根据所述M个第一目标特征，对所述待分割图像进行逐类别预测，确定所述待分割图像对应的M个分割子结果，所述M个分割子结果与所述M个像素类别一一对应；根据所述M个分割子结果，确定所述目标分割结果。在一种可能的实现方式中，所述根据所述M个第一目标特征，对所述待分割图像进行逐类别预测，确定所述待分割图像对应的M个分割子结果，包括：将所述M个第一目标特征输入余弦分类器，基于所述余弦分类器和所述M个第一目标特征，对所述待分割图像进行逐类别预测，确定所述M个分割子结果。在一种可能的实现方式中，所述根据所述M个第一目标特征，对所述待分割图像进行逐类别预测，确定所述待分割图像对应的M个分割子结果，包括：针对所述M个第一目标特征中的第i个第一目标特征，根据所述第i个第一目标特征，确定所述待分割图像对应的所述M个分割子结果中的第i个分割子结果，所述第i个分割子结果中包括所述待分割图像中像素类别是所述M个像素类别中的第i个像素类别的像素点。在一种可能的实现方式中，所述图像分割方法通过图像分割神经网络实现。在一种可能的实现方式中，所述图像分割神经网络的训练样本包括第一待分割样本图像、所述第一待分割样本图像的分割标注信息，以及所述第一样本数据集，所述第一待分割样本图像中包括所述M个像素类别中的至少两个像素类别；所述方法还包括：通过所述图像分割神经网络对所述第一待分割样本图像进行特征提取，得到所述第一待分割样本图像的第五特征，以及通过所述图像分割神经网络对所述M个像素类别中各像素类别对应的目标样本图像进行特征提取，得到M个第六特征，所述M个第六特征与所述M个像素类别一一对应，各所述像素类别对应的目标样本图像为各所述像素类别对应的至少一个样本图像中的任意一个；根据所述M个第六特征和所述M个像素类别中各像素类别对应的目标样本图像的标注信息，确定M个第七特征，以及将所述第五特征与所述M个第七特征进行融合，得到M个第二目标特征，所述M个第七特征和所述M个第二目标特征均与所述M个像素类别一一对应；根据所述M个第二目标特征，对所述第一待分割样本图像进行图像分割，得到所述第一待分割样本图像的分割结果；根据所述第一待分割样本图像的分割结果以及所述分割标注信息，确定分割损失；根据所述分割损失，对所述图像分割神经网络进行训练，得到训练后的图像分割神经网络。在一种可能的实现方式中，所述M个像素类别中各像素类别对应的目标样本图像的标注信息为掩膜；所述根据所述M个第六特征和所述M个像素类别中各像素类别对应的目标样本图像的标注信息，确定M个第七特征，包括：针对所述M个第六特征中的第i个第六特征，根据所述第i个第六特征以及所述M个像素类别中的第i个像素类别对应的目标样本图像的掩膜，执行掩膜平均池化操作，得到所述M个第七特征中的第i个第七特征，所述第i个第六特征和所述第i个第七特征均为与所述M个像素类别中的第i个像素类别对应的特征。在一种可能的实现方式中，在根据所述第一待分割样本图像、所述第一待分割样本图像的分割标注信息，以及所述第一样本数据集对所述图像分割神经网络进行训练之前，所述方法还包括：根据第二待分割样本图像、所述第二待分割样本图像的分割标注信息，以及第二样本数据集，对所述图像分割神经网络进行预训练，所述第二样本数据集中包括P个像素类别中各像素类别对应的多个样本图像和各样本图像对应的标注信息，所述M个像素类别是所述P个像素类别以外的新像素类别，所述第二待分割样本图像中包括所述P个像素类别中的至少两个像素类别。在一种可能的实现方式中，所述方法还包括：根据所述第一样本数据集和所述训练后的图像分割神经网络，确定所述M个第二特征。在一种可能的实现方式中，所述M个像素类别中各像素类别对应的样本图像的标注信息为掩膜；所述根据所述第一样本数据集和所述训练后的图像分割神经网络，确定所述M个第二特征，包括：通过所述训练后的图像分割神经网络对所述M个像素类别中各像素类别对应的样本图像进行特征提取，得到M个第八特征；针对所述M个第八特征中的第i个第八特征，根据所述第i个第八特征以及M个像素类别中第i个像素类别对应的样本图像的掩膜，执行掩膜平均池化操作，得到所述M个第二特征中的第i个第二特征；所述第i个第八特征和所述第i个第二特征均为所述M个像素类别中的第i个像素类别对应的特征。根据本公开的一方面，提供了一种图像分割装置，包括：特征提取模块，用于对待分割图像进行特征提取，得到所述待分割图像的第一特征，所述待分割图像中包括N个像素类别，N是大于1的整数；特征融合模块，用于将所述第一特征与M个第二特征进行融合，得到M个第一目标特征，所述M个第二特征和所述M个第一目标特征均与M个像素类别一一对应，所述M个第二特征是基于第一样本数据集确定得到的，所述第一样本数据集中包括所述M个像素类别中各像素类别对应的至少一个样本图像和各样本图像对应的标注信息，M大于或等于N本文档来自技高网...

【技术保护点】
1.一种图像分割方法，其特征在于，包括：/n对待分割图像进行特征提取，得到所述待分割图像的第一特征，所述待分割图像中包括N个像素类别，N是大于1的整数；/n将所述第一特征与M个第二特征进行融合，得到M个第一目标特征，所述M个第二特征和所述M个第一目标特征均与M个像素类别一一对应，所述M个第二特征是基于第一样本数据集确定得到的，所述第一样本数据集中包括所述M个像素类别中各像素类别对应的至少一个样本图像和各样本图像的标注信息，M大于或等于N，所述N个像素类别是所述M个像素类别的子集；/n根据所述M个第一目标特征，对所述待分割图像进行图像分割，得到所述待分割图像的目标分割结果。/n

【技术特征摘要】
1.一种图像分割方法，其特征在于，包括：
对待分割图像进行特征提取，得到所述待分割图像的第一特征，所述待分割图像中包括N个像素类别，N是大于1的整数；
将所述第一特征与M个第二特征进行融合，得到M个第一目标特征，所述M个第二特征和所述M个第一目标特征均与M个像素类别一一对应，所述M个第二特征是基于第一样本数据集确定得到的，所述第一样本数据集中包括所述M个像素类别中各像素类别对应的至少一个样本图像和各样本图像的标注信息，M大于或等于N，所述N个像素类别是所述M个像素类别的子集；
根据所述M个第一目标特征，对所述待分割图像进行图像分割，得到所述待分割图像的目标分割结果。


2.根据权利要求1所述的方法，其特征在于，所述将所述第一特征与M个第二特征进行融合，得到M个第一目标特征，包括：
针对所述M个第二特征中的第i个第二特征，对所述第一特征与所述第i个第二特征执行特征乘法，得到第i个第三特征，1≤i≤M；
对所述第一特征与所述第i个第二特征执行特征减法，得到第i个第四特征；
对所述第一特征、所述第i个第三特征以及所述第i个第四特征进行特征连接，得到所述M个第一目标特征中的第i个第一目标特征；
所述第i个第二特征、所述第i个第三特征、所述第i个第四特征以及所述第i个第一目标特征均为与所述M个像素类别中的第i个像素类别对应的特征。


3.根据权利要求1或2所述的方法，其特征在于，所述根据所述M个第一目标特征，对所述待分割图像进行图像分割，得到所述待分割图像的目标分割结果，包括：
根据所述M个第一目标特征，对所述待分割图像进行逐类别预测，确定所述待分割图像对应的M个分割子结果，所述M个分割子结果与所述M个像素类别一一对应；
根据所述M个分割子结果，确定所述目标分割结果。


4.根据权利要求3所述的方法，其特征在于，所述根据所述M个第一目标特征，对所述待分割图像进行逐类别预测，确定所述待分割图像对应的M个分割子结果，包括：
将所述M个第一目标特征输入余弦分类器，基于所述余弦分类器和所述M个第一目标特征，对所述待分割图像进行逐类别预测，确定所述M个分割子结果。


5.根据权利要求3或4所述的方法，其特征在于，所述根据所述M个第一目标特征，对所述待分割图像进行逐类别预测，确定所述待分割图像对应的M个分割子结果，包括：
针对所述M个第一目标特征中的第i个第一目标特征，根据所述第i个第一目标特征，确定所述待分割图像对应的所述M个分割子结果中的第i个分割子结果，所述第i个分割子结果中包括所述待分割图像中像素类别是所述M个像素类别中的第i个像素类别的像素点。


6.根据权利要求1至5中任意一项所述的方法，其特征在于，所述图像分割方法通过图像分割神经网络实现。


7.根据权利要求6所述的方法，其特征在于，所述图像分割神经网络的训练样本包括第一待分割样本图像、所述第一待分割样本图像的分割标注信息，以及所述第一样本数据集，所述第一待分割样本图像中包括所述M个像素类别中的至少两个像素类别；
所述方法还包括：
通过所述图像分割神经网络对所述第一待分割样本图像进行特征提取，得到所述第一待分割样本图像的第五特征，以及通过所述图像分割神经网络对所述M个像素类别中各像素类别对应的目标样本图像进行特征提取，得到M个第六特征，所述M个第六特征与所述M个像素类别一一对应，各所述像素类别对应的目标样本图像为各所述像素类别对应的至少一个样本图像中的任意一个；
根据所述M个第六特征和所述M个像素类别中各像素类别对应的目标样本图像的标注信息，确定M个第七特征，以及将所述第五特征和所述M个第七特征进行融合，得到M个第二目标特征，所述M个第七特征和所述M个第二目标...

【专利技术属性】
技术研发人员：胡含哲，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京;11