图像分割模型的训练方法、图像分割方法、装置、设备制造方法及图纸

本申请公开了一种图像分割模型的训练方法、图像分割方法、装置、设备，涉及图像分割领域。该方法包括：对样本图像和尺度图像进行特征提取，得到样本图像的样本图像特征和尺度图像的尺度图像特征；计算类激活图得到样本图像的样本类激活图和尺度图像的尺度类激活图；调用解码器对样本图像特征进行解码得到样本图像的样本分割结果，调用解码器对尺度图像特征进行解码得到尺度图像的尺度分割结果；基于样本类激活图、样本分割结果、尺度类激活图和尺度分割结果计算类激活图损失和尺度损失；基于类激活图损失和尺度损失训练解码器。该方法提高图像分割的精度。高图像分割的精度。高图像分割的精度。

【技术实现步骤摘要】
图像分割模型的训练方法、图像分割方法、装置、设备


[0001]本申请涉及图像分割领域，特别涉及一种图像分割模型的训练方法、图像分割方法、装置、设备。

技术介绍

[0002]图像分割是指根据灰度、彩色、空间纹理、几何形状等特征把图像划分成若干个互不相交的区域，使得这些特征在同一区域内表现出一致性或相似性，而在不同区域间表现出明显的不同。简单的说就是在一副图像中，把前景目标从背景中分离出来。
[0003]相关技术中，采用阈值法进行图像分割。阈值法的基本思想是基于图像的灰度特征来计算一个或多个灰度阈值，并将图像中每个像素的灰度值与阈值作比较，最后将像素根据比较结果分到合适的类别中。因此，该方法最为关键的一步就是按照某个准则函数来求解最佳灰度阈值。
[0004]相关技术中的方法，需要目标具有明显的边缘或灰度差异，且只能基于图像像素值这种浅层特征进行目标判定，精度较低。

技术实现思路

[0005]本申请实施例提供了一种图像分割模型的训练方法、图像分割方法、装置、设备，可以提高图像分割的精度。所述技术方案如下。
[0006]根据本申请的一方面，提供了一种图像分割模型的训练方法，所述图像分割模型包括编码器和解码器，所述方法包括：
[0007]调用所述编码器对样本图像和尺度图像进行特征提取，得到所述样本图像的样本图像特征和所述尺度图像的尺度图像特征，所述尺度图像包括：放大所述样本图像得到的图像，或，缩小所述样本图像得到的图像中的至少一种；
[0008]基于所述样本图像特征计算类激活图得到所述样本图像的样本类激活图，基于所述尺度图像特征计算所述类激活图得到所述尺度图像的尺度类激活图；所述类激活图用于表示图像中各个像素点对所述图像的分类结果的影响程度；
[0009]调用所述解码器对所述样本图像特征进行解码得到所述样本图像的样本分割结果，调用所述解码器对所述尺度图像特征进行解码得到所述尺度图像的尺度分割结果；所述样本分割结果包括所述样本图像中各个像素点的分类概率值；
[0010]基于所述样本类激活图、所述样本分割结果、所述尺度类激活图和所述尺度分割结果计算类激活图损失，基于所述样本分割结果和所述尺度分割结果计算尺度损失；所述类激活图损失用于训练所述解码器使所述样本分割结果靠近所述样本类激活图，使所述尺度分割结果靠近所述尺度类激活图；所述尺度损失用于训练所述解码器使所述样本分割结果靠近所述尺度分割结果；
[0011]基于所述类激活图损失和所述尺度损失训练所述解码器。
[0012]根据本申请的另一方面，提供了一种图像分割模型的训练装置，所述图像分割模
型包括编码器和解码器，所述装置包括：
[0013]编码模块，用于调用所述编码器对样本图像和尺度图像进行特征提取，得到所述样本图像的样本图像特征和所述尺度图像的尺度图像特征，所述尺度图像包括：放大所述样本图像得到的图像，或，缩小所述样本图像得到的图像中的至少一种；
[0014]类激活图模块，用于基于所述样本图像特征计算类激活图得到所述样本图像的样本类激活图，基于所述尺度图像特征计算所述类激活图得到所述尺度图像的尺度类激活图；所述类激活图用于表示图像中各个像素点对所述图像的分类结果的影响程度；
[0015]解码模块，用于调用所述解码器对所述样本图像特征进行解码得到所述样本图像的样本分割结果，调用所述解码器对所述尺度图像特征进行解码得到所述尺度图像的尺度分割结果；所述样本分割结果包括所述样本图像中各个像素点的分类概率值；
[0016]损失模块，用于基于所述样本类激活图、所述样本分割结果、所述尺度类激活图和所述尺度分割结果计算类激活图损失，基于所述样本分割结果和所述尺度分割结果计算尺度损失；所述类激活图损失用于训练所述解码器使所述样本分割结果靠近所述样本类激活图，使所述尺度分割结果靠近所述尺度类激活图；所述尺度损失用于训练所述解码器使所述样本分割结果靠近所述尺度分割结果；
[0017]训练模块，用于基于所述类激活图损失和所述尺度损失训练所述解码器。
[0018]根据本申请的另一方面，提供了一种图像分割方法，所述方法包括：
[0019]获取输入图像；
[0020]调用编码器对输入图像进行特征提取，得到所述输入图像的输入图像特征；
[0021]调用解码器对所述输入图像特征进行解码，得到所述输入图像的图像分割结果，所述解码器是根据类激活图损失和尺度损失训练得到的，所述类激活图损失用于训练所述解码器输出靠近类激活图的分割结果，所述类激活图用于表示图像中各个像素点对所述图像的分类结果的影响程度，所述尺度损失用于训练所述解码器对图像内容相同、尺度不同的多个图像输出相近的分割结果。
[0022]根据本申请的另一方面，提供了一种图像分割装置，所述装置包括：
[0023]获取模块，用于获取输入图像；
[0024]特征提取模块，用于调用编码器对输入图像进行特征提取，得到所述输入图像的输入图像特征；
[0025]图像分割模块，用于调用解码器对所述输入图像特征进行解码，得到所述输入图像的图像分割结果，所述解码器是根据类激活图损失和尺度损失训练得到的，所述类激活图损失用于训练所述解码器输出靠近类激活图的分割结果，所述类激活图用于表示图像中各个像素点对所述图像的分类结果的影响程度，所述尺度损失用于训练所述解码器对图像内容相同、尺度不同的多个图像输出相近的分割结果。
[0026]根据本申请的另一方面，提供了一种计算机设备，所述计算机设备包括：处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上方面所述的图像分割模型的训练方法或图像分割方法。
[0027]根据本申请的另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、
所述代码集或指令集由处理器加载并执行以实现如上方面所述的图像分割模型的训练方法或图像分割方法。
[0028]根据本公开实施例的另一个方面，提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述可选实现方式中提供的图像分割模型的训练方法或图像分割方法。
[0029]本申请实施例提供的技术方案带来的有益效果至少包括如下的有益效果。
[0030]基于同一张图片，进行缩放后，其图像分割结果不应该改变的思想，使用样本图像和样本图像缩放后得到的尺度图像，分别输入编码器和解码器进行图像分割，得到两个图像的图像分割结果，基于两个图像分割结果可以计算得到在尺度损失，利用尺度损失来训练编码器，使两个图像分割结果相逼近，保证图像尺寸改变后图像分割结果不变。基于编码器本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像分割模型的训练方法，其特征在于，所述图像分割模型包括编码器和解码器，所述方法包括：调用所述编码器对样本图像和尺度图像进行特征提取，得到所述样本图像的样本图像特征和所述尺度图像的尺度图像特征，所述尺度图像包括：放大所述样本图像得到的图像，或，缩小所述样本图像得到的图像中的至少一种；基于所述样本图像特征计算类激活图得到所述样本图像的样本类激活图，基于所述尺度图像特征计算所述类激活图得到所述尺度图像的尺度类激活图；所述类激活图用于表示图像中各个像素点对所述图像的分类结果的影响程度；调用所述解码器对所述样本图像特征进行解码得到所述样本图像的样本分割结果，调用所述解码器对所述尺度图像特征进行解码得到所述尺度图像的尺度分割结果；所述样本分割结果包括所述样本图像中各个像素点的分类概率值；基于所述样本类激活图、所述样本分割结果、所述尺度类激活图和所述尺度分割结果计算类激活图损失，基于所述样本分割结果和所述尺度分割结果计算尺度损失；所述类激活图损失用于训练所述解码器使所述样本分割结果靠近所述样本类激活图，使所述尺度分割结果靠近所述尺度类激活图；所述尺度损失用于训练所述解码器使所述样本分割结果靠近所述尺度分割结果；基于所述类激活图损失和所述尺度损失训练所述解码器。2.根据权利要求1所述的方法，其特征在于，所述类激活图损失包括样本类激活图损失和尺度类激活图损失；所述基于所述样本类激活图、所述样本分割结果、所述尺度类激活图和所述尺度分割结果计算类激活图损失，基于所述样本分割结果和所述尺度分割结果计算尺度损失，包括：基于所述样本类激活图和所述样本分割结果计算所述样本类激活图损失；基于所述尺度类激活图和所述尺度分割结果计算所述尺度类激活图损失；基于所述样本分割结果和所述尺度分割结果计算所述尺度损失。3.根据权利要求2所述的方法，其特征在于，所述基于所述样本分割结果和所述尺度分割结果计算所述尺度损失，包括：根据所述样本图像和所述尺度图像的尺度关系，将所述样本分割结果缩放至与所述尺度分割结果相同的尺寸，得到缩放后的样本分割结果；基于所述尺度分割结果与所述缩放后的样本分割结果的误差，计算所述尺度损失。4.根据权利要求2所述的方法，其特征在于，所述基于所述样本类激活图和所述样本分割结果计算所述样本类激活图损失，包括：将所述样本类激活图和所述样本分割结果的交叉熵确定为所述样本类激活图损失；所述基于所述尺度类激活图和所述尺度分割结果计算所述尺度类激活图损失，包括：将所述尺度类激活图和所述尺度分割结果的交叉熵确定为所述尺度类激活图损失。5.根据权利要求2至4任一所述的方法，其特征在于，所述基于所述类激活图损失和所述尺度损失训练所述解码器，包括：计算所述样本类激活图损失、所述尺度类激活图损失和所述尺度损失的加权和；根据所述加权和训练所述解码器。6.根据权利要求1至4任一所述的方法，其特征在于，所述图像分割模型还包括经过预
训练的全连接层；所述方法还包括：调用所述全连接层对所述样本图像特征进行分类预测得到所述样本图像的样本分类结果；调用所述全连接层对所述尺度图像特征进行分类预测得到所述尺度图像的尺度分类结果；所述基于所述样本图像特征和所述尺度图像特征计算类激活图，得到所述样本图像的样本类激活图和所述尺度图像的尺度类激活图，包括：基于所述样本图像特征和所述样本分类结果计算得到所述样本图像的所述样本类激活图；基于所述尺度图像特征和所述尺度分类结果计算得到所述尺度图像的所述尺度类激活图。7.根据权利要求1至4任一所述的方法，其特征在于，所述编码器是经过预训练的编码器；所述调用编码器对样本图像和尺度图像进行特征提取之前，还包括：根据已训练完毕的图像分类模型中分类编码器的参数，设置所述编码器的参数，所述图像分类模型与所述图像分割模型的分类目标相同。8.根据权利要求6所述的方法，其特征在于，所述方法还包括：根据已训练完毕的图像分类模型中...

【专利技术属性】
技术研发人员：卢东焕，马锴，郑冶枫，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：