一种图像的语义分割方法、装置、电子设备及存储介质制造方法及图纸

本公开实施例公开了一种图像的语义分割方法、装置、电子设备及存储介质，该方法包括：将待分割图像输入学生模型；学生模型根据第一教师模型和第二教师模型提供的监督信息训练得到，其中第一教师模型的深度大于学生模型的深度和第二教师模型的深度，第二教师模型的宽度大于学生模型的宽度和第一教师模型的宽度；基于学生模型输出待分割图像的语义分割结果。通过利用更深、更宽的两个教师模型，为轻量化的学生模型提供不同方面的监督信息，能够实现从两个复杂模型到简单模型的知识蒸馏，可以保证基于监督信息训练的学生模型具有较佳的语义分割效果。并且，轻量化的学生模型可以大大减少资源耗费，有利于资源受限设备上的模型部署。署。署。

【技术实现步骤摘要】
一种图像的语义分割方法、装置、电子设备及存储介质


[0001]本公开实施例涉及计算机
，尤其涉及一种图像的语义分割方法、装置、电子设备及存储介质。

技术介绍

[0002]图像语义分割技术是以语义属性作为划分标准实现逐像素分类预测的技术。
[0003]现有技术中，为保证语义分割效果，语义分割模型的深度、宽度通常较大。其中，模型的深度可以认为是模型的网络层数，模型的宽度可以认为是每层网络中的通道数。
[0004]现有技术的不足之处至少包括：应用大体量的语义分割模型需要以大量的资源作为代价，例如需要消耗大量计算资源和部署空间资源等。这对将语义分割模型部署至资源受限的设备带来巨大挑战。

技术实现思路

[0005]本公开实施例提供了一种图像的语义分割方法、装置、电子设备及存储介质，能够在保证语义分割效果的基础上，采用轻量化模型实现图像语义分割，大大减少了资源耗费，有利于资源受限设备上的模型部署。
[0006]第一方面，本公开实施例提供了一种图像的语义分割方法，包括：
[0007]将待分割图像输入学生模型；所述学生模型根据第一教师模型和第二教师模型提供的监督信息训练得到，其中所述第一教师模型的深度大于所述学生模型的深度和所述第二教师模型的深度，所述第二教师模型的宽度大于所述学生模型的宽度和所述第一教师模型的宽度；
[0008]基于所述学生模型输出所述待分割图像的语义分割结果。
[0009]第二方面，本公开实施例还提供了一种图像的语义分割装置，包括：
[0010]输入模块，用于将待分割图像输入学生模型；所述学生模型根据第一教师模型和第二教师模型提供的监督信息训练得到，其中所述第一教师模型的深度大于所述学生模型的深度和所述第二教师模型的深度，所述第二教师模型的宽度大于所述学生模型的宽度和所述第一教师模型的宽度；
[0011]输出模块，用于基于所述学生模型输出所述待分割图像的语义分割结果。
[0012]第三方面，本公开实施例还提供了一种电子设备，所述电子设备包括：
[0013]一个或多个处理器；
[0014]存储装置，用于存储一个或多个程序，
[0015]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本公开实施例任一所述的图像的语义分割方法。
[0016]第四方面，本公开实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本公开实施例任一所述的图像的语义分割方法。
[0017]本公开实施例的技术方案，将待分割图像输入学生模型；学生模型根据第一教师模型和第二教师模型提供的监督信息训练得到，其中第一教师模型的深度大于学生模型的深度和第二教师模型的深度，第二教师模型的宽度大于学生模型的宽度和第一教师模型的宽度；基于学生模型输出待分割图像的语义分割结果。通过利用更深、更宽的两个教师模型，为轻量化的学生模型提供不同方面的监督信息，能够实现从两个复杂模型到简单模型的知识蒸馏，可以保证基于监督信息训练的学生模型具有较佳的语义分割效果。并且，轻量化的学生模型可以大大减少资源耗费，有利于资源受限设备上的模型部署。
附图说明
[0018]结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
[0019]图1为本公开实施例一所提供的一种图像的语义分割方法的流程示意图；
[0020]图2为本公开实施例二所提供的一种图像的语义分割方法中学生模型的训练步骤的流程示意图；
[0021]图3为本公开实施例四所提供的一种图像的语义分割装置的结构示意图；
[0022]图4为本公开实施例五所提供的一种电子设备的结构示意图。
具体实施方式
[0023]下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
[0024]应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
[0025]本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
[0026]需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
[0027]需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
[0028]实施例一
[0029]图1为本公开实施例一所提供的一种图像的语义分割方法流程示意图，本公开实施例适用于基于轻量化模型进行图像语义分割的情形。该方法可以由图像的语义分割装置来执行，该装置可以通过软件和/或硬件的形式实现，该装置可配置于电子设备中，例如配置于手机、电脑等电子设备中。
[0030]如图1所示，本实施例提供的图像的语义分割方法，可以包括：
[0031]S110、将待分割图像输入学生模型；学生模型根据第一教师模型和第二教师模型提供的监督信息训练得到，其中第一教师模型的深度大于学生模型的深度和第二教师模型的深度，第二教师模型的宽度大于学生模型的宽度和第一教师模型的宽度。
[0032]通过图像语义分割能够得到图像中各对象的语义以及位置坐标，因此在围绕场景理解展开的诸多领域中具有巨大实用价值。针对不同领域，待分割图像各不相同。例如，在自动驾驶领域，待分割图像可以为实时的道路图像。通过对实时道路图像进行语义分割(例如对图像中的行人、车辆进行分割)，可以为自动驾驶任务奠定坚实的基础。此外，本实施例的语义分割方法也可以对其他各领域对应的待分割图像进行语义分割，在此不做穷举。
[0033]本公开实施例中，学生模型可以认为是较浅、较窄的轻量化模型；第一教师模型可以认为是较深、较窄的大体量模型；第二教师模型可以认为是较浅、较宽的大体量模型。其中，第一教师模型在深度维度上可以大于学生模型和第二教师模型，且第二教师模型的深度可以大于学生模型；第二教师模型在宽度维度上可以大于学生模型和第一教师模型，且第一教师模型的宽度可以不小于学生模型。其中，第一教师模型、第二教师模型和学生模型本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像的语义分割方法，其特征在于，包括：将待分割图像输入学生模型；所述学生模型根据第一教师模型和第二教师模型提供的监督信息训练得到，其中所述第一教师模型的深度大于所述学生模型的深度和所述第二教师模型的深度，所述第二教师模型的宽度大于所述学生模型的宽度和所述第一教师模型的宽度；基于所述学生模型输出所述待分割图像的语义分割结果。2.根据权利要求1所述的方法，其特征在于，所述学生模型根据下述步骤训练得到：基于所述第一教师模型、所述第二教师模型和所述学生模型，分别输出样本图像的第一分割结果、第二分割结果和第三分割结果；根据所述第一分割结果、第二分割结果和第三分割结果确定学生模型的全局语义损失，局部特征损失和一致性损失；将所述全局语义损失、所述局部特征损失和所述一致性损失作为监督信息，训练所述学生模型。3.根据权利要求2所述的方法，其特征在于，所述根据所述第一分割结果、第二分割结果和第三分割结果确定学生模型的全局语义损失，局部特征损失和一致性损失，包括：根据所述第三分割结果与所述第一分割结果的差异，确定所述学生模型的全局语义损失；根据所述学生模型确定的用于生成所述第三分割结果的特征图像，与所述第二教师模型确定的用于生成所述第二分割结果的特征图像之间的差异，确定所述学生模型的局部特征损失；根据所述第三分割结果分别与所述第一分割结果和所述第二分割结果的差异，确定所述学生模型的一致性损失。4.根据权利要求3所述的方法，其特征在于，所述全局语义损失根据下述步骤确定：将所述第一分割结果和所述第三分割结果进行逐通道池化，分别得到第一全局向量和第二全局向量；将所述第一全局向量和所述第二全局向量间各维度的差值之和，作为所述学生模型的全局语义损失。5.根据权利要求3所述的方法，其特征在于，所述局部特征损失根据下述步骤确定：将所述第二教师模型确定的特征图像和所述学生模型确定的特征图像进行逐通道、逐像素求取特征差值，并根据各所述特征差值确定局部特征损失。6.根据权利要求3所述的方法，其特征在于，所述一致性损失根据下述步骤确定：将所述第三分割结果分别与所述第一分割结果和所述第二分割...

【专利技术属性】
技术研发人员：吴捷，覃杰，肖学锋，
申请(专利权)人：北京字跳网络技术有限公司，
类型：发明
国别省市：