分割模型的训练方法、图像分割方法、装置、设备和介质制造方法及图纸

本公开提供了一种分割模型的训练方法，涉及人工智能技术领域，尤其涉及计算机视觉技术领域和深度学习技术领域，可应用于智慧城市场景下。具体实现方案为：将第一样本图像输入第一分割模型，得到第一分割模型的第一中间网络的梯度信息；根据第一中间网络的梯度信息和第一中间网络输出的第一中间特征，得到与第一中间网络对应的第一中间掩码特征；根据至少一个第二中间掩码特征和至少一个第一中间掩码特征，确定第一蒸馏损失，其中，至少一个第二中间掩码特征是根据第二中间网络的梯度信息和第二中间网络输出的至少一个第二中间特征得到的；以及根据第一蒸馏损失，训练第一分割模型。本公开还提供了一种图像分割方法、装置、电子设备和存储介质。设备和存储介质。设备和存储介质。

【技术实现步骤摘要】
分割模型的训练方法、图像分割方法、装置、设备和介质


[0001]本公开涉及人工智能
，尤其涉及计算机视觉
和深度学习
，可应用于智慧城市场景下。更具体地，本公开提供了一种分割模型的训练方法、图像分割方法、装置、电子设备和存储介质。

技术介绍

[0002]随着人工智能技术的发展，深度学习模型的应用场景不断增加。可以基于模型蒸馏技术，提升图像分割模型性能。

技术实现思路

[0003]本公开提供了一种分割模型的训练方法、图像分割方法、装置、设备以及存储介质。
[0004]根据本公开的一方面，提供了一种分割模型的训练方法，该方法包括：将第一样本图像输入第一分割模型，得到第一分割模型的第一中间网络的梯度信息；根据第一中间网络的梯度信息和第一中间网络输出的至少一个第一中间特征，得到与第一中间网络对应的至少一个第一中间掩码特征；根据至少一个第二中间掩码特征和至少一个第一中间掩码特征，确定第一蒸馏损失，其中，至少一个第二中间掩码特征与第二分割模型的第二中间网络对应，至少一个第二中间掩码特征是根据第二中间网络的梯度信息和第二中间网络输出的至少一个第二中间特征得到的，第二中间网络的梯度信息是将第二样本图像输入第二分割模型得到的，第二分割模型的参数量大于第一分割模型的参数量；以及根据第一蒸馏损失，训练第一分割模型。
[0005]根据本公开的另一方面，提供了一种图像分割方法，该方法包括：将目标图像输入第一分割模型，得到目标分割结果，其中，目标分割结果包括目标图像中目标实例的目标掩码以及目标实例的类别，第一分割模型是利用本公开提供的方法训练的
[0006]根据本公开的另一方面，提供了一种分割模型的训练装置，该装置包括：第一获得模块，用于将第一样本图像输入第一分割模型，得到第一分割模型的第一中间网络的梯度信息；第二获得模块，用于根据第一中间网络的梯度信息和第一中间网络输出的至少一个第一中间特征，得到与第一中间网络对应的至少一个第一中间掩码特征；第一确定模块，用于根据至少一个第二中间掩码特征和至少一个第一中间掩码特征，确定第一蒸馏损失，其中，至少一个第二中间掩码特征与第二分割模型的第二中间网络对应，至少一个第二中间掩码特征是根据第二中间网络的梯度信息和第二中间网络输出的至少一个第二中间特征得到的，第二中间网络的梯度信息是将第二样本图像输入第二分割模型得到的，第二分割模型的参数量大于第一分割模型的参数量；以及训练模块，用于根据第一蒸馏损失，训练第一分割模型。
[0007]根据本公开的另一方面，提供了一种图像分割装置，该装置包括：第三获得模块，用于将目标图像输入第一分割模型，得到目标分割结果，其中，目标分割结果包括目标图像
中目标实例的目标掩码以及目标实例的类别，第一分割模型是利用本公开提供的装置训练的。
[0008]根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行根据本公开提供的方法。
[0009]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行根据本公开提供的方法。
[0010]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现根据本公开提供的方法。
[0011]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0012]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0013]图1是根据本公开的一个实施例的分割模型的示意图；
[0014]图2是根据本公开的一个实施例的分割模型的训练方法的流程图；
[0015]图3是根据本公开的一个实施例的第一蒸馏损失的示意图；
[0016]图4是根据本公开的一个实施例的确定第二蒸馏损失和注意力蒸馏损失的示意图；
[0017]图5是根据本公开的一个实施例的注意力机制的示意图；
[0018]图6A是根据本公开的一个实施例的第一输出网络的示意图；
[0019]图6B是根据本公开的一个实施例的确定蒸馏损失的示意图；
[0020]图7是根据本公开的另一个实施例的图像分割方法的流程图
[0021]图8是根据本公开的一个实施例的分割模型的训练装置的框图；
[0022]图9是根据本公开的一个实施例的图像分割装置的框图；以及
[0023]图10是根据本公开的一个实施例的可以应用图像分割方法的电子设备的框图。
具体实施方式
[0024]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0025]大模型可以具有大量的参数，可以具有保存图像先验知识的能力。大模型的应用场景在不断的增加。大模型可以快速提高图像处理结果的精度。然而，大模型的参数量大，模型响应速度较慢。大模型难以适应对模型的处理速度有较高要求的场景。由此，可以基于知识蒸馏技术，根据大模型学习到的知识来训练小模型，以便在不损失太多模型性能的情况下进行模型压缩。
[0026]图像分割技术可以包括语义分割技术和实例分割技术。实例分割的目的包括：将图像中全部的对象都区分出来，以及确定图像中像素对应的实例。实例的类别可以是预先
设置的。例如，以图像中包括多个人为例，实例可以对应单个人，也可以对应距离较近的多个人(即人群)。与语义分割相比，实例分割的实现难度较大。图像中的对象的类别可以属于一个语义类别集合，但实例的数量是可变的。语义分割可以通过密集的、逐像素点的分类技术实现。然而，实例分割难以通过该分类技术实现。
[0027]在一些实施例中，可以基于自上而下的模式，进行实例分割。例如，可以对图像进行目标检测，得到图像中对象的检测框。对检测框内的局部图像进行分割，可以得到对象的掩码。然而，在目标检测的结果准确的情况下，基于自上而下的模式进行实例分割可以得到较为准确的结果。
[0028]在一些实施例中，可以基于自下而上的模式，也可以进行实例分割。例如，可以利用嵌入(embedding)向量处理图像中像素，使得相同实例的多个像素之间距离减少，并使得不同实例的多个像素之间的距离增加。在进行嵌入处理后，可以进行聚合处理，以获取图像中的实例。然而，自下而上的模式对嵌入处理和聚合处理的准确性要求较高。
[0029]深度学习模型可以用于实现实例分割。例如，基于自上而下的模式，可以训练出用于先检测再分割的多阶段实例分割模型。又例如，可以训练单阶段实例分割模型，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分割模型的训练方法，包括：将第一样本图像输入第一分割模型，得到所述第一分割模型的第一中间网络的梯度信息；根据所述第一中间网络的梯度信息和所述第一中间网络输出的至少一个第一中间特征，得到与所述第一中间网络对应的至少一个第一中间掩码特征；根据至少一个第二中间掩码特征和至少一个所述第一中间掩码特征，确定第一蒸馏损失，其中，至少一个所述第二中间掩码特征与第二分割模型的第二中间网络对应，至少一个所述第二中间掩码特征是根据所述第二中间网络的梯度信息和所述第二中间网络输出的至少一个第二中间特征得到的，所述第二中间网络的梯度信息是将第二样本图像输入所述第二分割模型得到的，所述第二分割模型的参数量大于所述第一分割模型的参数量；以及根据所述第一蒸馏损失，训练所述第一分割模型。2.根据权利要求1所述的方法，其中，所述第一中间网络的梯度信息包括至少一个所述第一中间特征的梯度信息，所述第一中间特征的梯度信息包括所述第一中间特征的多个第一中间特征值各自的梯度，所述根据所述第一中间网络的梯度信息和所述第一中间网络输出的至少一个第一中间特征，得到与所述第一中间网络对应的至少一个第一中间掩码特征包括：根据预设梯度阈值和所述第一中间特征的多个第一中间特征值各自的梯度，得到所述第一中间掩码特征。3.根据权利要求2所述的方法，其中，所述根据预设梯度阈值和所述第一中间特征的多个第一中间特征值各自的梯度，得到第一中间掩码特征包括：针对第一中间特征的多个第一中间特征值，将梯度大于或等于所述预设梯度阈值的所述第一中间特征值替换为第一预设值以及将梯度小于所述预设梯度阈值的所述第一中间特征值替换为第二预设值，得到所述第一中间掩码特征。4.根据权利要求1所述的方法，其中，所述第二中间网络的梯度信息包括至少一个所述第二中间特征的梯度信息，所述第二中间特征的梯度信息包括所述第二中间特征的多个第二中间特征值各自的梯度，所述第二中间掩码特征是根据预设梯度阈值和所述第二中间特征的多个第二中间特征值各自的梯度得到的。5.根据权利要求1所述的方法，其中，所述根据所述第一蒸馏损失，训练所述第一分割模型包括：利用注意力机制处理至少一个所述第一中间掩码特征，得到至少一个第一注意力特征；根据至少一个第二注意力特征和至少一个所述第一注意力特征，确定注意力蒸馏损失，其中，至少一个所述第二注意力特征是利用注意力机制处理至少一个第二中间掩码特征得到的；根据所述第一蒸馏损失和所述注意力蒸馏损失，训练所述第一分割模型。6.根据权利要求1所述的方法，其中，所述根据所述第一蒸馏损失，训练所述第一分割模型包括：对至少一个所述第一中间掩码特征进行归一化处理，得到至少一个第一中间归一化特
征；根据至少一个第二中间归一化特征和至少一个所述第一中间归一化特征，确定第二蒸馏损失，其中，至少一个所述第二中间归一化特征是对至少一个所述第二中间掩码特征进行归一化处理得到的；根据所述第一蒸馏损失和所述第二蒸馏损失，训练所述第一分割模型。7.根据权利要求1所述的方法，其中，所述第一分割模型还包括第一输出网络，所述将第一样本图像输入第一分割模型还包括：将所述第一样本图像输入所述第一分割模型，得到所述第一输出网络输出的第一分割特征。8.根据权利要求6所述的方法，其中，所述第二分割模型还包括第二输出网络，所述根据第一蒸馏损失，训练第一分割模型包括：根据第二分割特征和所述第一分割特征，确定第三蒸馏损失，其中，所述第二分割特征与所述第二输出网络对应，所述第二分割特征是将所述第二样本图像输入所述第二分割模型得到的；根据所述第一蒸馏损失和所述第三蒸馏损失，训练所述第一分割模型。9.根据权利要求1所述的方法，其中，所述第一分割模型还包括第一输出网络，所述将第一样本图像输入第一分割模型还包括：将所述第一样本图像输入所述第一分割模型，得到所述第一输出网络输出的第一实例特征和第一类别特征，其中，所述第一实例特征用于指示所述第一样本图像中的第一样本像素是否属于一个样本实例，所述第一类别特征用于指示所述第一样本图像中至少一个样本实例的类别。10.根据权利要求8所述的方法，其中，所述根据第一蒸馏损失，训练所述第一分割模型包括：根据所述第一实例特征和所述第一类别特征，确定第一通道维度特征；根据第二通道维度特征和所述第一通道维度特征，确定通道维度蒸馏损失，其中，所述第二通道维度特征是根据所述第二实例特征和所述第二类别特征确定的，所述第二实例特征和所述第二类别特征是将所述第二样本图像输入所述第二分割模型得到的；以及根据所述第一蒸馏损失和所述通道维度蒸馏损失，训练所述第一分割模型。11.根据权利要求1所述的方法，其中，所述根据第一蒸馏损失，训练所述第一分割模型包括：根据所述第一分割模型输出的第一分割结果和所述第一样本图像的第一标签，确定分割损失；根据所述第一蒸馏损失和所述分割损失，训练所述第一分割模型。12.根据权利要求1所述的方法，其中，所述第一分割模型为第一实例分割模型，所述第二分割模型为第二实例分割模型。13.一种图像分割方法，包括：将目标图像输入第一分割模型，得到目标分割结果，其中，所述目标分割结果包括所述目标图像中目标实例的目标掩码以及所述目标实例的类别，所述第一分割模型是利用如权利要求1至11任一项所述的方法训练的。
14.一种分割模型的训练装置，包括：第一获得模块，用于将第一样本图像输入第一分割模型，得到所述第一分割模型的第一中间网络的梯度信息；第二获得模块，用于根据所述第一中间网络的梯度信息和所述第一中间网络输出的至少一个第一中间特征，得到与所述第一中间网络对应的至少一个第一中间掩码特...

【专利技术属性】
技术研发人员：沈智勇，赵一麟，陆勤，龚建，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：