图像分割模型训练、图像分割方法、装置及电子设备制造方法及图纸

本公开关于一种图像分割模型训练、图像分割方法、装置及电子设备，该图像分割模型训练方法包括获取表征训练样本和预测样本的类别特征的目标类别特征信息和其关联场景特征信息；对目标类别特征信息和关联场景特征信息进行拼接处理；将拼接处理得到的第一拼接特征信息输入初始生成网络进行图像合成处理；将合成处理得到的第一合成图像输入初始判别网络进行真实性判别；将第一合成图像输入初始图像分割模型的分类网络进行图像分割，得到第一图像分割结果；基于第一图像判别结果、第一图像分割结果和目标类型特征信息训练初始图像分割模型的分类网络，得到目标图像分割模型。利用本公开实施例可以提升训练出的目标图像分割模型的图像分割精度。模型的图像分割精度。模型的图像分割精度。

【技术实现步骤摘要】
图像分割模型训练、图像分割方法、装置及电子设备


[0001]本公开涉及人工智能
，尤其涉及一种图像分割模型训练、图像分割方法、装置及电子设备。

技术介绍

[0002]人工智能(Artificial Intelligence，AI)技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。其中，利用人工智能技术进行图像分割，在视频监控、公共安全等多个领域发挥着重要的作用。
[0003]相关技术中，由于构建训练样本的成本高，难度大，基于未知类别的词向量自动合成图片像素特征的零样本分割技术方案在业界大受欢迎。但零样本分割技术由于只有文本信息参与图像分割模型的训练，存在分割精度低，易出错的问题。

技术实现思路

[0004]本公开提供一种图像分割模型训练、图像分割方法、装置及电子设备，以至少解决相关技术中分割精度低，易出错的问题。本公开的技术方案如下：根据本公开实施例的第一方面，提供一种图像分割模型训练方法，包括：获取目标类别特征信息和所述目标类别特征信息的关联场景特征信息，所述目标类别特征信息表征训练样本和预测样本的类别特征；对所述目标类别特征信息和所述关联场景特征信息进行拼接处理，得到第一拼接特征信息；将所述第一拼接特征信息输入初始生成网络进行图像合成处理，得到第一合成图像；将所述第一合成图像输入初始判别网络进行真实性判别，得到第一图像判别结果；将所述第一合成图像输入初始图像分割模型的分类网络进行图像分割，得到第一图像分割结果；基于所述第一图像判别结果、所述第一图像分割结果和所述目标类型特征信息训练所述初始图像分割模型的分类网络，得到目标图像分割模型。
[0005]可选的，所述关联场景特征信息的获取步骤包括：获取场景图像集，将所述场景图像集输入场景识别模型进行场景识别，得到场景信息集；将所述场景信息集输入目标词向量模型，得到场景特征信息集；计算所述目标类别特征信息与所述场景特征信息集中场景特征信息间的相似度；基于所述相似度从所述场景特征信息集中确定所述关联场景特征信息。
[0006]可选的，所述获取目标类别特征信息包括：获取所述训练样本和所述预测样本的类别信息；将所述类别信息输入目标词向量模型，得到所述目标类别特征信息。
[0007]可选的，所述基于所述第一图像判别结果、所述第一图像分割结果和所述目标类
型特征信息训练所述初始图像分割模型的分类网络，得到目标图像分割模型包括：利用所述第一图像判别结果和所述第一合成图像的真实性标签计算第一判别损失；利用所述第一图像分割结果和所述目标类型特征信息计算第一分割损失；根据所述第一判别损失和所述第一分割损失，确定第一目标损失；在所述第一目标损失不满足第一预设条件的情况下，更新所述初始图像分割模型的分类网络、所述初始生成网络和所述初始判别网络中的网络参数；基于更新后初始图像分割模型的分类网络、初始生成网络和初始判别网络更新所述第一目标损失，至所述第一目标损失满足所述第一预设条件，将当前的初始图像分割模型作为所述目标图像分割模型。
[0008]可选的，所述方法还包括：获取所述训练样本、所述训练样本的训练场景特征信息和所述训练样本的训练类别特征信息；将所述训练样本输入待训练分割模型的特征提取网络进行特征提取，得到分割特征图像；对所述训练类别特征信息与所述训练场景特征信息进行拼接处理，得到第二拼接特征信息；将所述第二拼接特征信息输入待训练生成网络进行图像合成处理，得到第二合成图像；将所述第二合成图像和所述分割特征图像输入所述待训练分割模型的分类网络，分别进行图像分割，得到所述第二合成图像对应的第二图像分割结果和所述分割特征图像对应的第三图像分割结果；将所述分割特征图像和所述第二合成图像输入待训练判别网络，分别进行真实性判别，得到所述分割特征图像对应的第二图像判别结果和所述第二合成图像对应的第三图像判别结果；基于所述第二合成图像、所述分割特征图像、所述第二图像分割结果、所述第三图像分割结果、所述训练类型特征信息、所述第二图像判别结果和所述第三图像判别结果训练所述待训练分割模型、所述待训练生成网络和所述待训练判别网络，得到所述初始图像分割模型、所述初始生成网络和所述初始判别网络。
[0009]可选的，所述基于所述第二合成图像、所述分割特征图像、所述第二图像分割结果、所述第三图像分割结果、所述训练类型特征信息、所述第二图像判别结果和所述第三图像判别结果训练所述待训练分割模型、所述待训练生成网络和所述待训练判别网络，得到所述初始图像分割模型、所述初始生成网络和所述初始判别网络包括：利用所述第二合成图像和所述分割特征图像计算内容损失；利用所述第二图像分割结果、所述第三图像分割结果和所述训练类型特征信息，计算第二分割损失；利用所述第二图像判别结果和所述第三图像判别结果计算第二判别损失；根据所述内容损失、所述第二判别损失和所述第二分割损失，确定第二目标损失；在所述第二目标损失不满足第二预设条件的情况下，更新所述待训练分割模型、所述待训练生成网络和所述待训练判别网络中的网络参数；
基于更新后待训练分割模型、待训练生成网络和待训练判别网络更新所述第二目标损失，至所述第二目标损失满足所述第二预设条件，将当前的待训练分割模型作为初始图像分割模型，将当前的待训练生成网络作为所述初始生成网络，将当前的待训练判别网络作为所述初始判别网络。
[0010]根据本公开实施例的第二方面，提供一种图像分割模型训练装置，包括：特征信息获取模块，被配置为执行获取目标类别特征信息和所述目标类别特征信息的关联场景特征信息，所述目标类别特征信息表征训练样本和预测样本的类别特征；第一拼接处理模块，被配置为执行对所述目标类别特征信息和所述关联场景特征信息进行拼接处理，得到第一拼接特征信息；第一图像合成处理模块，被配置为执行将所述第一拼接特征信息输入初始生成网络进行图像合成处理，得到第一合成图像；第一真实性判别模块，被配置为执行将所述第一合成图像输入初始判别网络进行真实性判别，得到第一图像判别结果；第一图像分割模块，被配置为执行将所述第一合成图像输入初始图像分割模型的分类网络进行图像分割，得到第一图像分割结果；模型训练模块，被配置为执行基于所述第一图像判别结果、所述第一图像分割结果和所述目标类型特征信息训练所述初始图像分割模型的分类网络，得到目标图像分割模型。
[0011]可选的，所述特征信息获取模块包括：场景图像集获取单元，被配置为执行获取场景图像集；场景识别单元，被配置为执行将所述场景图像集输入场景识别模型进行场景识别，得到场景信息集；场景特征信息集获取单元，被配置为执行将所述场景信息集输入目标词向量模型，得到场景特征信息集；相似度计算单元，被配置为执行计算所述目标类别特征信息与所述场景特征信息集中场景特征信息间的相似度；关联场景特征信息确定单元，被配置为执行基于所述相似度从所述场景特征信息集中确定所述关联场景特征信息。
[0012]可选的，所述特征信息获取模块包括：类别信息获取单元，被配置为执行获取所述训练样本和所述预测样本的类别信息；目标类别特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像分割模型训练方法，其特征在于，包括：获取目标类别特征信息和所述目标类别特征信息的关联场景特征信息，所述目标类别特征信息表征训练样本和预测样本的类别特征；对所述目标类别特征信息和所述关联场景特征信息进行拼接处理，得到第一拼接特征信息；将所述第一拼接特征信息输入初始生成网络进行图像合成处理，得到第一合成图像；将所述第一合成图像输入初始判别网络进行真实性判别，得到第一图像判别结果；将所述第一合成图像输入初始图像分割模型的分类网络进行图像分割，得到第一图像分割结果；基于所述第一图像判别结果、所述第一图像分割结果和所述目标类型特征信息训练所述初始图像分割模型的分类网络，得到目标图像分割模型。2.根据权利要求1所述的图像分割模型训练方法，其特征在于，所述关联场景特征信息的获取步骤包括：获取场景图像集，将所述场景图像集输入场景识别模型进行场景识别，得到场景信息集；将所述场景信息集输入目标词向量模型，得到场景特征信息集；计算所述目标类别特征信息与所述场景特征信息集中场景特征信息间的相似度；基于所述相似度从所述场景特征信息集中确定所述关联场景特征信息。3.根据权利要求1所述的图像分割模型训练方法，其特征在于，所述获取目标类别特征信息包括：获取所述训练样本和所述预测样本的类别信息；将所述类别信息输入目标词向量模型，得到所述目标类别特征信息。4.根据权利要求1所述的图像分割模型训练方法，其特征在于，所述基于所述第一图像判别结果、所述第一图像分割结果和所述目标类型特征信息训练所述初始图像分割模型的分类网络，得到目标图像分割模型包括：利用所述第一图像判别结果和所述第一合成图像的真实性标签计算第一判别损失；利用所述第一图像分割结果和所述目标类型特征信息计算第一分割损失；根据所述第一判别损失和所述第一分割损失，确定第一目标损失；在所述第一目标损失不满足第一预设条件的情况下，更新所述初始图像分割模型的分类网络、所述初始生成网络和所述初始判别网络中的网络参数；基于更新后初始图像分割模型的分类网络、初始生成网络和初始判别网络更新所述第一目标损失，至所述第一目标损失满足所述第一预设条件，将当前的初始图像分割模型作为所述目标图像分割模型。5.根据权利要求1至4任一所述的图像分割模型训练方法，其特征在于，所述方法还包括：获取所述训练样本、所述训练样本的训练场景特征信息和所述训练样本的训练类别特征信息；将所述训练样本输入待训练分割模型的特征提取网络进行特征提取，得到分割特征图像；
对所述训练类别特征信息与所述训练场景特征信息进行拼接处理，得到第二拼接特征信息；将所述第二拼接特征信息输入待训练生成网络进行图像合成处理，得到第二合成图像；将所述第二合成图像和所述分割特征图像输入所述待训练分割模型的分类网络，分别进行图像分割，得到所述第二合成图像对应的第二图像分割结果和所述分割特征图像对应的第三图像分割结果；将所述分割特征图像和所述第二合成图像输入待训练判别网络，分别进行真实性判别，得到所述分割特征图像对应的第二图像判别结果和所述第二合成图像对应的第三图像判别结果；基于所述第二合成图像、所述分割特征图像、所述第二图像分割结果、所述第三图像分割结果、所述训练类型特征信息、所述第二图像判别结果和所述第三图像判别结果训练所述待训练分割模型、所述待训练生成网络和所述待训练判别网络，得到所述初始图像分割模型、所述初始生成网络和所述初始判别网络。6.根据权利要求5所述的图像分割模型训练方法，其特征在于，所述基于所述第二合成图像、所述分割特征图像、所述第二图像分割结果、所述第三图像分割结果、所述训练类型特征信息、所述第二图像判别结果和所述第三图像判别结果训练所述待训练分割模型、所述待训练生成网络和所述待训练判别网络，得到所述初始图像分割模型、所述初始生成网络和所述初始判别网络包括：利用所述第二合成图像和所述分割特征图像计算内容损失；利用所述第二图像分割结果、所述第三图像分割结果和所述训练类型特征信息，计算第二分割损失；利用所述第二图像判别结果和所述第三图像判别结果计算第二判别损失；根据所述内容损失、所述第二判别损失和所述第二分割损失，确定第二目标损失；在所述第二目标损失不满足第二预设条件的情况下，更新所述待训练分割模型、所述待训练生成网络和所述待训练判别网络中的网络参数；基于更新后待训练分割模型、待训练生成网络和待训练判别网络更新所述第二目标损失，至所述第二目标损失满足所述第二预设条件，将当前的待训练分割模型作为初始图像分割模型，将当前的待训练生成网络作为所述初始生成网络，将当前的待训练判别网络作为所述初始判别网络。7.一种图像分割方法，其特征在于，包括：获取待分割图像；将所述待分割图像输入根据权利要求1至6任一图像分割模型训练方法训练得到的目标图像分割模型，对所述待分割图像进行图像分割，得到目标分割图像。8.一种图像分割模型训练装置，其特征在于，包括：特征信息获取模块，被配置为执行获取目标类别特征信息和所述目标类别特征信息的关联场景特征信息，所述目标类别特征信息表征训练样本和预测样本的类别特征；第一拼接处理模块，被配置为执行对所述目标类别特征信息和所述关联场景特征信息进行拼接处理，得到第一拼接特征信息；
第一图像合成处理模块，被配置为执行将所述第一拼接特征信息输入初始生成网络进行图像合成处理，得到第一合成图像；第一真实性判别模块，被配置为执行将所述第一合成图像输入初始判别网络进行真实性判别，得到第一图像判别结果；第一图像分割模块，被配置为执行将所述第...

【专利技术属性】
技术研发人员：申世伟，李家宏，李思则，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：