图像分割模型训练、图像分割方法、装置、设备及介质制造方法及图纸

本申请公开了图像分割模型训练、图像分割方法、装置、设备及介质，基于第一训练集中的第一样本图像和其对应的第一标注信息完成对图像分割模型中的第一分割模块进行训练，基于训练完成的第一分割模块，对第二训练集中的第二样本图像进行特征提取，得到第二样本图像对应的融合特征图，然后基于第二样本图像对应的融合特征图对图像分割模型中的第二分割模块进行训练。本申请第一分割模块和第二分割模块的参数互不干扰。第一分割模块的部分参数由第一分割模块和第二分割模块共享，基于已训练的第一分割模块可提高对第二样本图像的特征提取效果，可减少第二样本图像的数量，降低了标注成本和数据处理量。成本和数据处理量。成本和数据处理量。

【技术实现步骤摘要】
图像分割模型训练、图像分割方法、装置、设备及介质


[0001]本申请涉及机器视觉
，尤其涉及图像分割模型训练、图像分割方法、装置、设备及介质。

技术介绍

[0002]深度卷积神经网络在图像分割视觉理解任务上都取得了重大突破。其利用了大规模样本图像的可用性，比如图像识别数据库ImageNet，利用ImageNet中的样本图像对图像分割模型的训练。
[0003]相关技术中，基于大量的基础类别的样本图像和对应的标注信息对图像分割模型进行训练，当出现新类别的样本图像时，需要对新类别的样本图像进行标注，结合新类别的样本图像和对应的标注信息，以及基础类别的样本图像和对应的标注信息，重新训练图像分割模型的参数。为了实现对新类别的识别，需要标注大量的新类别的样本图像，新类别的样本图像的采集以及标注成本是很高的，基于大量的基础类别的样本图像和大量的新类别的样本图像进行图像分割模型的训练，数据处理量也是很大的。

技术实现思路

[0004]本申请实施例提供了图像分割模型训练、图像分割方法、装置、设备及介质，用以解决相关技术训练图像分割模型，成本较高，数据处理量较大的问题。
[0005]本申请提供了一种图像分割模型训练方法，所述方法包括：将第一训练集中的第一样本图像和其对应的第一标注信息输入图像分割模型中的第一分割模块，对所述第一分割模块进行训练；将第二训练集中的第二样本图像和其对应的第二标注信息输入已训练的第一分割模块，基于所述第一分割模块确定所述第二样本图像对应的融合特征图；将所述融合特征图输入所述图像分割模型中的第二分割模块，基于所述第二分割模块确定所述融合特征图的分割结果，根据所述分割结果和所述第二标注信息，对所述第二分割模块进行训练。
[0006]进一步地，所述第一分割模块包括：特征提取网络、第一类别分支网络、第一检测框分支网络和掩码分支网络。
[0007]进一步地，所述第一分割模块的训练过程包括：基于所述特征提取网络确定所述第一样本图像的第一深度特征图，提取所述第一深度特征图中的第一检测框，将所述第一检测框映射至所述第一深度特征图，确定各个第一局部特征图，通过对所述各个第一局部特征图进行特征提取，得到各个第一融合特征图；分别将所述各个第一融合特征图输入第一类别分支网络和第一检测框分支网络；基于所述第一类别分支网络确定所述各个第一融合特征图各自对应的第一预测类别信息；基于所述第一检测框分支网络确定所述各个第一融合特征图各自对应的第一检测框区域；分别将所述第一深度特征图和各个第一检测框区域输入所述掩码分支网络，基于
所述掩码分支网络确定所述各个第一检测框区域各自对应的第一预测掩码信息；根据各个第一预测类别信息、各个第一预测掩码信息以及所述第一标注信息，对所述特征提取网络、第一类别分支网络、第一检测框分支网络和掩码分支网络的参数进行训练。
[0008]进一步地，所述第二分割模块包括：类别权重正则化网络、第二类别分支网络、不确定性预测网络、坐标偏移预测网络和第二检测框分支网络。
[0009]进一步地，所述第二分割模块的训练过程包括：基于所述特征提取网络确定所述第二样本图像的第二深度特征图，提取所述第二深度特征图中的第二检测框，将所述第二检测框映射至所述第二深度特征图，确定各个第二局部特征图，通过对所述各个第二局部特征图进行特征提取，得到各个第二融合特征图；分别将所述各个第二融合特征图输入类别权重正则化网络和第一检测框分支网络；基于所述类别权重正则化网络确定所述各个第二融合特征图各自对应的各类别概率值，将所述各类别概率值输入所述第二类别分支网络，基于所述第二类别分支网络确定所述各个第一融合特征图各自对应的第二预测类别信息；基于所述第一检测框分支网络确定所述各个第二融合特征图各自对应的第二检测框区域，基于所述不确定性预测网络确定各个第二检测框区域的不确定性值，基于所述坐标偏移预测网络确定各个第二检测框区域的坐标偏移值；基于所述第二检测框分支网络，根据各个第二检测框区域的坐标偏移值对不确定性值小于设定阈值的各个第二检测框区域进行检测框调整，得到各个第三检测框区域；分别将所述第二深度特征图和各个第三检测框区域输入所述掩码分支网络，基于所述掩码分支网络确定所述各个第三检测框区域各自对应的第二预测掩码信息；根据各个第二预测类别信息、各个第二预测掩码信息以及所述第二标注信息，对所述类别权重正则化网络、第二类别分支网络、不确定性预测网络、坐标偏移预测网络和第二检测框分支网络的参数进行训练。
[0010]进一步地，所述基于所述类别权重正则化网络确定所述各个第二融合特征图各自对应的各类别概率值包括：采用贝叶斯学习算法和通用变分框架，确定所述类别权重正则化网络的各类别权重的均值和所述各类别权重的对角协方差矩阵；根据所述各个第二融合特征图、各类别权重的均值和所述各类别权重的对角协方差矩阵，确定所述各个第二融合特征图各自对应的各类别概率值。
[0011]进一步地，所述根据所述各个第二融合特征图、各类别权重的均值和所述各类别权重的对角协方差矩阵，确定所述各个第二融合特征图各自对应的各类别概率值包括：根据所述各个第二融合特征图、各类别权重的均值、所述各类别权重的对角协方差矩阵以及sigmoid激活函数，确定所述各个第二融合特征图各自对应的各类别概率值。
[0012]另一方面，本申请提供了一种图像分割方法，所述方法包括：获取待处理的图像，将所述图像输入训练后的图像分割模型；基于所述图像分割模型中的第一分割模块，确定所述图像的第三预测类别信息、第三预测掩码信息以及所述第三预测类别信息对应的第一概率值；
基于所述图像分割模型中的第二分割模块，确定所述图像的第四预测类别信息、第四预测掩码信息以及所述第四预测类别信息对应的第二概率值；若所述第一概率值大于所述第二概率值，将所述第三预测类别信息和所述第三预测掩码信息作为分割结果；若所述第一概率值不大于所述第二概率值，将所述第四预测类别信息和所述第四预测掩码信息作为分割结果；其中，所述图像分割模型通过以下方式确定：将第一训练集中的第一样本图像和其对应的第一标注信息输入图像分割模型中的第一分割模块，对所述第一分割模块进行训练；将第二训练集中的第二样本图像和其对应的第二标注信息输入已训练的第一分割模块，基于所述第一分割模块确定所述第二样本图像对应的融合特征图；将所述融合特征图输入所述图像分割模型中的第二分割模块，基于所述第二分割模块确定所述融合特征图的分割结果，根据所述分割结果和所述第二标注信息，对所述第二分割模块进行训练。
[0013]再一方面，本申请提供了一种图像分割模型训练装置，所述装置包括：第一训练单元，用于将第一训练集中的第一样本图像和其对应的第一标注信息输入图像分割模型中的第一分割模块，对所述第一分割模块进行训练；第二训练单元，用于将第二训练集中的第二样本图像和其对应的第二标注信息输入已训练的第一分割模块，基于所述第一分割模块确定所述第二样本图像对应的融合特征图；第三训练单元，用于将所述融合特征图输入所述图像分割模型中的第二分割模块，基于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像分割模型训练方法，其特征在于，所述方法包括：将第一训练集中的第一样本图像和其对应的第一标注信息输入图像分割模型中的第一分割模块，对所述第一分割模块进行训练；将第二训练集中的第二样本图像和其对应的第二标注信息输入已训练的第一分割模块，基于所述第一分割模块确定所述第二样本图像对应的融合特征图；将所述融合特征图输入所述图像分割模型中的第二分割模块，基于所述第二分割模块确定所述融合特征图的分割结果，根据所述分割结果和所述第二标注信息，对所述第二分割模块进行训练。2.如权利要求1所述的方法，其特征在于，所述第一分割模块包括：特征提取网络、第一类别分支网络、第一检测框分支网络和掩码分支网络。3.如权利要求2所述的方法，其特征在于，所述第一分割模块的训练过程包括：基于所述特征提取网络确定所述第一样本图像的第一深度特征图，提取所述第一深度特征图中的第一检测框，将所述第一检测框映射至所述第一深度特征图，确定各个第一局部特征图，通过对所述各个第一局部特征图进行特征提取，得到各个第一融合特征图；分别将所述各个第一融合特征图输入第一类别分支网络和第一检测框分支网络；基于所述第一类别分支网络确定所述各个第一融合特征图各自对应的第一预测类别信息；基于所述第一检测框分支网络确定所述各个第一融合特征图各自对应的第一检测框区域；分别将所述第一深度特征图和各个第一检测框区域输入所述掩码分支网络，基于所述掩码分支网络确定所述各个第一检测框区域各自对应的第一预测掩码信息；根据各个第一预测类别信息、各个第一预测掩码信息以及所述第一标注信息，对所述特征提取网络、第一类别分支网络、第一检测框分支网络和掩码分支网络的参数进行训练。4.如权利要求2所述的方法，其特征在于，所述第二分割模块包括：类别权重正则化网络、第二类别分支网络、不确定性预测网络、坐标偏移预测网络和第二检测框分支网络。5.如权利要求4所述的方法，其特征在于，所述第二分割模块的训练过程包括：基于所述特征提取网络确定所述第二样本图像的第二深度特征图，提取所述第二深度特征图中的第二检测框，将所述第二检测框映射至所述第二深度特征图，确定各个第二局部特征图，通过对所述各个第二局部特征图进行特征提取，得到各个第二融合特征图；分别将所述各个第二融合特征图输入类别权重正则化网络和第一检测框分支网络；基于所述类别权重正则化网络确定所述各个第二融合特征图各自对应的各类别概率值，将所述各类别概率值输入所述第二类别分支网络，基于所述第二类别分支网络确定所述各个第一融合特征图各自对应的第二预测类别信息；基于所述第一检测框分支网络确定所述各个第二融合特征图各自对应的第二检测框区域，基于所述不确定性预测网络确定各个第二检测框区域的不确定性值，基于所述坐标偏移预测网络确定各个第二检测框区域的坐标偏移值；基于所述第二检测框分支网络，根据各个第二检测框区域的坐标偏移值对不确定性值小于设定阈值的各个第二检测框区域进行检测框调整，得到各个第三检测框区域；分别将所述第二深度特征图和各个第三检测框区域输入所述掩码分支网络，基于所述掩码分支网络确定所述各个第三检测框区域各自对应的第二预测掩码信息；根据各个第二预测类别信息、各个第二预测掩码信息以及所述第二标注信息，对所述
类别权重正则化网络、第二类别分支网络、不确定性预测网络、坐标偏移预测网络和第二检测框分支网络的参数进行训练。6.如权利要求5所述的方法，其特征在于，所述基于所述类别权重正则化网络确定所述各个第二融合特征图各自对应的各类别概率值包括：采用贝叶斯学习算法和通用变分框架，确定所述类别权重正则化网络的各类别权重的均值和所述各类别权重的对角协方差矩阵；根据所述各个第二融合特征图、各类别权重的均值和所述各类别权重的对角协方差矩阵，确定所述各个第二融合特征图各自对应的各类别概率值。7.如权利要求6所述的方法，其特征在于，所述根据所述各个第二融合特征图、各类别权重的均值和所述各类别权重的对角协方差矩阵，确定所述各个第...

【专利技术属性】
技术研发人员：俞元杰，付建海，吴立，颜成钢，李亮，殷海兵，熊剑平，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：