【技术实现步骤摘要】
本申请属于人工智能，尤其涉及一种图像分割模型训练方法、装置、电子设备及存储介质。
技术介绍
1、随着人工智能技术的飞速发展，深度学习在工业领域得到了广泛应用。通过加载在大规模无标注数据集上预训练得到的模型参数作为初始化，然后在下游任务数据上对模型初始化参数进行微调，这种预训练-微调范式成为了深度学习应用中的主流方法。
2、现有技术方案常采用自然场景数据集imagenet上预训练得到的权重对模型进行初始化，然后在工业具体任务场景下进行迁移学习，采用少量带标注的数据对模型进行微调，从而获得最终应用于各个工业场景的专有模型。
3、然而，imagenet数据集多为自然场景图像，这与工业场景数据之间存在巨大的域间差异。因此，使用imagenet数据进行预训练的模型并没有学习到工业场景图像的有效视觉表征，使得在模型微调的时候需要更多的数据以及迭代轮次使得模型权重从自然场景向工业场景转移，这导致模型训练的效率不高。
技术实现思路
1、本申请旨在至少解决现有技术中存在的技术问题之一。为此，本申请提出一种图像分割模型训练方法、装置、电子设备及存储介质，以提高模型的训练效率。
2、第一方面，本申请提供了一种图像分割模型训练方法，包括：
3、采用第一工业样本图像集对预设的分割模型的主干网络进行自监督训练，以对所述分割模型的主干网络参数进行更新；所述分割模型基于topformer架构构建得到，所述分割模型包括主干网络、中间层和输出头；
4、加载更
5、加载更新后的主干网络参数和更新后的中间层参数作为初始化，采用与下游任务相适应的且带标签的第三工业样本图像集对所述分割模型进行有监督训练，以对中间层参数和输出头参数进行微调，得到图像分割模型。
6、根据本申请的图像分割模型训练方法，通过采用第一工业样本图像集对预设的分割模型的主干网络进行自监督训练，以对所述分割模型的主干网络参数进行更新；所述分割模型基于topformer架构构建得到，所述分割模型包括主干网络、中间层和输出头；加载更新后的主干网络参数作为初始化，采用带标签的第二工业样本图像集对所述中间层进行有监督训练，以对中间层参数进行更新；加载更新后的主干网络参数和更新后的中间层参数作为初始化，采用与下游任务相适应的且带标签的第三工业样本图像集对所述分割模型进行有监督训练，以对中间层参数和输出头参数进行微调，得到图像分割模型。本申请实施例采用主干网络和中间层分开的训练方式，将分割模型分解为更小的模块，使得模型更加模块化，由于主干网络通常具有大量的参数，首先在大规模无标注的工业图像数据集上对主干网络进行自监督训练，便于学习匹配工业场景任务的视觉特征，然后对中间层进行有监督训练，有利于减少训练时间和计算成本，并且中间层对来自主干模块的特征进行降维或调整，以便更好地适应任务要求，再对中间层和输出头的参数进行微调，以适应具体的下游任务，采用自监督训练和有监督训练结合的训练方式，可以轻松地将模型应用于不同的任务和数据集，从而提高模型的训练效率。
7、根据本申请的一个实施例，所述采用第一工业样本图像集对预设的分割模型的主干网络进行自监督训练，以对所述分割模型的主干网络参数进行更新，包括：
8、对所述第一工业样本图像集中样本图像的随机区域进行掩码；
9、基于所述主干网络提取所述样本图像中未被掩码区域对应的特征向量；
10、根据所述特征向量与所述样本图像中的掩码区域之间的关联关系对掩码区域进行预测，得到预测图像；
11、基于所述预测图像与所述样本图像的差异在所述主干网络中进行反向传播，以对所述主干网络参数进行更新。
12、该实施例通过对样本集中的样本图像进行掩码和预测的方式实现模型训练，能够学习数据的分布，从而能够生成与训练数据相似的新数据，有助于模型学习图像的视觉底层特征和结构，提高模型的泛化能力。
13、根据本申请的一个实施例，所述对所述第一工业样本图像集中样本图像的随机区域进行掩码，包括：
14、将所述样本图像分割成预设大小的多个图像块；
15、以预设的掩码比例随机选择图像块进行掩码；所述掩码比例表示被掩码的图像块数量与总图像块数量的比例。
16、在该实施例中，通过对图像进行分割和随机掩码的方式对样本图像的随机区域进行掩码，能够基于样本图像生成新的数据样本，这些数据可以用于增加训练数据的多样性，提高模型的泛化能力。特别是在样本稀缺的情况下，通过对图像进行分割和随机掩码的方式对样本图像的随机区域进行掩码的方式还可以起到数据增强的作用。
17、根据本申请的一个实施例，所述主干网络包括稀疏卷积核；
18、基于所述主干网络提取所述样本图像中未被掩码区域对应的特征向量，包括：
19、将所述样本图像中被掩码区域的像素设为0；
20、基于所述稀疏卷积核对被掩码区域的像素设为0的样本图像进行稀疏卷积运算，以提取所述样本图像中未被掩码区域对应的特征向量。
21、在该实施例中，通过将被掩码区域的像素设为0，然后利用稀疏卷积的方式进行卷积运算，能够更好地提取未被掩码区域对应的特征向量，而不用针对样本图像中的每个像素都做计算，减少了计算冗余。
22、根据本申请的一个实施例，所述基于所述预测图像与所述样本图像的差异在所述主干网络中进行反向传播，以对所述主干网络参数进行更新，包括：
23、计算表征所述预测图像与所述样本图像差异的损失函数；其中，所述预测图像与所述样本图像的差异越小，所述损失函数值越小；
24、根据所述损失函数在所述主干网络中进行反向传播，以对所述主干网络参数进行更新。
25、在该实施例中，可以通过表征所述预测图像与所述样本图像差异的损失函数作为反向传播的输入，损失函数越小，则表示模型训练的效果越好，通过这种方式能够准确了解主干网络的训练进度。
26、根据本申请的一个实施例，所述加载更新后的主干网络参数作为初始化，采用带标签的第二工业样本图像集对所述中间层进行有监督训练，以对中间层参数进行更新，包括：
27、加载更新后的主干网络参数作为初始化，并冻结所述更新后的主干网络参数；
28、基于更新后的主干网络参数提取所述第二工业样本图像集中样本图像的特征向量；
29、基于所述特征向量对所述中间层进行训练，以对中间层参数进行更新。
30、在该实施例中，通过将经过训练更新的主干网络参数作为初始化用于图像特征的提取，在训练过程中冻结更新后的主干网络参数，使得中间层得训练可以在不改变模型的底层特征的条件下，进一步优化中间层对特征降维融合调整的过程。
31、根据本申请的一个实施例，所述基于所述特征向量对所述中间层进行训练，以对中间层参数进本文档来自技高网...
【技术保护点】
1.一种图像分割模型训练方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述采用第一工业样本图像集对预设的分割模型的主干网络进行自监督训练，以对所述分割模型的主干网络参数进行更新，包括：
3.根据权利要求2所述的方法，其特征在于，所述对所述第一工业样本图像集中样本图像的随机区域进行掩码，包括：
4.根据权利要求2所述的方法，其特征在于，所述主干网络包括稀疏卷积核；
5.根据权利要求2所述的方法，其特征在于，所述基于所述预测图像与所述样本图像的差异在所述主干网络中进行反向传播，以对所述主干网络参数进行更新，包括：
6.根据权利要求1所述的方法，其特征在于，所述加载更新后的主干网络参数作为初始化，采用带标签的第二工业样本图像集对所述中间层进行有监督训练，以对中间层参数进行更新，包括：
7.根据权利要求6所述的方法，其特征在于，所述基于所述特征向量对所述中间层进行训练，以对中间层参数进行更新，包括：
8.一种图像分割模型训练装置，其特征在于，包括：
9.一种电子设备，包括
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-7任一项所述的方法。
...【技术特征摘要】
1.一种图像分割模型训练方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述采用第一工业样本图像集对预设的分割模型的主干网络进行自监督训练，以对所述分割模型的主干网络参数进行更新，包括：
3.根据权利要求2所述的方法，其特征在于，所述对所述第一工业样本图像集中样本图像的随机区域进行掩码，包括：
4.根据权利要求2所述的方法，其特征在于，所述主干网络包括稀疏卷积核；
5.根据权利要求2所述的方法，其特征在于，所述基于所述预测图像与所述样本图像的差异在所述主干网络中进行反向传播，以对所述主干网络参数进行更新，包括：
6.根据权利要求1所述的方法，其特征在于，...
【专利技术属性】
技术研发人员：高鹏程，唐永亮，
申请(专利权)人：深圳市凌云视迅科技有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。