多模态图像的分割模型的训练方法、图像处理方法和装置制造方法及图纸

本公开提供了一种用于多模态图像的分割模型的训练方法、图像处理方法、装置和介质。训练方法包括：利用第一模态的训练图像集训练第一分割模型；对于第二模态的训练图像集中的每个训练图像，分别利用所训练的第一分割模型和第二分割模型进行处理以得到第一语义特征和第二语义特征，其中，第一和第二模态的训练图像集是对多个参考对象分别在第一和第二模态下进行采集得到的图像的集合，第一和第二模态的每个训练图像分别具有第一数量和第二数量的已标注类别，并且第二数量小于第一数量；以及通过将第一语义特征输入到第二分割模型并将第二语义特征输入到所训练的第一分割模型，来对第二分割模型进行训练。

【技术实现步骤摘要】
多模态图像的分割模型的训练方法、图像处理方法和装置
本公开涉及深度学习领域，并且具体的涉及一种用于多模态图像的分割模型的训练方法、图像处理方法、图像处理装置和计算机可读存储介质。
技术介绍
机器学习(MachineLearning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科，专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。在深度学习领域中，零样本学习方法(ZSL，Zero-shotLearning)是学术界重要的前沿研究分支之一。尽管大量科研相关人员已经标注了很多标准数据集，但是其类别也是有限的。例如著名的数据集ImageNet，即使包含千万级的数据，也仅能涵盖有限个类别。在现实世界中，类别是无穷的，已经标注的数据仍然只占少数，诸如疾病图像数据难以大量获取并进行标注。因此，研究模型对无标注类别进行有效的学习并进行预测是非常有意义的。现有技术中的零样本学习方法对图像分割的精度有限，并且需采用基于自然语言处理的Word2vec模型，这使得现有方法无法应用于诸如医学图像等的非自然图像的图像分割。
技术实现思路
为了克服现有技术中存在的缺陷，本公开提出了一种用于多模态图像的分割模型的训练方法、图像处理方法及装置和计算机可读存储介质。根据本公开的一个方面，提供了一种用于多模态图像的分割模型的训练方法，所述训练方法包括：利用第一模态的训练图像集训练第一分割模型，其中，所述第一模态的训练图像集是对多个参考对象在第一模态下进行采集得到的图像的集合，所述第一模态的训练图像集中的每个训练图像具有第一数量的已标注类别；利用所训练的第一分割模型对第二模态的训练图像集中的每个训练图像进行语义特征提取以得到第一语义特征，并利用第二分割模型对第二模态的训练图像集中的每个训练图像进行语义特征提取以得到第二语义特征，其中，所述第二模态的训练图像集是对多个参考对象在第二模态下进行采集得到的图像的集合，所述第二模态的训练图像集中的每个训练图像具有第二数量的已标注类别，并且所述第二数量小于所述第一数量；以及通过将所述第一语义特征输入到所述第二分割模型并将所述第二语义特征输入到所训练的第一分割模型，来对第一分割模型和第二分割模型进行语义迁移，并基于所述语义迁移对第二分割模型进行训练。根据本公开的一个示例，其中，所述利用所训练的第一分割模型对第二模态的训练图像集中的每个训练图像进行语义特征提取以得到第一语义特征，并利用第二分割模型对第二模态的训练图像集中的每个训练图像进行语义特征提取以得到第二语义特征包括：利用所训练的第一分割模型对第二模态的训练图像集中的每个训练图像进行语义特征提取以得到第一初始语义特征，并对所述第一初始语义特征进行特征白化以得到所述第一语义特征；以及利用第二分割模型对第二模态的训练图像集中的每个训练图像进行语义特征提取以得到第二初始语义特征，并对所述第二初始语义特征进行特征白化以得到所述第二语义特征。根据本公开的一个示例，其中，通过第一特征白化层对所述第一初始语义特征进行特征白化，通过第二特征白化层对所述第二初始语义特征进行特征白化，所述第一特征白化层与所述第二特征白化层具有相同的处理参数。根据本公开的一个示例，所述第一分割模型包括第一分类器，在将所述第二语义特征输入到所训练的第一分割模型之前，所述训练方法还包括：利用所述第一分类器对所述第一语义特征进行分类以生成第一初始空间结构信息；根据所述第一初始空间结构信息和所述第二语义特征生成增强的第二语义特征；以及将所述增强的第二语义特征作为所述第二语义特征。根据本公开的一个示例，其中，所述根据所述第一初始空间结构信息和所述第二语义特征生成增强的第二语义特征包括：根据所述第一初始空间结构信息和所述第二语义特征生成所述第二语义特征的残差，并对所述第二语义特征的残差与所述第二语义特征进行求和来得到所述增强的第二语义特征。根据本公开的一个示例，其中，所述第一分割模型包括第一分类器，所述第二分割模型包括第二分类器，所述训练方法还包括：利用第一分类器对所述第二语义特征进行分类以生成第一空间结构信息；利用第二分类器对所述第一语义特征进行分类以生成第二空间结构信息；以及训练第二分割模型，将所述第一空间结构信息和所述第二空间结构信息对齐。根据本公开的一个示例，其中，所述训练第二分割模型将所述第一空间结构信息和所述第二空间结构信息对齐包括：利用判别器对所述第二分割模型进行对抗训练，将所述第一空间结构信息和所述第二空间结构信息对齐。根据本公开的一个示例，其中，所述利用第一模态的训练图像集训练第一分割模型包括：对于所述第一模态的训练图像集中的每个训练图像，利用所述第一分割模型对所述训练图像中的每个类别生成预测标签；以及通过利用所述训练图像的第一数量的已标注类别中的每个类别的已标注标签对所述预测标签进行监督，来对所述第一分割模型进行有监督训练。根据本公开的一个示例，其中，所述对第二分割模型进行训练包括：对于所述第二模态的训练图像集中的每个训练图像，利用所述第二分割模型对所述训练图像中的每个类别生成预测标签；以及通过利用所述训练图像的第二数量的已标注类别中的每个类别的已标注标签对所述预测标签进行监督，来对所述第二分割模型进行有监督训练。根据本公开的另一方面，提供了一种用于多模态图像的图像处理方法，所述图像处理方法包括：输入多模态图像；确定所述多模态图像是在第一模态还是第二模态下采集得到的图像；在确定所述多模态图像是在第一模态采集得到的图像的情况下，利用第一分割模型对所述多模态图像进行图像分割，以及在确定所述多模态图像是在第二模态采集得到的图像的情况下，利用第二分割模型对所述多模态图像进行图像分割；以及输出所述多模态图像的分割结果，其中，所述第一分割模型和第二分割模型通过以下步骤进行训练：利用第一模态的训练图像集训练第一分割模型，其中，所述第一模态的训练图像集是对多个参考对象在第一模态下进行采集得到的图像的集合，所述第一模态的训练图像集中的每个训练图像具有第一数量的已标注类别；利用所训练的第一分割模型对第二模态的训练图像集中的每个训练图像进行语义特征提取以得到第一语义特征，并利用第二分割模型对第二模态的训练图像集中的每个训练图像进行语义特征提取以得到第二语义特征，其中，所述第二模态的训练图像集是对多个参考对象在第二模态下进行采集得到的图像的集合，所述第二模态的训练图像集中的每个训练图像具有第二数量的已标注类别，并且所述第二数量小于所述第一数量；以及通过将所述第一语义特征输入到所述第二分割模型并将所述第二语义特征输入到所训练的第一分割模型，来对第一分割模型和第二分割模型进行语义迁移，并基于所述语义迁移对第二分割模型进行训练。根据本公开的一个示例，其中，所述利本文档来自技高网...

【技术保护点】
1.一种用于多模态图像的分割模型的训练方法，包括：/n利用第一模态的训练图像集训练第一分割模型，其中，所述第一模态的训练图像集是对多个参考对象在第一模态下进行采集得到的图像的集合，所述第一模态的训练图像集中的每个训练图像具有第一数量的已标注类别；/n利用所训练的第一分割模型对第二模态的训练图像集中的每个训练图像进行语义特征提取以得到第一语义特征，并利用第二分割模型对第二模态的训练图像集中的每个训练图像进行语义特征提取以得到第二语义特征，其中，所述第二模态的训练图像集是对多个参考对象在第二模态下进行采集得到的图像的集合，所述第二模态的训练图像集中的每个训练图像具有第二数量的已标注类别，并且所述第二数量小于所述第一数量；以及/n通过将所述第一语义特征输入到所述第二分割模型并将所述第二语义特征输入到所训练的第一分割模型，来对第一分割模型和第二分割模型进行语义迁移，并基于所述语义迁移对第二分割模型进行训练。/n

【技术特征摘要】
1.一种用于多模态图像的分割模型的训练方法，包括：
利用第一模态的训练图像集训练第一分割模型，其中，所述第一模态的训练图像集是对多个参考对象在第一模态下进行采集得到的图像的集合，所述第一模态的训练图像集中的每个训练图像具有第一数量的已标注类别；
利用所训练的第一分割模型对第二模态的训练图像集中的每个训练图像进行语义特征提取以得到第一语义特征，并利用第二分割模型对第二模态的训练图像集中的每个训练图像进行语义特征提取以得到第二语义特征，其中，所述第二模态的训练图像集是对多个参考对象在第二模态下进行采集得到的图像的集合，所述第二模态的训练图像集中的每个训练图像具有第二数量的已标注类别，并且所述第二数量小于所述第一数量；以及
通过将所述第一语义特征输入到所述第二分割模型并将所述第二语义特征输入到所训练的第一分割模型，来对第一分割模型和第二分割模型进行语义迁移，并基于所述语义迁移对第二分割模型进行训练。


2.根据权利要求1所述的训练方法，其中，所述利用所训练的第一分割模型对第二模态的训练图像集中的每个训练图像进行语义特征提取以得到第一语义特征，并利用第二分割模型对第二模态的训练图像集中的每个训练图像进行语义特征提取以得到第二语义特征包括：
利用所训练的第一分割模型对第二模态的训练图像集中的每个训练图像进行语义特征提取以得到第一初始语义特征，并对所述第一初始语义特征进行特征白化以得到所述第一语义特征；以及
利用第二分割模型对第二模态的训练图像集中的每个训练图像进行语义特征提取以得到第二初始语义特征，并对所述第二初始语义特征进行特征白化以得到所述第二语义特征。


3.根据权利要求2所述的训练方法，其中，通过第一特征白化层对所述第一初始语义特征进行特征白化，通过第二特征白化层对所述第二初始语义特征进行特征白化，所述第一特征白化层与所述第二特征白化层具有相同的处理参数。


4.根据权利要求1所述的训练方法，其中，所述第一分割模型包括第一分类器，在将所述第二语义特征输入到所训练的第一分割模型之前，所述训练方法还包括：
利用所述第一分类器对所述第一语义特征进行分类以生成第一初始空间结构信息；
根据所述第一初始空间结构信息和所述第二语义特征生成增强的第二语义特征；以及
将所述增强的第二语义特征作为所述第二语义特征。


5.根据权利要求4所述的训练方法，其中，所述根据所述第一初始空间结构信息和所述第二语义特征生成增强的第二语义特征包括：
根据所述第一初始空间结构信息和所述第二语义特征生成所述第二语义特征的残差，并对所述第二语义特征的残差与所述第二语义特征进行求和来得到所述增强的第二语义特征。


6.根据权利要求1或4所述的训练方法，其中，所述第一分割模型包括第一分类器，所述第二分割模型包括第二分类器，所述训练方法还包括：
利用所述第一分类器对所述第二语义特征进行分类以生成第一空间结构信息；
利用所述第二分类器对所述第一语义特征进行分类以生成第二空间结构信息；以及
训练第二分割模型，将所述第一空间结构信息和所述第二空间结构信息对齐。


7.根据权利要求6所述的训练方法，其中，所述训练第二分割模型将所述第一空间结构信息和所述第二空间结构信息对齐包括：
利用判别器对所述第二分割模型进行对抗训练，将所述第一空间结构信息和所述第二空间结构信息对齐。


8.根据权利要求1所述的训练方法，其中，所述利用第一模态的训练图像集训练第一分割模型包括：
对于所述第一模态的训练图像集中的每个训练图像，
利用所述第一分割模型对所述训练图像中的每个类别生成预测标签；以及
通过利用所述训练图像的第一数量的已标注类别中的每个类别的已标注标签对所述预测标签进行监督，来对所述第一分割模型进行有监督训练。


9.根据权利要求1所述的训练方法，其中，所述对第二分割模型进行训练包括：
对于所述第二模态的训练图像集中的每个训练图像，
利用所述第二分割模型对所述训练图像中的每个类别生成预测标签；以及
通过利用所述训练图像的第二数量的已标注类别中...

【专利技术属性】
技术研发人员：边成，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44