【技术实现步骤摘要】
本申请涉及数据处理，尤其涉及一种模型训练的方法、装置及相关设备。
技术介绍
1、随着计算机技术的发展，人工智能得到了广泛的应用。其中，作为人工智能的一个重要的发展方向，多模态识别模型得到的越来越多的关注。多模态识别模型可以用于对多种模态的数据进行识别，然后判断不同模态的数据的识别结果之间的相似程度。其中，不同模态的数据是指格式或形式不同的数据。图片数据和文本数据互为不同模态的数据。
2、目前，多模态识别模型是针对某一类型的对象进行训练得到的。例如，多模态识别模型的训练数据为第一类型的对象的多模态数据，那么训练后的多模态识别模型能够对第一类型的对象的多模态数据进行相似度识别。在一些可能的应用场景中，可能需要多模态识别模型对其他类型的对象的多模态数据进行相似度识别。为此，可以利用其他类型的对象的多模态数据重新训练多模态识别模型，以使多模态识别模型具有对其他对象的多模态数据进行相似度识别的能力。
3、但是，重新训练的多模态识别模型，虽然能够对新类型的对象的多模态数据进行相似度识别，但是对原有类型的对象的多模态数据进行相似度识别的能力变差或消失，影响多模态识别模型的泛用性。
技术实现思路
1、有鉴于此，本申请提供了一种模型训练的方法，用于提高多模态识别模型的泛用性。本申请还提供了对应的装置、计算设备集群、芯片、计算机可读存储介质以及计算机程序产品。
2、第一方面，申请提供了一种模型训练方法，该方法可以应用于模型训练装置。具体地，在执行本申请提供的模型训练
3、这样，如果第一模型具有对非第一类对象的多模态数据进行相似度识别的能力，那么利用第一模型对不同的第一类对象的不同模态数据进行相似度识别，得到的第一参数体现为了对原有模态数据进行相似度识别，多模态识别模型需要满足的条件。利用第一参数和第一训练数据集对第一模型进行训练，得到的模型既能够满足第一参数对应的要求，又能够满足第一训练数据集对应的要求。也就是说，第二模型既能够识别第一模型原本能够进行相似度识别的类型的多模态数据，也能够对第一训练数据集对应的第一类对象的多模态数据进行相似度识别。也就是说，模型训练装置可以在保留第一模型的识别能力的基础上，让新训练的多模态识别模型新增对第一类对象的多模态数据的相似度识别能力。如此，在保留对原有类型的多模态数据的识别能力的基础上增加了对新类型的多模态数据的识别能力，提高了多模态识别模型的泛用性。另外，在训练第一模型的过程中，只需要第一类对象的多模态数据(即第一训练数据集)即可，无需第一模型原有的类型对象的多模态数据作为训练数据，提升了多模态识别模型的训练效率。
4、在一些可能的实施方式中，第一模型用于对第二类对象的不同模态的数据进行相似度识别，即第一模型具有对第二类对象的多模态数据进行相似度识别的能力。那么由于训练过程中参考了根据第一模型和第一训练数据集确定的第一参数，训练后得到的第二模型可以保留第一模型对第二类对象的多模态数据进行相似度识别的能力。
5、在一些可能的实施方式中，还可以通过其他训练数据集对第二模型进行训练，以使第二模型增加对新类型的对象的多模态数据的识别能力。具体地，模型训练装置可以获取第二训练数据集。第二训练数据集中包括多组用于描述第三类对象的多模态数据。接着，可以基于第二模型和第二训练数据集确定第二参数。第二参数根据第二模型对不同的第三类对象的不同模态数据之间的相似度识别结果确定。在确定了第二参数之后，可以根据第二参数和第二训练数据集训练第二模型，得到第三模型。这样，第三模型既具有对第一类对象的多模态数据进行相似度识别的能力，也具有对第三类对象的多模态数据进行相似度识别的能力。另外，第三模型还保有第一模型的对多模态数据进行相似度识别的能力。
6、在一些可能的实施方式中，第一参数是根据第一模型对第一训练数据集进行相似度识别得到的。具体地，首先可以通过第一模型对第一训练数据集进行相似度识别，得到相似度识别结果集合。接着，可以从相似度识别结果集合中，确定多个目标相似度识别结果，然后根据目标相似度识别结果确定第一参数。其中，目标相似度识别结果是第一模型对不同的第一类对象的不同模态数据的相似度识别结果。
7、在一些可能的实施方式中，第一训练数据集中包括第一对象的第一模态数据、第一对象的第二模态数据、第二对象的第一模态数据和第二对象的第二模态数据。那么上述目标相似度识别结果，可以表示第一特征和第二特征之间的相似度。其中，第一特征为第一模型对第一对象的第一模态数据进行特征提取得到的特征，第二特征为第一模型对第二对象的第二模态数据进行特征提取得到的特征。
8、在一些可能的实施方式中，还可以基于第一对象对相同的第一类对象的多模态数据之间的相似度识别结果训练第一模型。具体地，模型训练装置可以根据第一模型和第一训练数据集确定第三参数，第三参数根据第一模型对同一个第一类对象的不同模态数据之间的相似度识别结果确定。相应地在训练第一模型时，模型训练装置可以引导训练后的第一模型的第一参数保持不变，并增加训练后的第一模型的第三参数，使得第二模型既能够对第一类对象的多模态数据进行相似度识别，也能够保有第一模型对原有类型的对象的多模态数据进行相似度识别的能力。
9、在一些可能的实施方式中，模型训练装置可以根据第一参数和第三参数确定第一损失参数，然后根据第一损失参数和第一训练数据集训练第一模型，得到第二模型。具体地，可以通过梯度训练等方式训练得到第二模型。
10、在一些可能的实施方式中，模型训练装置可以对第一模型进行多次迭代训练，已得到第二模型。具体地，在第一次迭代训练的过程中，模型训练装置可以根据第一损失参数和第一训练数据集训练第一模型，得到第一中间模型。然后，模型训练装置根据第一中间模型和第一训练数据集确定第四参数，第四参数根据第一中间模型对相同的第一类对象的不同模态数据之间的相似度识别结果确定。接着，可以根据第一参数和第四参数确定第二损失参数，然后利用第二损失参数和第一训练数据集训练第一中间模型，得到第二中间模型。第二中间模型可以被输出为第二模型，或者被用于第二次迭代训练。在第二次迭代训练的过程中，模型训练装置确定对第二中间模型相同的第一类对象的不同模态数据之间的相似度识别结果，然后根据相似度识别结果和第一参数确定第三损失参数，并基于第三损失参数训练第二中间模型。也就是说，在每次迭代训练的过本文档来自技高网...
【技术保护点】
1.一种模型训练的方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述第一模型用于对第二类对象的不同模态数据进行相似度识别，所述第二模型还用于对所述第二类对象的不同模态数据进行相似度识别。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
4.根据权利要求1-3任一项所述的方法，其特征在于，所述基于第一模型和所述第一训练数据集确定第一参数包括：
5.根据权利要求1-4任一项所述的方法，其特征在于，所述多个目标相似度识别结果包括第一目标相似度识别结果，所述第一目标相似度识别结果为第一特征和第二特征之间的相似度，所述第一特征为所述第一模型对第一对象的第一模态数据进行特征提取得到的特征，所述第二特征为所述第一模型对第二对象的第二模态数据进行特征提取得到的特征，所述第一对象的第一模态数据和所述第二对象的第二模态数据属于所述第一训练数据集，所述第一对象和所述第二对象属于所述第一类对象。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：
7.根据权利要求6所述的方
8.根据权利要求7所述的方法，其特征在于，所述根据所述第一损失参数和所述第一训练数据集训练所述第一模型，得到所述第二模型包括：
9.一种模型训练的装置，其特征在于，所述装置包括：
10.根据权利要求9所述的装置，其特征在于，所述第一模型用于对第二类对象的不同模态数据进行相似度识别，所述第二模型还用于对所述第二类对象的不同模态数据进行相似度识别。
11.根据权利要求10所述的装置，其特征在于，
12.根据权利要求9-11任一项所述的装置，其特征在于，
13.根据权利要求12任一项所述的装置，其特征在于，所述多个目标相似度识别结果包括第一目标相似度识别结果，所述第一目标相似度识别结果为第一特征和第二特征之间的相似度，所述第一特征为对所述第一模型对第一对象的第一模态数据进行特征提取得到的特征，所述第二特征为所述第一模型对第二对象的第二模态数据进行特征提取得到的特征，所述第一对象的第一模态数据和所述第二对象的第二模态数据属于所述第一训练数据集，所述第一对象和所述第二对象属于所述第一类对象。
14.根据权利要求9-13任一项所述的装置，其特征在于，所述装置还包括第二参数确定模块，
15.根据权利要求14所述的装置，其特征在于，
16.根据权利要求14所述的装置，其特征在于，
17.一种计算设备集群，其特征在于，所述计算设备集群包括至少一个计算设备，每个计算设备包括处理器以及存储器：
18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当其在计算设备上运行时，使得所述计算设备执行如权利要求1至8任一项所述的方法。
19.一种包含指令的计算机程序产品，当其在计算设备上运行时，使得所述计算设备执行如权利要求1至8任一项所述的方法。
...【技术特征摘要】
1.一种模型训练的方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述第一模型用于对第二类对象的不同模态数据进行相似度识别，所述第二模型还用于对所述第二类对象的不同模态数据进行相似度识别。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
4.根据权利要求1-3任一项所述的方法，其特征在于，所述基于第一模型和所述第一训练数据集确定第一参数包括：
5.根据权利要求1-4任一项所述的方法，其特征在于，所述多个目标相似度识别结果包括第一目标相似度识别结果，所述第一目标相似度识别结果为第一特征和第二特征之间的相似度，所述第一特征为所述第一模型对第一对象的第一模态数据进行特征提取得到的特征，所述第二特征为所述第一模型对第二对象的第二模态数据进行特征提取得到的特征，所述第一对象的第一模态数据和所述第二对象的第二模态数据属于所述第一训练数据集，所述第一对象和所述第二对象属于所述第一类对象。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：
7.根据权利要求6所述的方法，其特征在于，所述根据所述第一参数、所述第三参数和所述第一训练数据集训练所述第一模型，得到所述第二模型包括：
8.根据权利要求7所述的方法，其特征在于，所述根据所述第一损失参数和所述第一训练数据集训练所述第一模型，得到所述第二模型包括：
9.一种模型训练的装置，其特征在于，所述装置包括：
10.根据权利要求9所述的装置，其特...
【专利技术属性】
技术研发人员：庄越挺，田奇，魏龙辉，汤斯亮，倪子烜，
申请(专利权)人：华为云计算技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。