【技术实现步骤摘要】
一种跨模态检索模型的训练方法、装置、设备及存储介质
[0001]本申请涉及模型训练
，具体而言，涉及一种跨模态检索模型的训练方法、装置、设备及存储介质。
技术介绍
[0002]跨模态检索相当于基于同一检索对象的不同模态样本之间的关联关系，实现根据检索对象的某种模态样本，对检索对象的另外一种不同的模态样本进行检索的检索方案。
[0003]目前，现有的跨模态检索模型，通常是基于一种固定模态的数据作为检索用的查询数据，基于另一种固定模态的数据作为检索用的索引数据，来训练模型学习对检索对象在一种固定模态与另一种固定模态之间进行跨模态检索。例如，现有的跨模态检索模型一般是基于检索对象的文本信息作为查询数据，从检索库中存储的图像信息中，检索出与上述检索对象的文本信息之间的相似度高于阈值的目标图像作为上述检索对象在文本
‑
图像之间的跨模态检索结果。基于此，现有的跨模态检索模型无论是在模型训练阶段还是在模型应用阶段，都只能实现使用一种模态数据去检索另一种模态数据的效果，也即，实际检索时能够使用的查询数据以及索引数据的数据类型不可以进行互换，从而导致跨模态检索模型的跨模态检索灵活度较低。
技术实现思路
[0004]有鉴于此，本申请的目的在于提供一种跨模态检索模型的训练方法、装置、设备及存储介质，以通过训练模型对于同类样本对象以及异类样本对象在不同模态数据下表现出的数据特征进行相互学习的方式，解决现有技术中实际检索时能够使用的查询数据以及索引数据的数据类型不可以进行互换的问题，从而有效地提...
【技术保护点】
【技术特征摘要】
1.一种跨模态检索模型的训练方法，其特征在于，所述训练方法包括：针对同批次训练样本中包括的多个样本对象，将每个样本对象的第一模态数据输入至初始模型内的第一特征提取子网络中，得到所述第一特征提取子网络输出的每个样本对象在第一模态数据下表现出的第一模态特征；将每个样本对象的第二模态数据输入至所述初始模型内的第二特征提取子网络中，得到所述第二特征提取子网络输出的每个样本对象在第二模态数据下表现出的第二模态特征；根据每个样本对象的第一模态特征以及每个样本对象的第二模态特征，确定同一样本对象在不同模态数据下表现出的第一数据特征差异、所述多个样本对象中同类样本对象在不同模态数据下表现出的第二数据特征差异、所述多个样本对象中异类样本对象在不同模态数据下表现出的第三数据特征差异以及所述多个样本对象在不同模态数据下表现出的群体特征差异；根据所述第一数据特征差异、所述第二数据特征差异、所述第三数据特征差异以及所述群体特征差异，对所述初始模型的模型参数进行调整，得到包括调整好的模型参数的跨模态检索模型。2.根据权利要求1所述的训练方法，其特征在于，所述根据所述第一数据特征差异、所述第二数据特征差异、所述第三数据特征差异以及所述群体特征差异，对所述初始模型的模型参数进行调整，包括：针对每一样本对象，根据该样本对象在不同模态数据下表现出的第一数据特征差异，确定该样本对象在不同模态数据下表现出的数据特征与该样本对象所属的实体类型之间的分类预测损失；针对每一样本对象，根据该样本对象与第一样本对象在不同模态数据下表现出的第二数据特征差异，以及该样本对象与第二样本对象在不同模态数据下表现出的第三数据特征差异，确定该样本对象与不同模态数据下的同类样本对象以及不同模态数据下的异类样本对象之间的跨模态三元组损失；其中，所述第一样本对象用于表征所述多个样本对象中与该样本对象属于同一实体类型的样本对象；所述第二样本对象用于表征所述多个样本对象中与该样本对象属于不同实体类型的样本对象；针对所述多个样本对象，根据所述多个样本对象在第一模态数据下表现出的第一群体特征差异以及所述多个样本对象在第二模态数据下表现出的第二群体特征差异，确定所述第一群体特征差异与所述第二群体特征差异之间的互学习损失；根据每个样本对象对应的所述分类预测损失、每个样本对象对应的所述跨模态三元组损失以及所述多个样本对象对应的所述互学习损失，调整所述初始模型的模型参数，直至所述初始模型达到收敛。3.根据权利要求2所述的训练方法，其特征在于，所述根据该样本对象在不同模态数据下表现出的第一数据特征差异，确定该样本对象在不同模态数据下表现出的数据特征与该样本对象所属的实体类型之间的分类预测损失，包括：基于所述第一特征提取子网络输出的该样本对象的第一模态特征，对该样本对象所属的实体类型进行分类预测，得到该样本对象的第一分类预测结果；基于所述第二特征提取子网络输出的该样本对象的第二模态特征，对该样本对象所属
的实体类型进行分类预测，得到该样本对象的第二分类预测结果；根据所述第一分类预测结果与真实分类结果之间的第一分类损失以及所述第二分类预测结果与所述真实分类结果之间的第二分类损失，将所述第一分类损失与所述第二分类损失的和值作为该样本对象对应的所述分类预测损失；其中，所述真实分类结果用于表征该样本对象所属的实体类型。4.根据权利要求2所述的训练方法，其特征在于，通过以下方法，确定该样本对象与所述第一样本对象在不同模态数据下表现出的第二数据特征差异：针对该样本对象，根据该样本对象所属的实体类型，从所述多个样本对象中，随机抽取一个与该样本对象属于同一实体类型的样本对象作为所述第一样本对象；根据所述第一特征提取子网络输出的该样本对象的第一模态特征以及所述第二特征提取子网络输出的所述第一样本对象的第二模态特征，计算该样本对象的第一模态特征与所述第一样本对象的第二模态特征之间的特征距离，得到该样本对象与所述第一样本对象的第一同类特征距离；根据所述第二特征提取子网络输出的该样本对象的第二模态特征以及所述第一特征提取子网络输出的所述第一样本对象的第一模态特征，计算该样本对象的第二模态特征与所述第一样本对象的第一模态特征之间的特征距离，得到该样本对象与所述第一样本对象的第二同类特征距离；将所述第一同类特征距离以及所述第二同类特征距离作为该样本对象与所述第一样本对象在不同模态数据下表现出的第二数据特征差异。5.根据权利要求4所述的训练方法，其特征在于，通过以下方法，确定该样本对象与所述第二样本对象在不同模态数据下表现出的第三数据特征差异：针对该样本对象，根据该样本对象所属的实体类型，从所述多个样本对象中，确定与该样本对象属于不同实体类型的每一个样本对象作为目标样本对象；针对每一所述目标样本对象，根据所述第一特征提取子网络输出的该样本对象的第一模态特征以及所述第二特征提取子网络输出的该目标样本对象的第二模态特征，计算该样本对象的第一模态特征与该目标样本对象的第二模态特征之间的特征距离，得到该样本对象与该目标样本对象的第三特征距离；根据所述第二特征提取子网络输出的该样本对象的第二模态特征以及所述第一特征提取子网络输出的该目标样本对象的第一模态特征，计算该样本对象的第二模态特征与该目标样本对象的第一模态特征之间的特征距离，得到该样本对象与该目标样本对象的第四特征距离；以该样本对象与每个所述目标样本对象的第三特征距离中的最小值作为第一异类特征距离，以该样本对象与每个所述目标样本对象的第四特征距离中的最小值作为第二异类特征距离，将所述第一异类特征距离以及所述第二异类特征距离作为该样本对象与所述第二样本对象在不同模态数据下表现出的第三数据特征差异。6.根据权利要求5所述的训练方法，其特征在于，所述根据该样本对象与第一样本对象在不同模态数据下表现出的第二数据特征差异，以及该样本对象与第二样本对象在不同模态数据下表现出的第三数据特征差异，确定该样本对象与不同模态数据下的同类样本对象以及不同模态数据下的异类样本对象之间的跨模态三元组损失，包括：
计算第一预设边界阈值与所述第一同类特征距离之间的第一和值，并将所述第一和值与所述第一异类特征距离之间的差值作为第一目标差值；计算第二预设边界阈值与所述第二同类特征距离之间的第二和值，并将所述第二和值与所述第二异类特征距离之间的差值作为第二目标差值；以所述第一目标差值与指定参数中的最大值作为该样本对象在第一模态数据下的第一跨模态损失，以所述第二目标差值与所述指定参数中的最大值作为该样本对象在第二模态数据下的第二跨模态损失，将所述第一跨模态损失与所述第二跨模态损失的和值作为该样本对象对应的所述跨模态三元组损失。7.根据权利要求3所述的训练方法，其特征在于，通过以下方法，确定所述多个样本对象在第一模态数据下表现出的第一群体特征差异以及所述多个样本对象在第二模态数据下表现出的第二群体特征差异：针对所述多个样本对象，以每个样本对象的所述第一分类预测结果作为顶点，以每个样本对象的第一模态特征作为每一顶点的顶点属性，构建所述多...
【专利技术属性】
技术研发人员：马骏，杨涛，杨钰群，杨雅慧，
申请(专利权)人：北京芯联心科技发展有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。