多模态数据匹配度计算和计算模型训练的方法、相关装置制造方法及图纸

本公开提供了一种多模态数据匹配度计算模型的训练、多模态数据匹配度计算方法、装置、电子设备、计算机可读存储介质及计算机程序产品，涉及深度学习、图像处理和计算机视觉等人工智能技术领域。该方法包括：获取模态不同的第一样本数据和第二样本数据，并基于该第一样本数据和该第二样本数据间的语义特征距离确定语义困惑度，然后构建包括语义困惑度参数的对比学习损失函数后，利用该对比学习损失函数，以对比学习的方式训练初始多模态数据匹配度计算模型，得到目标多模态数据匹配度计算模型，该实施方式提供的多模态数据匹配度计算模型，可更为准确的计算模态不同的数据之间的匹配度。配度。配度。

Methods and related devices for calculating the matching degree of multimodal data and training computational models

【技术实现步骤摘要】
多模态数据匹配度计算和计算模型训练的方法、相关装置


[0001]本公开涉及深度学习、图像处理和计算机视觉等人工智能
，尤其涉及一种多模态数据匹配度计算模型的训练和多模态数据匹配度计算方法，以及以对应的装置、电子设备、计算机可读存储介质及计算机程序产品。

技术介绍

[0002]跨模态匹配目的在于为不同模态的数据之间建立语义关联，其中某一模态数据作为查询项，对与其具有相同或相近语义的其他模态数据进行匹配。其中，作为互联网中最为广泛存在的两类信息，图像和文本之间的跨模态检索，即图像
‑
文本匹配，也被普遍认为是跨模态检索中的核心任务。

技术实现思路

[0003]本公开实施例提出了一种多模态数据匹配度计算模型的训练、多模态数据匹配度计算方法、装置、电子设备、计算机可读存储介质及计算机程序产品。
[0004]第一方面，本公开实施例提出了一种多模态数据匹配度计算模型的训练方法，包括：获取模态不同的第一样本数据和第二样本数据；构建包括语义困惑度参数的对比学习损失函数，该语义困惑度参数基于该第一样本数据和该第二样本数据间的语义特征距离确定；利用该对比学习损失函数，以对比学习的方式训练初始多模态数据匹配度计算模型，得到目标多模态数据匹配度计算模型。
[0005]第二方面，本公开实施例提出了一种多模态数据匹配度计算模型的训练装置，包括：样本数据获取单元，被配置成获取模态不同的第一样本数据和第二样本数据；损失函数构建单元，被配置成构建包括语义困惑度参数的对比学习损失函数，该语义困惑度参数基于该第一样本数据和该第二样本数据间的语义特征距离确定；多模态数据匹配度计算模型的训练单元，被配置成利用该对比学习损失函数，以对比学习的方式训练初始多模态数据匹配度计算模型，得到目标多模态数据匹配度计算模型。
[0006]第三方面，本公开实施例提出了一种多模态数据匹配度计算方法，包括：获取模态不同的第一数据和第二数据构成的待测数据对；调用预设的多模态数据匹配度计算模型处理该待测数据对，得到该待测数据对的语义匹配度；其中，该多模态数据匹配度计算模型基于对比学习损失函数以对比学习的方式训练得到，该对比学习损失函数包含有语义困惑度参数，该语义困惑度参数基于模态不同的第一样本数据和第二样本数据间的语义特征距离确定。
[0007]第四方面，本公开实施例提出了一种多模态数据匹配度计算装置，包括：待匹配数据获取单元，被配置成获取模态不同的第一数据和第二数据构成的待测数据对；匹配度计算单元，被配置成调用预设的多模态数据匹配度计算模型处理该待测数据对，得到该待测数据对的语义匹配度；其中，该多模态数据匹配度计算模型基于对比学习损失函数以对比学习的方式训练得到，该对比学习损失函数包含有语义困惑度参数，该语义困惑度参数基
于模态不同的第一样本数据和第二样本数据间的语义特征距离确定。
[0008]第五方面，本公开实施例提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器执行时能够实现如第一方面中任一实现方式描述的多模态数据匹配度计算模型的训练方法或如第三方面中任一实现方式描述的多模态数据匹配度计算方法。
[0009]第六方面，本公开实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行时能够实现如第一方面中任一实现方式描述的多模态数据匹配度计算模型的训练方法或如第三方面中任一实现方式描述的多模态数据匹配度计算方法。
[0010]第七方面，本公开实施例提供了一种包括计算机程序的计算机程序产品，该计算机程序在被处理器执行时能够实现如第一方面中任一实现方式描述的多模态数据匹配度计算模型的训练方法或如第三方面中任一实现方式描述的多模态数据匹配度计算方法。
[0011]本公开实施例提供的多模态数据匹配度计算模型的训练、多模态数据匹配度计算方法，获取模态不同的第一样本数据和第二样本数据，然后，构建包括语义困惑度参数的对比学习损失函数，该对比学习损失函数用于以对比学习方式训练初始多模态数据匹配度计算模型，该语义困惑度参数基于该第一样本数据和第二样本数据间的语义特征距离确定得到，最后，利用该第一样本数据、该第二样本数据和该对比学习损失函数，训练该初始多模态数据匹配度计算模型，得到目标多模态数据匹配度计算模型。
[0012]本公开所提供的多模态数据匹配度计算模型的训练方法和多模态数据匹配度计算方法，在基于常规对比学习思想构建的损失函数上增加了语义困惑度参数，且由于语义困惑度参数是基于模态不同的第一样本数据和第二样本数据之间的语义特征距离确定得到，使得构建出的包含语义困惑度参数的对比学习损失函数，能够在模型训练阶段根据语义困惑度的大小调整对样本进行跨模态匹配的关注度，使得在后续使用该多模态数据匹配度计算模型时，能够对存在高语义困惑度备选数据的输入数据通过提升关注度的方式来提升匹配精度。
[0013]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0014]通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显：
[0015]图1是本公开可以应用于其中的示例性系统架构；
[0016]图2为本公开实施例提供的一种多模态数据匹配度计算模型的训练方法的流程图；
[0017]图3为本公开实施例提供的一种基于记忆银行提取语义特征的方法的流程图；
[0018]图4为本公开实施例提供的在一应用场景下基于多模态数据匹配度计算模型的训练方法得到的多模态数据匹配度计算模型的网络结构示意图；
[0019]图5为本公开实施例提供的一种多模态数据匹配度计算模型的训练装置的结构框
图；
[0020]图6为本公开实施例提供的一种多模态数据匹配度计算装置的结构框图；
[0021]图7为本公开实施例提供的一种适用于执行多模态数据匹配度计算模型的训练方法和/或多模态数据匹配度计算方法的电子设备的结构示意图。
具体实施方式
[0022]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
[0023]本公开的技术方案中，所涉及的用户个人信息(例如第一样本数据、第二样本数据中包括与用户相关的身份信息、人脸图像等)的获取、存储和应用等，均符合相关法律法规的规定，采取了必要的保密措施，且不违背公序良俗。
[0024]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模态数据匹配度计算模型的训练方法，包括：获取模态不同的第一样本数据和第二样本数据；构建包括语义困惑度参数的对比学习损失函数，所述语义困惑度参数基于所述第一样本数据和所述第二样本数据间的语义特征距离确定；利用所述对比学习损失函数，以对比学习的方式训练初始多模态数据匹配度计算模型，得到目标多模态数据匹配度计算模型。2.根据权利要求1所述的方法，还包括：获取多个所述第一样本数据和多个所述第二样本数据；将各所述第一样本数据的语义特征存入第一记忆银行、将各所述第二样本数据的语义特征存入第二记忆银行；分别对所述第一记忆银行和所述第二记忆银行的编码器进行动量更新，并从完成动量更新的第一记忆银行中提取第一语义特征、从完成动量更新的第二记忆银行中提取第二语义特征；基于所述第一语义特征与所述第二语义特征的语义特征距离，确定所述语义困惑度参数。3.根据权利要求2所述的方法，其中，所述将各所述第一样本数据的语义特征存入第一记忆银行、将各所述第二样本数据的语义特征存入第二记忆银行，包括：将至少两个所述第一样本数据以集合的形式存入所述第一记忆银行、将至少两个所述第二样本数据以集合的形式存入所述第二记忆银行。4.根据权利要求1所述的方法，其中，所述构建包括语义困惑度参数的对比学习损失函数，包括：获取对比学习方式中用以监督模型训练的初始对比学习损失函数；利用所述第一样本数据与所述第二样本数据间的语义特征的余弦关系表征所述语义困惑度参数；基于所述初始对比学习损失函数与所述语义困惑度参数构建所述对比学习损失函数。5.根据权利要求2或3所述的方法，还包括对所述对比学习损失函数中的以下至少一项施加约束：所述第一样本数据、所述第二样本数据、基于所述第一记忆银行得到的第一样本数据的语义特征、基于所述第二记忆银行得到的第二样本数据的语义特征。6.根据权利要求1所述的方法，其中，所述第一样本数据包括样本图像数据，所述第二样本数据包括样本文本数据。7.一种多模态数据匹配度计算方法，包括：获取模态不同的第一数据和第二数据构成的待测数据对；调用预设的多模态数据匹配度计算模型处理所述待测数据对，得到所述待测数据对的语义匹配度；其中，所述多模态数据匹配度计算模型基于对比学习损失函数以对比学习的方式训练得到，所述对比学习损失函数包含有语义困惑度参数，所述语义困惑度参数基于模态不同的第一样本数据和第二样本数据间的语义特征距离确定。8.根据权利要求7所述的方法，其中，所述第一数据包括图像数据，所述第二数据包括文本数据。
9.一种多模态数据匹配度计算模型的训练装置，包括：样本数据获取单元，被配置成获取模态不同的第一样本数据和第二样本数据；损失函数构建单元，被配置成构建包括语义困惑度参数的对比学习损失函数，所述语义困惑度参数基于所述第一样本数据和所述第二样本数据间的语义特征距离确定；多模态数据匹配度计算模型的训练单元，被配置成利用所述对比学习损失函数，以对比学习的方式训练初始多模态数据匹配度计算模型，得到目标多模态数据匹配度计算模型。10.根据权利要求9所述的装置，还包括：样本数据批量获取单元，被配置成获取多个所述第一样本数据和多个所述第二样本数据；记忆银行存入单元，被配置成将各所述第一样本数据的语义特征存入第一...

【专利技术属性】
技术研发人员：汪浩然，何栋梁，李甫，丁二锐，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：