基于多模态训练的信息匹配方法、装置、电子设备及介质制造方法及图纸

本发明专利技术涉及用于金融科技领域的人工智能技术，揭露一种基于多模态训练的信息匹配方法，包括：将图文样本数据集输入至预构建多模态预训练模型中，得到多个文本特征向量和多个图像特征向量，构建文本特征向量和图像特征向量对应的样本损失函数和模态信息损失函数，利用模态信息损失函数和样本损失函数对多模态预训练模型进行模型训练，得到训练好的标准多模态模型，将待匹配信息输入至所述标准多模态模型中，得到信息匹配结果。此外，本发明专利技术还涉及区块链技术，文本特征向量可存储于区块链的节点。本发明专利技术还提出一种基于多模态训练的信息匹配装置、电子设备以及存储介质。本发明专利技术可以提高金融科技领域场景中信息匹配的准确度。高金融科技领域场景中信息匹配的准确度。高金融科技领域场景中信息匹配的准确度。

【技术实现步骤摘要】
基于多模态训练的信息匹配方法、装置、电子设备及介质


[0001]本专利技术涉及人工智能领域，尤其涉及一种基于多模态训练的信息匹配方法、装置、电子设备及存储介质。

技术介绍

[0002]随着社会发展和科技进步，大量不同模态种类的信息也涌现出来，在金融科技领域中，与电子交易和电子商务相关的信息有文本信息、图像信息、视频信息和音频信息，而传播最为广泛的还是文本信息和图像信息，因此，如何根据文本信息得到与之匹配的图像信息或者根据图像信息得到与之匹配的文本信息成为关键。
[0003]现有的信息匹配方法通常是通过执行跨模态对齐方法实现的，这种方法会忽略每个模态中的数据潜力，同时对于一些相似语义的文本或者相似形状的图形无法准确的区分，因此导致进行信息匹配的准确度较低，故亟待提出一种准确度更高的信息匹配方法。

技术实现思路

[0004]本专利技术提供一种基于多模态训练的信息匹配方法、装置、电子设备及存储介质，其主要目的在于提高信息匹配的准确度。
[0005]为实现上述目的，本专利技术提供的一种基于多模态训练的信息匹配方法，包括：
[0006]获取图文样本数据集，将所述图文样本数据集输入至预构建的多模态预训练模型中，得到多个文本特征向量和多个图像特征向量；
[0007]分别计算多个所述文本特征向量之间的文本对比损失值及多个图像特征向量之间的图像对比损失值，根据所述文本对比损失值和所述图像对比损失值构建样本损失函数；
[0008]提取所述图像特征向量中的全局图像特征向量和局部图像特征向量，根据所述全局图像特征向量和所述局部图像特征向量构建图像损失函数，提取所述文本特征向量中的全局文本特征向量和局部文本特征向量，根据所述全局文本特征向量和所述局部文本特征向量构建文本损失函数；
[0009]根据所述图像损失函数和所述文本损失函数构建模态信息损失函数，并利用所述模态信息损失函数和所述样本损失函数对所述多模态预训练模型进行模型训练，得到训练好的标准多模态模型；
[0010]获取待匹配信息，将所述待匹配信息输入至所述标准多模态模型中，得到信息匹配结果。
[0011]可选地，所述将所述图文样本数据集输入至预构建的多模态预训练模型中，得到多个文本特征向量和多个图像特征向量，包括：
[0012]识别所述图文样本数据集中样本数据的数据类型，并根据所述数据类型对所述图文样本数据集进行数据分类，得到图像样本数据集和文本样本数据集；
[0013]将所述图像样本数据集中的图像样本数据输入至所述多模态预训练模型中的图
像侧，得到多个图像特征向量；
[0014]将所述文本样本数据集中的文本样本数据输入至所述多模态预训练模型中的文本侧，得到多个文本特征向量。
[0015]可选地，所述将所述图像样本数据集中的图像样本数据输入至所述多模态预训练模型中的图像侧，得到多个图像特征向量，包括：
[0016]利用所述多模态预训练模型中的图像侧对所述图像样本数据进行全局特征提取，得到全局图像特征向量，并将所述全局图像特征向量作为第一类图像特征向量；
[0017]对所述图像样本数据进行局部特征提取，得到局部图像特征向量，并将所述局部图像特征向量作为第二类图像特征向量；
[0018]将所述第一类图像特征向量和所述第二类图像特征向量进行拼接处理，并对拼接处理后的向量进行维度变换，得到图像特征向量；
[0019]遍历所述图像样本数据集中的多条图像样本数据进行数据处理，得到多个图像特征向量。
[0020]可选地，所述计算多个所述文本特征向量之间的文本对比损失值，包括：
[0021]识别多个文本特征向量中的正文本向量和负文本向量，并选取任意一个正文本向量作为目标正文本向量，选取与所述目标正文本向量对应的负文本向量作为目标负文本向量；
[0022]将所述目标正文本向量和所述目标负文本向量输入至预设的文本对比损失函数公式中，得到文本对比损失值。
[0023]可选地，所述预设的文本对比损失函数公式为：
[0024][0025]其中，L
nce
(T
+
,T
‑
)为文本对比损失函数值，T
+
为目标正文本向量，T
‑
为目标负文本向量，k1为所述文本特征向量的向量个数，τ为预设固定参数。
[0026]可选地，所述利用所述模态信息损失函数和所述样本损失函数对所述多模态预训练模型进行模型训练，得到训练好的标准多模态模型，包括：
[0027]获取训练数据集，根据所述模态信息损失函数和所述样本损失函数分别计算出所述训练数据集对应的模态损失值和样本损失值；
[0028]当所述模态损失值和所述样本损失值均满足预设的参考条件时，将所述多模态预训练模型作为训练好的标准多模态模型；
[0029]当所述模态损失值或者所述样本损失值不满足预设的参考条件时，对所述多模态预训练模型进行模型参数调整，并根据调整模型参数后的模型进行特征提取和损失值计算，直至计算得到的损失值满足所述参考条件，将调整模型参数后的模型作为训练好的标准多模态模型。
[0030]可选地，所述模态信息损失函数为：
[0031][0032]其中，L
lmi
为模态信息损失函数值，为图像损失函数值，为文本损失函数值，M为所述图文样本数据集中图像信息的个数，N为所述图文样本数据集中文本信息的个数，I1为全局图像特征向量，为局部图像特征向量的平方值，T1为全局文本特征向量，为局部文本特征向量的平方值。
[0033]为了解决上述问题，本专利技术还提供一种基于多模态训练的信息匹配装置，所述装置包括：
[0034]向量生成模块，用于获取图文样本数据集，将所述图文样本数据集输入至预构建的多模态预训练模型中，得到多个文本特征向量和多个图像特征向量；
[0035]函数构造模块，用于分别计算多个所述文本特征向量之间的文本对比损失值及多个图像特征向量之间的图像对比损失值，根据所述文本对比损失值和所述图像对比损失值构建样本损失函数，提取所述图像特征向量中的全局图像特征向量和局部图像特征向量，根据所述全局图像特征向量和所述局部图像特征向量构建图像损失函数，提取所述文本特征向量中的全局文本特征向量和局部文本特征向量，根据所述全局文本特征向量和所述局部文本特征向量构建文本损失函数；
[0036]模型训练模块，用于根据所述图像损失函数和所述文本损失函数构建模态信息损失函数，并利用所述模态信息损失函数和所述样本损失函数对所述多模态预训练模型进行模型训练，得到训练好的标准多模态模型；
[0037]信息匹配模块，用于获取待匹配信息，将所述待匹配信息输入至所述标准多模态模型中，得到信息匹配结果。
[0038]为了解决上述问题，本专利技术还提供一种电子设备，所述电子设备包括：
[0039]至少一个处理器；以及，
[0040]与所述至少一个处理器通信连接的存本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态训练的信息匹配方法，其特征在于，所述方法包括：获取图文样本数据集，将所述图文样本数据集输入至预构建的多模态预训练模型中，得到多个文本特征向量和多个图像特征向量；分别计算多个所述文本特征向量之间的文本对比损失值及多个图像特征向量之间的图像对比损失值，根据所述文本对比损失值和所述图像对比损失值构建样本损失函数；提取所述图像特征向量中的全局图像特征向量和局部图像特征向量，根据所述全局图像特征向量和所述局部图像特征向量构建图像损失函数，提取所述文本特征向量中的全局文本特征向量和局部文本特征向量，根据所述全局文本特征向量和所述局部文本特征向量构建文本损失函数；根据所述图像损失函数和所述文本损失函数构建模态信息损失函数，并利用所述模态信息损失函数和所述样本损失函数对所述多模态预训练模型进行模型训练，得到训练好的标准多模态模型；获取待匹配信息，将所述待匹配信息输入至所述标准多模态模型中，得到信息匹配结果。2.如权利要求1所述的基于多模态训练的信息匹配方法，其特征在于，所述将所述图文样本数据集输入至预构建的多模态预训练模型中，得到多个文本特征向量和多个图像特征向量，包括：识别所述图文样本数据集中样本数据的数据类型，并根据所述数据类型对所述图文样本数据集进行数据分类，得到图像样本数据集和文本样本数据集；将所述图像样本数据集中的图像样本数据输入至所述多模态预训练模型中的图像侧，得到多个图像特征向量；将所述文本样本数据集中的文本样本数据输入至所述多模态预训练模型中的文本侧，得到多个文本特征向量。3.如权利要求2所述的基于多模态训练的信息匹配方法，其特征在于，所述将所述图像样本数据集中的图像样本数据输入至所述多模态预训练模型中的图像侧，得到多个图像特征向量，包括：利用所述多模态预训练模型中的图像侧对所述图像样本数据进行全局特征提取，得到全局图像特征向量，并将所述全局图像特征向量作为第一类图像特征向量；对所述图像样本数据进行局部特征提取，得到局部图像特征向量，并将所述局部图像特征向量作为第二类图像特征向量；将所述第一类图像特征向量和所述第二类图像特征向量进行拼接处理，并对拼接处理后的向量进行维度变换，得到图像特征向量；遍历所述图像样本数据集中的多条图像样本数据进行数据处理，得到多个图像特征向量。4.如权利要求1所述的基于多模态训练的信息匹配方法，其特征在于，所述计算多个所述文本特征向量之间的文本对比损失值，包括：识别多个文本特征向量中的正文本向量和负文本向量，并选取任意一个正文本向量作为目标正文本向量，选取与所述目标正文本向量对应的负文本向量作为目标负文本向量；将所述目标正文本向量和所述目标负文本向量输入至预设的文本对比损失函数公式
中，得到文本对比损失值。5.如权利要求4所述的基于多模态训练的信息匹配方法，其特征在于，所述预设的文本对比损失函数公式为：其中，L
nce
(T
+
,T
‑
)为文本对比损失函数...

【专利技术属性】
技术研发人员：刘羲，蒋恒智，舒畅，陈又新，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：