数据处理方法、模型训练方法、装置及电子设备制造方法及图纸

本申请实施例提供了一种数据处理方法、模型训练方法、装置及电子设备，涉及云技术、人工智能技术领域。该数据处理方法包括：获取待匹配的图像和文本；将图像和文本输入至训练好的多模匹配模型，通过多模匹配模型执行以下操作，得到图像和文本的匹配结果：基于图像和文本，从图像中分别确定与文本中各个分词对应的中心子图像，根据各个分词与对应的各个目标子图像间的相关程度，获得图像和文本的匹配结果。本申请实施例通过各个分词与对应的各个目标子图像间的相关程度确定图像和文本的匹配结果，有效简化了多模态特征计算，提升了特征匹配的效率。匹配的效率。匹配的效率。

【技术实现步骤摘要】
数据处理方法、模型训练方法、装置及电子设备


[0001]本申请涉及云技术、人工智能
，具体而言，本申请涉及一种数据处理方法、模型训练方法、装置及电子设备。

技术介绍

[0002]随着信息技术的发展，文本、图像、视音频等不同模态数据在不同程度上具有不同层次的知识表达性，越来越多的应用场景中，例如跨模态数据匹配、视觉问答、视觉对话、字幕生成等，存在针对多模态数据的协同表示与处理需求。以图像和文本数据的匹配判断为例，通常采用基于自注意力机制的深度学习模型来对图像数据和本文数据进行交互聚合，得到多模态的数据特征，并基于多模态的数据特征进行分类处理。
[0003]现有技术中，在进行图像数据和图像数据的交互聚合时，将图像数据中的每一子图像与文本数据中的每一分词逐一进行特征匹配，以确定图像数据和文本数据的匹配结果；由于子图像数据的特征信息较冗余，在分别将单个分词与每一子图像进行特征匹配的过程中，往往会增加计算的冗余度，存在匹配效率较低的问题。

技术实现思路

[0004]本申请实施例提供了一种数据处理方法、模型训练方法、装置及电子设备，可以解决现有技术中多模态特征匹配效率较低的问题。所述技术方案如下：
[0005]根据本申请实施例的一个方面，提供了一种数据处理方法，该方法包括：
[0006]获取待匹配的图像和文本；
[0007]将图像和文本输入至训练好的多模匹配模型，通过多模匹配模型执行以下操作，得到图像和文本的匹配结果：
[0008]基于图像和文本，从图像中分别确定与文本中各个分词对应的中心子图像，根据各个分词与对应的各个目标子图像间的相关程度，获得图像和文本的匹配结果；
[0009]其中，中心子图像与对应分词的相关程度大于预设阈值；各个目标子图像包括中心子图像以及位于中心子图像周边预设范围内的周边子图像；匹配结果用于表征图像和文本的语义相似度。
[0010]可选的，上述从图像中分别确定与文本中各个分词对应的中心子图像，包括：
[0011]获取文本中各个分词的第一文本特征，以及图像中各个子图像的第一图像特征；
[0012]对于每个分词，根据分词的第一文本特征和各个子图像的第一图像特征，确定分词与各个子图像间的相关程度；
[0013]根据分词与各个子图像间的相关程度，确定与分词相关程度大于预设阈值的中心子图像。
[0014]可选的，上述获取文本中各个分词的第一文本特征，以及图像中各个子图像的第一图像特征，包括：
[0015]获取文本中各个分词的初始文本特征以及图像中各个子图像的初始图像特征；
[0016]根据各个分词的初始文本特征间的相关程度以及多模匹配模型中训练好的文本信息匹配权重，确定各个分词的第一文本特征；
[0017]根据多模匹配模型中训练好的图像信息索引权重和各个子图像的初始图像特征，确定各个子图像的第一图像特征。
[0018]可选的，上述根据各个分词的初始文本特征间的相关程度以及多模匹配模型中训练好的文本信息匹配权重，确定各个分词的第一文本特征，包括：
[0019]基于各个分词的初始文本特征之间的相关程度，确定各个分词对应的第一权重；
[0020]根据各个分词对应的第一权重对各个分词的初始文本特征进行加权，得到各个分词的第二文本特征；
[0021]根据文本信息匹配权重对各个分词的第二文本特征进行加权，得到文本中各个分词的第一文本特征。
[0022]可选的，上述根据各个分词与对应的各个目标子图像间的相关程度，获得图像和文本的匹配结果，包括：
[0023]对于每个分词，根据各个目标子图像的第二图像特征以及分词与各个目标子图像间的相关程度，获得分词与各个目标子图像间的融合特征；
[0024]根据各个分词与对应的各个目标子图像间的融合特征，获得图像和文本的匹配结果；
[0025]其中，第二图像特征是根据多模匹配模型中训练好的图像信息存储权重以及各个子图像的初始图像特征确定的。
[0026]可选的，上述根据各个目标子图像的第二图像特征以及分词与各个目标子图像间的相关程度，获得分词与各个目标子图像间的融合特征，包括：
[0027]确定各个目标子图像对应的第二权重，根据各个目标子图像对应的第二权重，对分词与各个目标子图像间的相关程度进行加权，获得分词与各个目标子图像间的加权后相关程度；
[0028]以分词与各个目标子图像间的加权后相关程度，对各个目标子图像的第二图像特征加权，获得分词与各个目标子图像间的融合特征。
[0029]可选的，上述确定各个目标子图像对应的第二权重，包括：
[0030]对于每个分词对应的任意一个目标子图像，根据目标子图像与每个分词对应的中心子图像的距离，确定目标子图像对应的第二权重；
[0031]其中，距离的大小与第二权重成反比。
[0032]根据本申请实施例的另一个方面，提供了一种多模匹配模型的训练方法，该方法包括：
[0033]获取预设的训练集；其中，训练集中包括多个文本样本和图像样本对，以及文本样本和图像样本对所对应的样本匹配标签；
[0034]从图像样本中分别确定与文本样本中各个分词样本对应的中心子图像样本；其中，中心子图像样本与对应分词样本的相关程度大于预设阈值；
[0035]根据各个分词样本与对应的各个目标子图像样本间的相关程度，确定图像样本和文本样本的样本匹配结果；其中，各个目标子图像样本包括中心子图像样本以及位于中心子图像样本周边关注距离内的周边子图像样本；
[0036]基于样本匹配结果与样本匹配标签的差异，确定损失函数；
[0037]基于损失函数迭代更新初始模型的参数，直至初始模型收敛，获得多模匹配模型；其中，初始模型的参数包括关注距离。
[0038]可选的，上述初始模型的参数包括文本信息匹配权重和图像信息索引权重；
[0039]上述从图像样本中分别确定与文本样本中各个分词样本对应的中心子图像样本，包括：
[0040]根据文本样本中各个分词样本的初始文本特征，与初始模型的文本信息匹配权重，确定各个分词样本的第一文本特征；
[0041]根据初始模型中的图像信息索引权重和各个子图像样本的初始图像特征，确定各个子图像样本的第一图像特征；
[0042]对于每个分词样本，根据分词样本的第一文本特征和各个子图像样本的第一图像特征，确定分词样本与各个子图像样本间的相关程度；
[0043]根据分词样本与各个子图像样本间的相关程度，确定与分词样本对应的中心子图像样本。
[0044]可选的，上述初始模型的参数包括图像信息存储权重；
[0045]上述根据各个分词样本与对应的各个目标子图像样本间的相关程度，确定图像样本和文本样本的样本匹配结果，包括：
[0046]根据初始模型中的图像信息存储权重以及各个子图像样本的初始图像特征，确定各个子图像样本的第二图像特征；
[0047]根据各个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取待匹配的图像和文本；将所述图像和文本输入至训练好的多模匹配模型，通过所述多模匹配模型执行以下操作，得到所述图像和文本的匹配结果：基于所述图像和文本，从所述图像中分别确定与所述文本中各个分词对应的中心子图像，根据各个分词与对应的各个目标子图像间的相关程度，获得所述图像和文本的匹配结果；其中，所述中心子图像与对应分词的相关程度大于预设阈值；所述各个目标子图像包括所述中心子图像以及位于所述中心子图像周边预设范围内的周边子图像；所述匹配结果用于表征所述图像和文本的语义相似度。2.根据权利要求1所述的方法，其特征在于，所述从所述图像中分别确定与所述文本中各个分词对应的中心子图像，包括：获取所述文本中各个分词的第一文本特征，以及所述图像中各个子图像的第一图像特征；对于每个分词，根据所述分词的第一文本特征和各个子图像的第一图像特征，确定所述分词与各个子图像间的相关程度；根据所述分词与各个子图像间的相关程度，确定与所述分词相关程度大于预设阈值的中心子图像。3.根据权利要求2所述的方法，其特征在于，所述获取所述文本中各个分词的第一文本特征，以及所述图像中各个子图像的第一图像特征，包括：获取所述文本中各个分词的初始文本特征以及所述图像中各个子图像的初始图像特征；根据所述各个分词的初始文本特征间的相关程度以及所述多模匹配模型中训练好的文本信息匹配权重，确定各个分词的第一文本特征；根据所述多模匹配模型中训练好的图像信息索引权重和所述各个子图像的初始图像特征，确定各个子图像的第一图像特征。4.根据权利要求3所述的方法，其特征在于，所述根据所述各个分词的初始文本特征间的相关程度以及所述多模匹配模型中训练好的文本信息匹配权重，确定各个分词的第一文本特征，包括：基于所述各个分词的初始文本特征之间的相关程度，确定各个分词对应的第一权重；根据所述各个分词对应的第一权重对所述各个分词的初始文本特征进行加权，得到所述各个分词的第二文本特征；根据所述文本信息匹配权重对所述各个分词的第二文本特征进行加权，得到所述文本中各个分词的第一文本特征。5.根据权利要求3所述的方法，其特征在于，所述根据各个分词与对应的各个目标子图像间的相关程度，获得所述图像和文本的匹配结果，包括：对于每个分词，根据所述各个目标子图像的第二图像特征以及所述分词与各个目标子图像间的相关程度，获得所述分词与所述各个目标子图像间的融合特征；根据所述各个分词与对应的所述各个目标子图像间的融合特征，获得所述图像和文本
的匹配结果；其中，所述第二图像特征是根据所述多模匹配模型中训练好的图像信息存储权重以及所述各个子图像的初始图像特征确定的。6.根据权利要求5所述的方法，其特征在于，所述根据所述各个目标子图像的第二图像特征以及所述分词与各个目标子图像间的相关程度，获得所述分词与所述各个目标子图像间的融合特征，包括：确定所述各个目标子图像对应的第二权重，根据所述各个目标子图像对应的第二权重，对所述分词与所述各个目标子图像间的相关程度进行加权，获得所述分词与所述各个目标子图像间的加权后相关程度；以所述分词与所述各个目标子图像间的加权后相关程度，对所述各个目标子图像的第二图像特征加权，获得所述分词与所述各个目标子图像间的融合特征。7.根据权利要求6所述的方法，其特征在于，所述确定所述各个目标子图像对应的第二权重，包括：对于每个分词对应的任意一个目标子图像，根据所述目标子图像与每个分词对应的中心子图像的距离，确定所述目标子图像对应的第二权重；其中，所述距离的大小与所述第二权重成反比。8.一种多模匹配模型的训练方法，其特征在于，包括：获取预设的训练集；其中，所述训练集中包括多个文本样本和图像样本对，以及所述文本样本和图像样本对所对应的样本匹配标签；从所述图像样本中分别确定与所述文本样本中各个分词样本对应的中心子图像样本；其中，所述中心子图像样本与对应...

【专利技术属性】
技术研发人员：李宗蔚，姜文浩，郑锋，
申请(专利权)人：深圳市腾讯计算机系统有限公司，
类型：发明
国别省市：