数据处理的方法和装置、电子设备和存储介质制造方法及图纸

本申请提供了一种数据处理的方法和装置、电子设备和存储介质，其中，该方法包括：获取待处理的数据，其中，待处理的数据内包含目标文本信息和/或目标图像信息；将待处理的数据输入目标模型中，得到目标图像特征和目标文本特征，其中，目标模型用于得到关联度大于关联度阈值的目标图像特征和目标文本特征，目标模型是通过对初始模型的模型参数进行调整后得到的；根据目标图像特征和目标文本特征，确定对待处理的数据的处理结果。通过本申请，解决了相关技术中图像的表征内容不能准确展现出文本表达的内容，存在文本和图像关联度较低的问题。题。题。

【技术实现步骤摘要】
数据处理的方法和装置、电子设备和存储介质


[0001]本申请涉及大数据领域，尤其涉及一种数据处理的方法和装置、电子设备和存储介质。

技术介绍

[0002]目前，在确定图像和文本是否存在一定的相关性时，通常是分为两个单独的通道分别识别图像和文本，得到图像识别结果和文本识别结果，之后将图像识别结果和文本识别结果做关联度计算，在得到的关联度数值大于预设的关联度阈值后，则认为当前的图像和文本存在较强的关联度。
[0003]但是，上述方法中图像和文本之间是对比式学习，自动化程度较低，且在获取文本后确定与之对应的图像信息时，图像的表征内容不能准确展现出文本表达的内容，存在文本和图像关联度较低的问题。

技术实现思路

[0004]本申请提供了一种数据处理的方法和装置、电子设备和存储介质，以至少解决相关技术中图像的表征内容不能准确展现出文本表达的内容，存在文本和图像关联度较低的问题。
[0005]根据本申请实施例的一个方面，提供了一种数据处理的方法，该方法包括：
[0006]获取待处理的数据，其中，所述待处理的数据内包含目本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理的方法，其特征在于，所述方法包括：获取待处理的数据，其中，所述待处理的数据内包含目标文本信息和/或目标图像信息；将所述待处理的数据输入目标模型中，得到目标图像特征和目标文本特征，其中，所述目标模型用于得到关联度大于关联度阈值的所述目标图像特征和所述目标文本特征，所述目标模型是通过对初始模型的模型参数进行调整后得到的；根据所述目标图像特征和所述目标文本特征，确定对所述待处理的数据的处理结果。2.根据权利要求1所述的方法，其特征在于，在将所述待处理的数据输入目标模型中，得到目标图像特征和目标文本特征之前，所述方法还包括：获取初始图像信息和初始文本信息的文本序列，其中，所述初始图像信息和所述初始文本信息为训练所述初始模型的样本集；利用遮罩方案对所述初始图像信息进行遮罩处理，得到被遮挡的第一图像块和未被遮挡的第二图像块，利用所述遮罩方案对所述文本序列进行遮罩处理，得到被遮挡的第一序列文本和未被遮挡的第二序列文本，其中，所述第一图像块和所述第二图像块的个数都为至少一个、所述第一序列文本和所述第二序列文本中包含的文本个数都为至少一个；根据所述第一图像块、所述第二图像块、所述第一序列文本以及所述第二序列文本，得到所述目标模型。3.根据权利要求2所述的方法，其特征在于，所述利用遮罩方案对所述初始图像信息进行遮罩处理，得到被遮挡的第一图像块和未被遮挡的第二图像块包括：对所述初始图像信息进行等额分块处理，得到多个图像块；按照所述遮罩方案中设置的遮罩比例，对所述图像块进行遮罩处理，得到所述第一图像块和所述第二图像块。4.根据权利要求2所述的方法，其特征在于，所述根据所述第一图像块、所述第二图像块、所述第一序列文本以及所述第二序列文本，得到所述目标模型包括：根据所述第一图像块、所述第二图像块、所述第一序列文本、所述第二序列文本、文本编码器、文本解码器、图像编码器以及图像解码器，得到解码后的图像特征和解码后的文本特征；利用所述解码后的图像特征、所述解码后的文本特征以及损失函数，调整所述模型参数，得到所述目标模型。5.根据权利要求4所述的方法，其特征在于，所述根据所述第一图像块、所述第二图像块、所述第一序列文本、所述第二序列文本、文本编码器、文本解码器、图像编码器以及图像解码器，得到解码后的图像特征和解码后的文本特征包括：将所述第二图像块输入所述图像编码器，得到编码后的第一图像特征；将所...

【专利技术属性】
技术研发人员：胡郡郡，唐大闰，
申请(专利权)人：北京明略昭辉科技有限公司，
类型：发明
国别省市：