数据处理方法、装置、设备及计算机介质制造方法及图纸

本申请公开了一种数据处理方法、装置、设备，及计算机介质，方法包括：获取包括互相匹配的待处理文本特征信息与待处理图像特征信息的待处理图文特征信息；待处理文本特征信息或待处理图像特征信息中包含掩码标识；基于初始向量生成规则，对待处理图文特征信息进行处理得到第一向量信息组与第二向量信息组；通过初始编码规则对第一向量信息组与第二向量信息组进行编码得到融合向量信息组；通过初始解码规则对融合向量信息组进行解码得到掩码标识对应的预测结果；基于预测结果与掩码标识对初始预训练模型进行训练得到目标预训练模型。提高了当需要训练对应多种任务的任务处理模型时，训练相应的预训练模型的训练效率。训练相应的预训练模型的训练效率。训练相应的预训练模型的训练效率。

【技术实现步骤摘要】
数据处理方法、装置、设备及计算机介质


[0001]本申请属于人工智能领域，尤其涉及一种数据处理方法、装置、设备及计算机介质。

技术介绍

[0002]目前，相关技术中的预训练模型，一般仅关注单一的任务类别的任务的处理，其中，任务类别可以为：涉及文本理解任务、视觉理解任务、多模态理解任务、图像到文本生成任务和文本到图像生成任务。多模态理解任务是同时理解视觉信息和语言信息来解决视觉问答、视觉推理和视觉蕴含等任务。图像到文本生成任务是需要理解输的图像信息生成相应的文本描述。文本到图像生成任务是需要根据输的文本信息生成相应的图像。当需要完成多种类别的任务时，相关技术中，需要训练各类别的任务对应的任务处理模型，与各类别的任务对应的预训练模型，预训练模型的训练效率较低。

技术实现思路

[0003]本申请实施例提供一种与现有技术不同的实现方案，以解决现有技术中，当需要训练对应多种任务的任务处理模型时，训练相应的预训练模型的训练效率较低的技术问题。
[0004]第一方面，本申请提供一种数据处理方法，包括：获取待处理图文特征信息，所述待处理本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取待处理图文特征信息，所述待处理图文特征信息包括待处理文本特征信息与待处理图像特征信息；所述待处理文本特征信息或所述待处理图像特征信息中包含掩码标识，所述待处理文本特征信息与所述待处理图像特征信息匹配；基于初始向量生成规则生成所述待处理文本特征信息对应的第一向量信息组，以及所述待处理图像特征信息对应的第二向量信息组；通过初始编码规则对所述第一向量信息组与所述第二向量信息组进行编码，得到对应的融合向量信息组；其中，所述融合向量信息组包括多个融合向量信息，各融合向量信息与所述第一向量信息组以及所述第二向量信息组相关；通过初始解码规则对所述融合向量信息组进行解码，得到所述掩码标识对应的预测结果；基于所述预测结果与所述掩码标识对初始预训练模型进行训练，得到目标预训练模型，所述目标预训练模型用于根据获取到的目标任务类别训练所述目标任务类别对应的目标任务处理模型。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取样本图文信息，所述样本图文信息包括样本文本信息与样本图像信息，所述样本文本信息与样本图像信息匹配；根据所述样本文本信息与预设词库确定所述样本文本信息中的各字符在预设词库中的标记信息，得到所述样本文本信息对应的标记信息组；按照第一预设编码规则对所述样本图像信息进行编码，得到所述样本图像信息对应的初始向量信息组；基于预设掩码规则对所述标记信息组中的部分标记信息，或对初始向量信息组中的部分初始向量信息进行掩码处理，得到所述待处理图文特征信息。3.根据权利要求2所述的方法，其特征在于，基于所述预测结果与所述掩码标识对所述初始预训练模型进行训练，得到目标预训练模型，包括：获取所述掩码标识对应的目标信息；确定所述预测结果与所述目标信息的相似度值；若所述相似度值小于预设相似度值，则将初始预训练模型作为目标预训练模型；若所述相似度值不小于所述预设相似度值，则基于所述相似度值对所述初始预训练模型中的模型参数进行更新，得到模型参数进行更新后的初始预训练模型，并返回执行基于初始向量生成规则生成所述待处理文本特征信息对应的第一向量信息组，以及所述待处理图像特征信息对应的第二向量信息组的步骤，直至所述相似度值小于所述预设相似度值，得出目标预训练模型为止；其中，所述初始预训练模型中的模型参数包括：所述初始向量生成规则中的参数、所述初始编码规则中的参数，以及所述初始解码规则中的参数中的至少一种参数。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：按照第二预设编码规则对所述样本图像信息进行编码，得到所述样本图像信息对应的编码数值组，所述编码数值组包括多个编码数值，其中，所述编码数值组中的编码数值的数量，与所述初始向量信息组中的初始向量信息的数量相同；
根据所述编码数值组确定所述掩码标识对应的目标信息。5.根据权利要求4所述的方法，其特征在于，根据所述编码数值组确定所述掩码标识对应的目标信息，包括：获取所述掩码标识对应的被掩码内容在掩码对象中的第一位置信息；从所述编码数值组中选择出所述第一位置信息对应的目标编码数值；将所述目标编码数值作为所述目标信息；其中，若所述待处理图文特征信息为基于预设掩码规则对所述初始向量信息组中的部分初始向量信息进行掩码处理得到的，则所述被掩码内容为所述部分初始向量信息，所述掩码对象为所述初始向量信息组。6.根据权利要求2所述的方法，其特征在于，基于所述预测结果与所述掩码标识对初始预训练模型进行训练，得到目标预训练模型，包括：确定对初始预训练模型中的模型参数的更新次数是否大于预设次数，若是，则将所述初始预训练模型作为目标预训练模型；若否，则获取所述掩码标识对应的目标信息；根据所述预测结果、所述目标信息以及预设的损失函数，确定出对应的损失信息；根据所述损失信息对所述初始预训练模型中的模型参数进行更新，得到模型参数进行更新后的初始预训练模型，并返回执行基于初始向量生成规则生成所述待处理文本特征信息对应的第一向量信息组，以及所述待处理图像特征信息对应的第二向量信息组的步骤，直至所述更新次数大于所述预设次数时，将所述初始预训练模型作为目标预训练模型；其中，所述初始预训练模型中的模型参数包括：所述初始向量生成规则中的参数、所述初始编码规则中的参数，以及所述初始解码规则中的参数中的至少一种参数。7.一种模型训练...

【专利技术属性】
技术研发人员：张新松，刁诗哲，周王春澍，王嘉伟，
申请(专利权)人：北京有竹居网络技术有限公司，
类型：发明
国别省市：