数据处理方法、电子设备、程序产品及介质技术

技术编号:35095701 阅读:62 留言:0更新日期:2022-10-01 16:58
本申请实施例公开了数据处理方法、电子设备、程序产品及介质,可应用于数据处理技术领域。其中方法包括:获取样本数据集;调用预测模型生成每个文本数据的文本特征及每个图像数据的图像特征;分别生成多个第一特征对中每个第一特征对的第一特征差异;分别生成多个第二特征对中每个第二特征对的第二特征差异;基于每个第一特征对对应的第一特征差异和每个第二特征对对应的第二特征差异修正预测模型的模型参数,得到训练好的预测模型。采用本申请实施例,有助于提升对文本数据所指示的事件的预测的准确度。本申请实施例还可应用于云技术、人工智能、智慧交通、辅助驾驶等各种场景。辅助驾驶等各种场景。辅助驾驶等各种场景。

【技术实现步骤摘要】
数据处理方法、电子设备、程序产品及介质


[0001]本申请涉及数据处理
,尤其涉及数据处理方法、电子设备、程序产品及介质。

技术介绍

[0002]目前,在各个领域中自然语言处理技术(NLP,Natural Language Processing)得到了广泛应用。在自然语言处理技术的一个子任务中,可以基于文本数据预测该文本数据所指示的事件。目前,基于文本数据预测该文本数据所指示的事件,通常是基于文本数据训练事件预测模型,进而基于训练好的事件预测模型预测输入的文本数据所指示的事件。在实践过程中,专利技术人发现,文本数据受到撰写习惯的影响较大,使用单一的文本数据去训练事件预测模型,得到训练好的事件信息抽取模型预测输入的文本数据所指示的事件的准确度较低。

技术实现思路

[0003]本申请实施例提供了一种数据处理方法、电子设备、程序产品及介质,有助于提升对文本数据所指示的事件的预测的准确度。
[0004]一方面,本申请实施例公开了一种数据处理方法,该方法包括:
[0005]获取样本数据集;样本数据集中样本数据包含N个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法,其特征在于,所述方法包括:获取样本数据集;所述样本数据集中样本数据包含N个文本数据和M个图像数据,任一个文本数据和任一个图像数据均具有事件标签,N和M为正整数;调用预测模型生成每个文本数据的文本特征及每个图像数据的图像特征;分别生成多个第一特征对中每个第一特征对所包含文本特征和图像特征之间的第一特征差异;任一第一特征对包含的文本特征所属文本数据与包含的图像特征所属图像数据具有相同的事件标签;分别生成多个第二特征对中每个第二特征对所包含文本特征和图像特征之间的第二特征差异;任一第二特征对包含的文本特征所属文本数据与包含的图像特征所属图像数据具有不同的事件标签;基于所述每个第一特征对对应的第一特征差异和所述每个第二特征对对应的第二特征差异修正所述预测模型的模型参数,得到训练好的预测模型;所述训练好的预测模型用于根据输入的文本数据预测该文本数据所指示的事件。2.根据权利要求1所述方法,其特征在于,所述基于所述每个第一特征对对应的第一特征差异和所述每个第二特征对对应的第二特征差异修正所述预测模型的模型参数,得到训练好的预测模型,包括:对所述多个第一特征对和所述多个第二特征对进行组合,得到第一组合特征对和第二组合特征对;所述第一组合特征对中的第一特征对和第二特征对包含相同的文本特征,所述第二组合特征对中的第一特征对和第二特征对包含相同的图像特征;根据所述第一组合特征对中第一特征对对应的第一特征差异及第二特征对对应的第二特征差异,生成所述预测模型针对样本特征的第一预测损失值;根据所述第二组合特征对中第一特征对对应的第一特征差异及第二特征对对应的第二特征差异,生成所述预测模型针对所述样本特征的第二预测损失值;根据所述第一预测损失值和所述第二预测损失值确定所述预测模型的第一特征预测偏差,并根据所述第一特征预测偏差修正所述预测模型的模型参数,得到训练好的预测模型。3.根据权利要求2所述方法,其特征在于,所述根据所述第一组合特征对中第一特征对对应的第一特征差异及第二特征对对应的第二特征差异,生成所述预测模型针对样本特征的第一预测损失值,包括:将所述第一组合特征对中第二特征对包含的文本特征确定为第一文本特征,并将所述第一组合特征对中第二特征对包含的图像特征确定为第一图像特征;调用所述预测模型基于所述第一图像特征,生成所述第一文本特征所属文本数据的事件标签的第一标签权重,并生成所述第一图像特征所属图像数据的事件标签的第二标签权重;根据所述第一标签权重和所述第二标签权重生成所述第一组合特征对对应的第二特征差异的第一差异权重;根据所述第一差异权重、所述第一组合特征对中第一特征对对应的第一特征差异和所述第一组合特征对中第二特征对对应的第二特征差异,生成第一预测损失值。4.根据权利要求2所述方法,其特征在于,所述根据所述第二组合特征对中第一特征对
对应的第一特征差异及第二特征对对应的第二特征差异,生成所述预测模型针对样本特征的第二预测损失值,包括:将所述第二组合特征对中第二特征对包含的文本特征确定为第二文本特征,并将所述第一组合特征对中第二特征对包含的图像特征确定为第二图像特征;调用所述预测模型基于所述第二图像特征,生成所述第二文本特征所属文本数据的事件标签的第三标签权重,并生成所述第二图像特征所属图像数据...

【专利技术属性】
技术研发人员:王硕鞠美芝张云燕
申请(专利权)人:腾讯科技深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1