一种数据处理方法、装置及电子设备制造方法及图纸

本申请涉及计算机技术领域，特别涉及一种数据处理方法、装置及电子设备，可应用于云技术、人工智能、智慧交通辅助驾驶等各种场景。本申请实施例获取目标对象输入的多模态数据，并将多模态数据输入已训练的自然语言大模型；基于已训练的自然语言大模型执行以下操作：对多模态数据进行特征提取，获得多模态数据的元素特征和位置特征；将多模态数据对应的元素特征和位置特征融合，获得融合特征；基于融合特征，获得多模态数据的多模态数据类别以及多模态数据类别对应的置信度；其中，置信度用于表征对应的分类结果的准确程度；根据多模态数据类别以及置信度，向目标对象呈现相应的反馈信息。息。息。

【技术实现步骤摘要】
一种数据处理方法、装置及电子设备


[0001]本申请涉及计算机
，特别涉及一种数据处理方法、装置及电子设备。

技术介绍

[0002]近年来，伴随工业界积累的高质量数据增长，算力资源的增长以及大型模型架构和训练技术的发展，大语言模型(例如GPT3)等被广泛地应用于翻译，对话系统，广告推荐等场景。相比于传统的“小模型”，大语言模型具有显著高的模型参数量，计算量和存储量，也因此具备更强的表达能力和数据拟合能力，从而大大提高了神经网络模型在各种业务中的性能，甚至在很多任务上大大超过了人类专家水平。但是由于大语言模型训练过程需要占用大量的计算和存储资源，对大部分个人或者企业来说，运行这样的模型是非常昂贵的。因此，现有的大语言模型通常通过云计算API(Application Programming Interface，应用程序编程接口)的形式向用户提供相应的服务。
[0003]现有技术中，大语言模型通常能够根据用户输入的数据，对该数据进行分类，通过云计算API接口的形式向用户提供数据分类结果，为用户提供相应的服务。
[0004]然而，通过上述方法，大语言模型仅向用户发送确定出的数据类别，使用户的下游任务使用的数据较为单一，降低下游任务根据数据类别进行决策时的可靠性。

技术实现思路

[0005]本申请的目的是提供一种数据处理方法、装置及电子设备，用以提供更加可靠的数据处理方法，进而增强向目标对象反馈信息的准确度。
[0006]第一方面，本申请提供一种数据处理方法，所述方法包括：
>[0007]获取目标对象输入的多模态数据，并将所述多模态数据输入已训练的自然语言大模型；
[0008]基于所述已训练的自然语言大模型执行以下操作：对多模态数据进行特征提取，获得所述多模态数据的元素特征和位置特征；所述元素特征表征：所述多模态数据中各个元素的元素信息，所述位置特征表征：所述多模态数据中各个元素在所述多模态数据中的字符位置；将所述多模态数据对应的元素特征和所述位置特征融合，获得融合特征；基于所述融合特征，获得所述多模态数据的多模态数据类别以及所述多模态数据类别对应的置信度；其中，所述置信度用于表征对应的分类结果的准确程度，在对所述自然语言大模型进行训练过程中，通过输入辅助训练信息对所述自然语言大模型进行训练，使得所述已训练的自然语言大模型能够获得所述多模态数据对应的置信度；
[0009]根据所述多模态数据类别以及所述置信度，向所述目标对象呈现相应的反馈信息。
[0010]第二方面，本申请实施例提供一种数据处理装置，包括：
[0011]获取模块，用于获取目标对象输入的多模态数据，并将所述多模态数据输入已训练的自然语言大模型；
[0012]提取模块，基于所述已训练的自然语言大模型执行以下操作：对多模态数据进行特征提取，获得所述多模态数据的元素特征和位置特征；所述元素特征表征：所述多模态数据中各个元素的元素信息，所述位置特征表征：所述多模态数据中各个元素在所述多模态数据中的字符位置；将所述多模态数据对应的元素特征和所述位置特征融合，获得融合特征；基于所述融合特征，获得所述多模态数据的多模态数据类别以及所述多模态数据类别对应的置信度；其中，所述置信度用于表征对应的分类结果的准确程度，在对所述自然语言大模型进行训练过程中，通过输入辅助训练信息对所述自然语言大模型进行训练，使得所述已训练的自然语言大模型能够获得所述多模态数据对应的置信度；
[0013]呈现模块，用于根据所述多模态数据类别以及所述置信度，向所述目标对象呈现相应的反馈信息。
[0014]在一种可能的实施例中，所述提取模块具体用于：
[0015]接收目标对象输入的多模态数据，将所述多模态数据划分为各个元素；
[0016]基于所述各个元素各自的元素信息获得相应的元素特征，并基于各个元素特征，获得所述多模态数据的元素特征；
[0017]基于所述各个元素各自在多模态数据中的字符位置获得相应的位置特征。
[0018]在一种可能的实施例中，所述自然语言大模型包括输入层、嵌入层和至少一个编码层；所述提取模块具体用于：
[0019]在所述已训练的自然语言大模型的至少一个编码层中执行以下步骤：
[0020]根据所述融合特征以及各个编码层对应的权重矩阵，确定所述多模态数据对应的多模态数据类别以及所述多模态数据类别对应的置信度；
[0021]其中，所述各个编码层对应的权重矩阵为所述已训练的自然语言大模型在训练过程中确定的。
[0022]在一种可能的实施例中，所述自然语言大模型是通过下列方式训练得到的：
[0023]获取训练样本集；每个训练样本包含对象历史数据，且对应每个训练样本设置有样本类别和辅助训练信息，所述辅助训练信息用于表征所述训练样本对应的样本类别的准确程度；
[0024]根据所述训练样本集中的训练样本，对初始的自然语言大模型执行循环迭代训练，并在训练完毕时，输出训练后的自然语言大模型。
[0025]在一种可能的实施例中，所述提取模块具体用于；
[0026]在一次循环迭代训练过程中执行以下操作：
[0027]将从所述训练样本集中提取的训练样本，输入所述自然语言大模型，获取所述自然语言大模型输出的所述训练样本对应的预测类别和预测置信度；
[0028]基于所述训练样本对应的预测类别与样本类别之间的第一差异信息，以及所述训练样本对应的预测置信度与辅助训练信息之间的第二差异信息，构建损失函数；
[0029]基于所述损失函数，对所述自然语言大模型的模型参数进行调整。
[0030]在一种可能的实施例中，所述提取模块具体用于：
[0031]获取多个对象历史数据；
[0032]将所述多个对象历史数据分别输入分类模型，针对所述多个对象历史数据中的一个对象历史数据，分别执行以下操作：
[0033]基于所述分类模型，获取所述一个对象历史数据对应的样本类别和辅助训练信息；根据所述一个对象历史数据、以及所述一个对象历史数据对应的样本类别和辅助训练信息，生成一个候选训练样本；
[0034]根据生成的多个候选训练样本，确定训练样本集。
[0035]在一种可能的实施例中，所述提取模块具体用于：
[0036]根据所述各个候选训练样本对应的聚类条件中的至少一种，对所述多个候选训练样本进行聚类处理，得到多个候选训练样本子集；所述聚类条件包括：所述候选训练样本对应的样本类别和所述候选训练样本对应的辅助训练信息；
[0037]分别从所述多个候选训练样本子集中选择至少一个候选训练样本，组成所述训练样本集。
[0038]在一种可能的实施例中，所述目标对象输入的多模态数据包括以下至少一种：包含语气元素的多模态数据；包含情绪元素的多模态数据；包含形容元素的多模态数据；
[0039]所述多模态数据类别包括情感类别。
[0040]在一种可能的实施例中，所述呈现模块具体用于：...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取目标对象输入的多模态数据，并将所述多模态数据输入已训练的自然语言大模型；基于所述已训练的自然语言大模型执行以下操作：对多模态数据进行特征提取，获得所述多模态数据的元素特征和位置特征；所述元素特征表征：所述多模态数据中各个元素的元素信息，所述位置特征表征：所述多模态数据中各个元素在所述多模态数据中的字符位置；将所述多模态数据对应的元素特征和所述位置特征融合，获得融合特征；基于所述融合特征，获得所述多模态数据的多模态数据类别以及所述多模态数据类别对应的置信度；其中，所述置信度用于表征对应的分类结果的准确程度，在对所述自然语言大模型进行训练过程中，通过输入辅助训练信息对所述自然语言大模型进行训练，使得所述已训练的自然语言大模型能够获得所述多模态数据对应的置信度；根据所述多模态数据类别以及所述置信度，向所述目标对象呈现相应的反馈信息。2.如权利要求1所述的方法，其特征在于，所述对多模态数据进行特征提取，获得所述多模态数据的元素特征和位置特征，包括：接收目标对象输入的多模态数据，将所述多模态数据划分为各个元素；基于所述各个元素各自的元素信息获得相应的元素特征，并基于各个元素特征，获得所述多模态数据的元素特征；基于所述各个元素各自在多模态数据中的字符位置获得相应的位置特征。3.如权利要求2所述的方法，其特征在于，所述自然语言大模型包括输入层、嵌入层和至少一个编码层；所述基于所述融合特征，获得所述多模态数据对应的多模态数据类别以及所述多模态数据类别对应的置信度，包括：在所述已训练的自然语言大模型的至少一个编码层中执行以下步骤：根据所述融合特征以及各个编码层对应的权重矩阵，确定所述多模态数据对应的多模态数据类别以及所述多模态数据类别对应的置信度；其中，所述各个编码层对应的权重矩阵为所述已训练的自然语言大模型在训练过程中确定的。4.如权利要求1、2或3所述的方法，其特征在于，所述自然语言大模型是通过下列方式训练得到的：获取训练样本集；每个训练样本包含对象历史数据，且对应每个训练样本设置有样本类别和辅助训练信息，所述辅助训练信息用于表征所述训练样本对应的样本类别的准确程度；根据所述训练样本集中的训练样本，对初始的自然语言大模型执行循环迭代训练，并在训练完毕时，输出训练后的自然语言大模型。5.如权利要求4所述的方法，其特征在于，所述根据所述训练样本数据集中的训练样本，对初始的自然语言大模型执行循环迭代训练，具体包括：在一次循环迭代训练过程中执行以下操作：将从所述训练样本集中提取的训练样本，输入所述自然语言大模型，获取所述自然语言大模型输出的所述训练样本对应的预测类别和预测置信度；
基于所述训练样本对应的预测类别与样本类别之间的第一差异信息，以及所述训练样本对应的预测置信度与辅助训练信息之间的第二差异信息，构建损失函数；基于所述损失函数，对所述自然语言大模型的模型参数进行调整。6.如权利要求4所述的方法，其特征在于，所述获取训练样本集，包括：获取多个对象历史数据；将所述多个对象历史数据分别输入分类模型，针...

【专利技术属性】
技术研发人员：吴秉哲，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：