一种分类模型构建方法、装置及存储介质制造方法及图纸

本发明专利技术提供一种分类模型构建方法、装置及存储介质，涉及自然语言处理技术领域，所述方法包括：基于获取的多个预训练模型对训练数据集进行向量化，得到多个预训练模型分别对应的向量化数据；根据多个预训练模型中每个预训练模型对应的向量化数据，在多个预训练模型中确定目标预训练模型；基于目标预训练模型，构建分类模型。多个预训练模型对训练数据集进行向量化，以获取多个预训练模型分别对应的向量化数据，根据每个预训练模型对应的向量化数据，在多个预训练模型中确定目标预训练模型，基于目标预训练模型构建分类模型。通过每个预训练模型对应的向量化数据对多个预训练模型进行筛选，优化了模型训练的过程，从而提升了训练效率。效率。效率。

【技术实现步骤摘要】
一种分类模型构建方法、装置及存储介质


[0001]本专利技术涉及自然语言处理
，尤其涉及一种分类模型构建方法、装置及存储介质。

技术介绍

[0002]在自然语言处理（Natural Language Processing，NLP）技术中，通常需要用到分类模型，以对进行识别任务（例如意图识别、情感识别等）。目前，得到一个分类模型，通常是先对多个预训练模型进行训练，以得到多个分类模型，并在这多个分类模型中选择出满足需求的分类模型。由于预训练模型种类繁多，这种先对多个预训练模型进行训练，再去评判分类模型优劣的方式，存在分类模型构建效率较低的问题。

技术实现思路

[0003]本专利技术实施例提供一种分类模型构建方法、装置及存储介质，以解决现有的模型构建方法效率较低的问题。
[0004]本专利技术实施例提供了一种分类模型构建方法，所述方法包括：基于获取的多个预训练模型对训练数据集进行向量化，得到所述多个预训练模型分别对应的向量化数据；根据所述多个预训练模型中每个预训练模型对应的向量化数据，在所述多个预训练模型中确定目标预训练模型；基于所述目标预训练模型，构建分类模型。
[0005]可选地，所述根据所述多个预训练模型中每个预训练模型对应的向量化数据，在所述多个预训练模型中确定目标预训练模型，包括：根据所述训练数据集的特征信息与所述多个预训练模型中每个预训练模型对应的向量化数据的特征信息，在所述多个预训练模型中确定第一目标预训练模型；和/或，根据所述多个预训练模型的损失函数，在所述多个预训练模型中确定第二目标预训练模型，所述多个预训练模型的损失函数为基于所述多个预训练模型中每个预训练模型对应的向量化数据分别计算得到的损失函数；其中，所述第一目标预训练模型与所述第二目标预训练模型相同或不相同。
[0006]可选地，所述根据所述训练数据集的特征信息与所述多个预训练模型中每个预训练模型对应的向量化数据的特征信息，在所述多个预训练模型中确定第一目标预训练模型，包括：根据所述训练数据集的特征信息，确定所述训练数据集的特征空间分布；根据所述多个预训练模型中每个预训练模型对应的向量化数据的特征信息，确定每个预训练模型对应的向量化数据的特征空间分布；根据所述训练数据集的特征空间分布与每个预训练模型对应的向量化数据的特
征空间分布，在所述多个预训练模型中确定第一目标预训练模型。
[0007]可选地，所述根据所述多个预训练模型中每个预训练模型对应的向量化数据的特征信息，确定每个预训练模型对应的向量化数据的特征空间分布，包括：利用无监督算法对所述多个预训练模型中每个预训练模型对应的向量化数据的特征信息进行降维，得到降维后的特征向量；根据降维后的特征向量结合降维模型，得到每个预训练模型对应的向量化数据的特征空间分布。
[0008]可选地，所述多个预训练模型中每个预训练模型对应的损失函数根据如下公式计算得到：;其中，为对齐损失值，为一致性损失值，x和y分别为向量化数据对应的特征矩阵，λ为用于平衡所述对齐损失值和一致性损失值之间权重的超参数。
[0009]可选地，所述对齐损失值根据如下的公式计算得到：;和/或，所述一致性损失值根据如下的公式计算得到：;;其中，N为向量化数据的样本数，α和t为用于平衡样本间距离损失的超参数，N为正整数，i和j均为1至N的正整数，且i不等于j。
[0010]可选地，所述基于所述目标预训练模型，构建分类模型，包括：在所述第一目标预训练模型与所述第二目标预训练模型不相同的情况下，基于所第一目标预训练模型构建第一分类模型，以及基于所述第二目标预训练模型构建第二分类模型，所述分类模型包括所述第一分类模型和所述第二分类模型。
[0011]可选地，在所述基于所述目标预训练模型，构建分类模型之后，所述方法还包括：根据所述分类模型对测试数据集的预测结果，在至少一个分类模型中确定目标分类模型。
[0012]本专利技术实施例还提供了一种分类模型构建装置，所述装置包括：向量化模块，用于基于获取的多个预训练模型对训练数据集进行向量化，得到所述多个预训练模型分别对应的向量化数据；第一确定模块，用于根据所述多个预训练模型中每个预训练模型对应的向量化数
据，在所述多个预训练模型中确定目标预训练模型；构建模块，用于基于所述目标预训练模型，构建分类模型。
[0013]可选地，所述第一确定模块包括：第一确定子模块，用于根据所述训练数据集的特征信息与所述多个预训练模型中每个预训练模型对应的向量化数据的特征信息，在所述多个预训练模型中确定第一目标预训练模型；和/或，第二确定子模块，用于根据所述多个预训练模型的损失函数，在所述多个预训练模型中确定第二目标预训练模型，所述多个预训练模型的损失函数为基于所述多个预训练模型中每个预训练模型对应的向量化数据分别计算得到的损失函数；其中，所述第一目标预训练模型与所述第二目标预训练模型相同或不相同。
[0014]可选地，所述第一确定子模块包括：第一确定单元，用于根据所述训练数据集的特征信息，确定所述训练数据集的特征空间分布；第二确定单元，用于根据所述多个预训练模型中每个预训练模型对应的向量化数据的特征信息，确定每个预训练模型对应的向量化数据的特征空间分布；第三确定单元，用于根据所述训练数据集的特征空间分布与每个预训练模型对应的向量化数据的特征空间分布，在所述多个预训练模型中确定第一目标预训练模型。
[0015]可选地，所述第二确定单元包括：降维子单元，用于利用无监督算法对所述多个预训练模型中每个预训练模型对应的向量化数据的特征信息进行降维，得到降维后的特征向量；确定子单元，用于根据降维后的特征向量结合降维模型，得到每个预训练模型对应的向量化数据的特征空间分布。
[0016]可选地，所述多个预训练模型中每个预训练模型对应的损失函数根据如下公式计算得到：;其中，为对齐损失值，为一致性损失值，x和y分别为向量化数据对应的特征矩阵，λ为用于平衡所述对齐损失值和一致性损失值之间权重的超参数。
[0017]可选地，所述对齐损失值根据如下的公式计算得到：;和/或，所述一致性损失值根据如下的公式计算得到：;
;其中，N为向量化数据的样本数，α和t为用于平衡样本间距离损失的超参数，N为正整数，i和j均为1至N的正整数，且i不等于j。
[0018]可选地，所述构建模块包括：构建子模块，用于在所述第一目标预训练模型与所述第二目标预训练模型不相同的情况下，基于所第一目标预训练模型构建第一分类模型，以及基于所述第二目标预训练模型构建第二分类模型，所述分类模型包括所述第一分类模型和所述第二分类模型。
[0019]可选地，所述装置还包括：第二确定模块，用于根据所述分类模型对测试数据集的预测结果，在至少一个分类模型中确定目标分类模型。
[0020]本专利技术实施例还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行上述的方法。
[0021]本专利技术实施例中，多个预训练模型对训练数据集进行向量化本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分类模型构建方法，其特征在于，所述方法包括：基于获取的多个预训练模型对训练数据集进行向量化，得到所述多个预训练模型分别对应的向量化数据；根据所述多个预训练模型中每个预训练模型对应的向量化数据，在所述多个预训练模型中确定目标预训练模型；基于所述目标预训练模型，构建分类模型。2.根据权利要求1所述的方法，其特征在于，所述根据所述多个预训练模型中每个预训练模型对应的向量化数据，在所述多个预训练模型中确定目标预训练模型，包括：根据所述训练数据集的特征信息与所述多个预训练模型中每个预训练模型对应的向量化数据的特征信息，在所述多个预训练模型中确定第一目标预训练模型；和/或，根据所述多个预训练模型的损失函数，在所述多个预训练模型中确定第二目标预训练模型，所述多个预训练模型的损失函数为基于所述多个预训练模型中每个预训练模型对应的向量化数据分别计算得到的损失函数；其中，所述第一目标预训练模型与所述第二目标预训练模型相同或不相同。3.根据权利要求2所述的方法，其特征在于，所述根据所述训练数据集的特征信息与所述多个预训练模型中每个预训练模型对应的向量化数据的特征信息，在所述多个预训练模型中确定第一目标预训练模型，包括：根据所述训练数据集的特征信息，确定所述训练数据集的特征空间分布；根据所述多个预训练模型中每个预训练模型对应的向量化数据的特征信息，确定每个预训练模型对应的向量化数据的特征空间分布；根据所述训练数据集的特征空间分布与每个预训练模型对应的向量化数据的特征空间分布，在所述多个预训练模型中确定第一目标预训练模型。4.根据权利要求3所述的方法，其特征在于，所述根据所述多个预训练模型中每个预训练模型对应的向量化数据的特征信息，确定每个预训练模型对应的向量化数据的特征空间分布，包括：利用无监督算法对所述多个预训练模型中每个预训练模型对应的向量化数据的特征信息进行降维，...

【专利技术属性】
技术研发人员：贾敬伍，张杰，于皓，
申请(专利权)人：北京中关村科金技术有限公司，
类型：发明
国别省市：