一种正负样本对构造方法、装置、计算机设备及存储介质制造方法及图纸

本申请实施例属于自然语言处理技术领域，涉及一种正负样本对构造方法、装置、计算机设备及存储介质。此外，本申请还涉及区块链技术，用户的目标正负样本对可存储于区块链中。本申请利用预训练模型的隐含层中自带的随机失活功能作为构造样本对的增广方式，由于隐含层的增广方式是将部分权重或输出随机归零，从而有效解决传统的转译、删除、插入、调换等增广方式容易引入负面噪声的问题，使得构造得到的样本对仍然保留有原始待增广文本的语义特征，其相似的样本分布十分接近并且样本的分布比较均匀，同时，为下游任务提供更加优质的句向量。为下游任务提供更加优质的句向量。为下游任务提供更加优质的句向量。

【技术实现步骤摘要】
一种正负样本对构造方法、装置、计算机设备及存储介质


[0001]本申请涉及自然语言处理
，尤其涉及一种正负样本对构造方法、装置、计算机设备及存储介质。

技术介绍

[0002]在自然语言处理领域中，学习到一种通用的句向量表示方法是一项基础但十分重要的任务。一方面，优秀的句向量表示方法可以表征每个句子的语义。另一方面，提取到重要语义特征的句向量可以更好的为下游任务，如文本分类、文本生成、语义相似度计算等，提供训练数据，提升任务性能。在自然语言处理中，句向量转换模型应用十分广泛，其重要性不言而喻。
[0003]应用最广泛的获取词向量的方式是利用预训练好的模型CLS或者句子序列维度做Meanpooling得到的句子的特征向量，这些方式会导致模型出现各向异性，也就是说模型训练过程中词向量各维度特征表示不一致，获得的句向量也无法直接比较。
[0004]现有一种解决上述词向量各维度特征表示不一致，获得的句向量也无法直接比较的句向量表示方法，即采用对比学习的方式在语义表示空间中拉近相似的语句，推开不相似的语句来实现。<br/>[0005]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种正负样本对构造方法，其特征在于，所述方法包括下述步骤：在进行模型对比学习训练时，接收携带有待训练的编码器模型的样本获取请求；读取文本数据库，在所述文本数据库中获取待增广文本数据；根据所述待增广文本数据构造初始正负样本对；根据所述编码器模型中隐含层的随机失活功能对所述初始正负样本对进行前向传播操作，得到离散均匀的目标正负样本对。2.根据权利要求1所述的正负样本对构造方法，其特征在于，所述读取文本数据库，在所述文本数据库中获取待增广文本数据的步骤，具体包括下述步骤：若所述待训练的编码器模型的学习目标为建立预测模型时，则在所述文本数据库中获取有标注文本数据，并将所述有标注文本数据作为所述待增广文本数据；所述根据所述待增广文本数据构造初始正负样本对的步骤，具体包括下述步骤：在所述有标注文本数据中提取第一待学习语句，并将所述第一待学习语句作为第一预测正样本；在所述有标注文本数据中提取与所述第一待学习语句存在蕴含关系的语句作为第二预测正样本；在所述有标注文本数据中提取与所述第一待学习语句存在冲突关系的语句作为预测负样本；结合所述第一预测正样本、所述第二预测正样本以及所述预测负样本，得到所述初始正负样本对。3.根据权利要求2所述的正负样本对构造方法，其特征在于，所述有标注文本数据由斯坦福自然语言推理语料以及多体裁自然语言推理语料组成的自然语言推理数据集。4.根据权利要求2所述的正负样本对构造方法，其特征在于，在所述结合所述第一预测正样本、所述第二预测正样本以及所述预测负样本，得到所述初始正负样本对的步骤之后，还包括下述步骤：根据预测损失函数对所述待训练的编码器模型进行预测模型训练，所述预测损失函数表示为：其中，E表示所述第一预测正样本；E
+
表示所述第二预测正样本；E
‑
表示所述预测负样本；i、j分别表示样本集合中的样本序号；N表示所述样本集合中的样本对总数；r为起到放缩大小作用的超参数。5.根据权利要求1所述的正负样本对构造方法，其特征在于，所述读取文本数据库，在所述文本数据库中获取待增广文本数据的步骤，具体包括下述步骤：若所述所述待训练的编码器模型的学习目标为建立描述模型时，则在所述文本数据库中获取无标注文本数据，并将所述无标注文本数据作为所述待增广文本数据；所述根据所述待增广文本数据构造初始正负样本对的步骤，具体包括下述步骤：在所述无标注文本数据中提取第二待学习语句，并将所述第二待学习语句作为第一描述正样本以及第二描述正样本；
在所述午标准文本数据中提取与所述第二待学习语句不一致的语句作为描述负样本；结合所述第一描述正样...

【专利技术属性】
技术研发人员：孙超，王健宗，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：