一种正负样本对构造方法、装置、计算机设备及存储介质制造方法及图纸

技术编号:30366868 阅读:20 留言:0更新日期:2021-10-16 17:37
本申请实施例属于自然语言处理技术领域,涉及一种正负样本对构造方法、装置、计算机设备及存储介质。此外,本申请还涉及区块链技术,用户的目标正负样本对可存储于区块链中。本申请利用预训练模型的隐含层中自带的随机失活功能作为构造样本对的增广方式,由于隐含层的增广方式是将部分权重或输出随机归零,从而有效解决传统的转译、删除、插入、调换等增广方式容易引入负面噪声的问题,使得构造得到的样本对仍然保留有原始待增广文本的语义特征,其相似的样本分布十分接近并且样本的分布比较均匀,同时,为下游任务提供更加优质的句向量。为下游任务提供更加优质的句向量。为下游任务提供更加优质的句向量。

【技术实现步骤摘要】
一种正负样本对构造方法、装置、计算机设备及存储介质


[0001]本申请涉及自然语言处理
,尤其涉及一种正负样本对构造方法、装置、计算机设备及存储介质。

技术介绍

[0002]在自然语言处理领域中,学习到一种通用的句向量表示方法是一项基础但十分重要的任务。一方面,优秀的句向量表示方法可以表征每个句子的语义。另一方面,提取到重要语义特征的句向量可以更好的为下游任务,如文本分类、文本生成、语义相似度计算等,提供训练数据,提升任务性能。在自然语言处理中,句向量转换模型应用十分广泛,其重要性不言而喻。
[0003]应用最广泛的获取词向量的方式是利用预训练好的模型CLS或者句子序列维度做Meanpooling得到的句子的特征向量,这些方式会导致模型出现各向异性,也就是说模型训练过程中词向量各维度特征表示不一致,获得的句向量也无法直接比较。
[0004]现有一种解决上述词向量各维度特征表示不一致,获得的句向量也无法直接比较的句向量表示方法,即采用对比学习的方式在语义表示空间中拉近相似的语句,推开不相似的语句来实现。
[0005]然而,申请人发现传统的采用对比学习的句向量表示方法普遍不智能,由于目前的在句向量表示的对比学习方法中常见的句子增广的方式是转译、删除、插入、调换等,但这些都是离散的操作,难以把控并且容易引入负面噪声,因此模型很难通过对比学习从这些样本中捕捉到语义信息,由此可见,传统的采用对比学习的句向量表示方法存在无法学习样本其真实语义信息的问题。

技术实现思路

[0006]本申请实施例的目的在于提出一种正负样本对构造方法、装置、计算机设备及存储介质,以解决传统的采用对比学习的句向量表示方法存在无法学习样本其真实语义信息的问题。
[0007]为了解决上述技术问题,本申请实施例提供一种正负样本对构造方法,采用了如下所述的技术方案:
[0008]在进行模型对比学习训练时,接收携带有待训练的编码器模型的样本获取请求;
[0009]读取文本数据库,在所述文本数据库中获取待增广文本数据;
[0010]根据所述待增广文本数据构造初始正负样本对;
[0011]根据所述编码器模型中隐含层的随机失活功能对所述初始正负样本对进行前向传播操作,得到离散均匀的目标正负样本对。
[0012]为了解决上述技术问题,本申请实施例还提供一种正负样本对构造装置,采用了如下所述的技术方案:
[0013]请求获取模块,用于在进行模型对比学习训练时,接收携带有待训练的编码器模
型的样本获取请求;
[0014]数据获取模块,用于读取文本数据库,在所述文本数据库中获取待增广文本数据;
[0015]初始样本构建模块,用于根据所述待增广文本数据构造初始正负样本对;
[0016]目标样本获取模块,用于根据所述编码器模型中隐含层的随机失活功能对所述初始正负样本对进行前向传播操作,得到离散均匀的目标正负样本对。
[0017]为了解决上述技术问题,本申请实施例还提供一种计算机设备,采用了如下所述的技术方案:
[0018]包括存储器和处理器,所述存储器中存储有计算机可读指令,所述处理器执行所述计算机可读指令时实现如上所述的正负样本对构造方法的步骤。
[0019]为了解决上述技术问题,本申请实施例还提供一种计算机可读存储介质,采用了如下所述的技术方案:
[0020]所述计算机可读存储介质上存储有计算机可读指令,所述计算机可读指令被处理器执行时实现如上所述的正负样本对构造方法的步骤。
[0021]与现有技术相比,本申请实施例主要有以下有益效果:
[0022]本申请提供了一种正负样本对构造方法,包括:在进行模型对比学习训练时,接收携带有待训练的编码器模型的样本获取请求;读取文本数据库,在所述文本数据库中获取待增广文本数据;根据所述待增广文本数据构造初始正负样本对;根据所述编码器模型中隐含层的随机失活功能对所述初始正负样本对进行前向传播操作,得到离散均匀的目标正负样本对。本申请利用预训练模型的隐含层中自带的随机失活功能作为构造样本对的增广方式,由于隐含层的增广方式是将部分权重或输出随机归零,从而有效解决传统的转译、删除、插入、调换等增广方式容易引入负面噪声的问题,使得构造得到的样本对仍然保留有原始待增广文本的语义特征,其相似的样本分布十分接近并且样本的分布比较均匀,同时,为下游任务提供更加优质的句向量。
附图说明
[0023]为了更清楚地说明本申请中的方案,下面将对本申请实施例描述中所需要使用的附图作一个简单介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0024]图1是本申请实施例一提供的正负样本对构造方法的实现流程图;
[0025]图2是本申请实施例一提供的应用于建立预测模型的正负样本对构造方法的一种具体实施方式的流程图;
[0026]图3是本申请实施例一提供的应用于有监督任务正负样本对构造过程的示意图;
[0027]图4是本申请实施例一提供的应用于建立描述模型的正负样本对构造方法的一种具体实施方式的流程图;
[0028]图5是本申请实施例一提供的应用于无监督任务正负样本对构造过程的示意图;
[0029]图6是本申请实施例二提供的正负样本对构造装置的结构示意图:
[0030]图7是本申请实施例二提供的应用于建立预测模型的正负样本对构造装置的一种具体实施方式的结构示意图;
[0031]图8是根据本申请的计算机设备的一个实施例的结构示意图。
具体实施方式
[0032]除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的
的技术人员通常理解的含义相同;本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本申请;本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。
[0033]在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
[0034]为了使本
的人员更好地理解本申请方案,下面将结合附图,对本申请实施例中的技术方案进行清楚、完整地描述。
[0035]如图1所示,示出了本申请实施例一提供的正负样本对构造方法的实现流程图,为了便于说明,仅示出与本申请相关的部分。
[0036]上述的正负样本对构造方法,包括以下步骤:
[0037]步骤S101:在进行模型对比学习训练时,本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种正负样本对构造方法,其特征在于,所述方法包括下述步骤:在进行模型对比学习训练时,接收携带有待训练的编码器模型的样本获取请求;读取文本数据库,在所述文本数据库中获取待增广文本数据;根据所述待增广文本数据构造初始正负样本对;根据所述编码器模型中隐含层的随机失活功能对所述初始正负样本对进行前向传播操作,得到离散均匀的目标正负样本对。2.根据权利要求1所述的正负样本对构造方法,其特征在于,所述读取文本数据库,在所述文本数据库中获取待增广文本数据的步骤,具体包括下述步骤:若所述待训练的编码器模型的学习目标为建立预测模型时,则在所述文本数据库中获取有标注文本数据,并将所述有标注文本数据作为所述待增广文本数据;所述根据所述待增广文本数据构造初始正负样本对的步骤,具体包括下述步骤:在所述有标注文本数据中提取第一待学习语句,并将所述第一待学习语句作为第一预测正样本;在所述有标注文本数据中提取与所述第一待学习语句存在蕴含关系的语句作为第二预测正样本;在所述有标注文本数据中提取与所述第一待学习语句存在冲突关系的语句作为预测负样本;结合所述第一预测正样本、所述第二预测正样本以及所述预测负样本,得到所述初始正负样本对。3.根据权利要求2所述的正负样本对构造方法,其特征在于,所述有标注文本数据由斯坦福自然语言推理语料以及多体裁自然语言推理语料组成的自然语言推理数据集。4.根据权利要求2所述的正负样本对构造方法,其特征在于,在所述结合所述第一预测正样本、所述第二预测正样本以及所述预测负样本,得到所述初始正负样本对的步骤之后,还包括下述步骤:根据预测损失函数对所述待训练的编码器模型进行预测模型训练,所述预测损失函数表示为:其中,E表示所述第一预测正样本;E
+
表示所述第二预测正样本;E

表示所述预测负样本;i、j分别表示样本集合中的样本序号;N表示所述样本集合中的样本对总数;r为起到放缩大小作用的超参数。5.根据权利要求1所述的正负样本对构造方法,其特征在于,所述读取文本数据库,在所述文本数据库中获取待增广文本数据的步骤,具体包括下述步骤:若所述所述待训练的编码器模型的学习目标为建立描述模型时,则在所述文本数据库中获取无标注文本数据,并将所述无标注文本数据作为所述待增广文本数据;所述根据所述待增广文本数据构造初始正负样本对的步骤,具体包括下述步骤:在所述无标注文本数据中提取第二待学习语句,并将所述第二待学习语句作为第一描述正样本以及第二描述正样本;
在所述午标准文本数据中提取与所述第二待学习语句不一致的语句作为描述负样本;结合所述第一描述正样...

【专利技术属性】
技术研发人员:孙超王健宗
申请(专利权)人:平安科技深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1