训练向量转换模型、转换语义向量的方法及装置制造方法及图纸

本申请提供训练向量转换模型、转换语义向量的方法及装置，该方法包括，按照预设概率从文本集合中选择目标文本，得到前缀样本，其中，前缀样本为目标文本或者文本集合中的非目标文本；将前缀样本输入生成式预训练模型，得到衔接样本，其中，衔接样本携带一个衔接样本和目标文本是否存在语义蕴含关系的标签，当前缀样本为目标文本时，衔接样本和目标文本存在语义蕴含关系；通过衔接样本和目标文本对应的目标文本向量对主网络和辅助网络进行训练，得到向量转换模型。通过该方法可以达到准确的将文本转换成文本向量的效果。本转换成文本向量的效果。本转换成文本向量的效果。

【技术实现步骤摘要】
训练向量转换模型、转换语义向量的方法及装置


[0001]本申请涉及模型预训练的领域，具体而言，涉及训练向量转换模型、转换语义向量的方法及装置。

技术介绍

[0002]目前，随着人工智能特别是自然语言处理技术的迅猛发展，自然语言处理技术有了更多的应用场景。文本向量化是自然语言处理算法中比较核心的内容，传统文本转向量通常是通过提取文本的本身特征，通过构建矩阵的方式转换成文本向量。
[0003]上述文本转向量的方法存在很大的局限性，只能通过文本自身的特征进行向量表示，导致向量转换不准确。
[0004]因此，如何准确的将文本转换成文本向量，是一个需要解决的技术问题。

技术实现思路

[0005]本申请实施例的目的在于提供一种训练向量转换模型的方法，通过本申请的实施例的技术方案可以达到准确的将文本转换成文本向量的效果。
[0006]第一方面，本申请实施例提供了一种训练向量转换模型的方法，包括，按照预设概率从文本集合中选择目标文本，得到前缀样本，其中，前缀样本为目标文本或者文本集合中的非目标文本；将前缀样本输入生成式预本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种训练向量转换模型的方法，其特征在于，包括：按照预设概率从文本集合中选择目标文本，得到前缀样本，其中，所述前缀样本为所述目标文本或者所述文本集合中的非目标文本；将所述前缀样本输入生成式预训练模型，得到衔接样本，其中，所述衔接样本携带一个所述衔接样本和所述目标文本是否存在语义蕴含关系的标签，当所述前缀样本为所述目标文本时，所述衔接样本和所述目标文本存在语义蕴含关系；通过所述衔接样本和所述目标文本对应的目标文本向量对主网络和辅助网络进行训练，得到向量转换模型。2.根据权利要求1所述的方法，其特征在于，在所述按照预设概率从文本集合中选择目标文本，得到前缀样本之前，所述方法还包括：复制所述目标文本，得到样本对；通过所述主网络对所述样本对进行编码，得到所述目标文本向量。3.根据权利要求2所述的方法，其特征在于，所述通过所述衔接样本和所述目标文本对应的目标文本向量对主网络和辅助网络进行训练，得到向量转换模型，包括：通过所述目标文本向量计算主网络损失；将所述目标文本向量和所述衔接样本输入所述辅助网络，得到所述衔接样本和所述目标文本具有语义蕴含关系的语义蕴含概率；通过所述语义蕴含概率计算辅助网络损失；将所述主网络损失和所述辅助网络损失加权求和，得到总损失；根据所述总损失调整所述主网络和所述辅助网络的参数，得到所述向量转换模型。4.根据权利要求1
‑
3任一项所述的方法，其特征在于，所述将所述前缀样本输入生成式预训练模型，得到衔接样本，包括：通过所述生成式预训练模型对所述前缀样本的衔接内容进行扩展，得到扩展文本；筛选所述扩展文本第一个标点符号之前的文本，得到所述衔接样本，其中，当所述前缀样本不是所述目标文本时，所述衔接样本和所述目标文本不存在所述语义蕴含关系。5.一种转换语义向量的方法，其特征在于，包括：获取待转换文本；将所述待转换文本输入向量转换模型，得到语义向量，其中，所述语义向量用于表示所述待转换文本的含义，所述向量转换模型是通过衔接样本和目标文本对应的目标文本向量对主网络和辅助网络进行训练得到的，所述衔接样本是通过将前缀样本输入生成式预训练模型得到的，所述前缀样本是通过按照预设概...

【专利技术属性】
技术研发人员：蔡志伟，杜新凯，吕超，纪诚，姚雷，
申请(专利权)人：阳光保险集团股份有限公司，
类型：发明
国别省市：