文本编码方法和装置、计算机设备及存储介质制造方法及图纸

本申请实施例提供了一种文本编码方法和装置、计算机设备及存储介质，属于人工智能技术领域。该方法包括：将训练数字输入至包括第一编码网络和第二编码网络的自然语言处理模型；通过第一编码网络对训练数字编码得到第一嵌入向量；通过第二编码网络对训练数字编码得到第二嵌入向量；根据参考向量、第一嵌入向量和第二嵌入向量构建编码损失数据；根据训练数字的嵌入向量进行上下文预测得到预测数字；根据预测数字和验证数字序列构建上下文损失数据；根据编码损失数据和上下文损失数据对自然语言处理模型进行参数调整得到目标编码模型，将待编码数字输入至目标编码模型编码得到目标向量。本申请生成符合数字的向量，提升语言处理下游的处理效果。处理下游的处理效果。处理下游的处理效果。

【技术实现步骤摘要】
文本编码方法和装置、计算机设备及存储介质


[0001]本申请涉及人工智能
，尤其涉及一种文本编码方法和装置、计算机设备及存储介质。

技术介绍

[0002]目前，词向量已经成为自然语言处理领域的基本概念，所以将词汇中单词、短句映射为词向量已发展成熟。但是对于文本中的数字转换为向量则是直接将数字统一转换为特殊符号，所以未能充分捕抓到上下文中数字符号内部蕴含的语义信息，使得涉及数字自然语言处理下游任务的处理效果较差。因此，如何提高数字编码使得数字自然语言处理下游任务的处理效果，成为了亟待解决的技术问题。

技术实现思路

[0003]本申请实施例的主要目的在于提出一种文本编码方法和装置、计算机设备及存储介质，旨在提高数字编码输出的嵌入向量更加符合数字，且能够提升自然语言处理下游任务的处理效果。
[0004]为实现上述目的，本申请实施例的第一方面提出了一种文本编码方法，所述方法包括：
[0005]获取训练文本；其中，所述训练文本包括训练词语和训练数字，并根据所述训练数字构建验证数字序列；
[0006]将所述训练数字输入至预设的自然语言处理模型；其中，所述自然语言处理模型包括：第一编码网络和第二编码网络；
[0007]通过所述第一编码网络对所述训练数字进行编码处理，得到第一嵌入向量；
[0008]通过所述第二编码网络对所述训练数字进行编码处理，得到第二嵌入向量；
[0009]根据预设的参考向量、所述第一嵌入向量和所述第二嵌入向量进行损失计算，得到编码损失数据；<br/>[0010]根据所述训练数字的所述第一嵌入向量和所述第二嵌入向量进行上下文预测处理，得到预测数字；
[0011]根据所述预测数字和所述验证数字序列进行损失计算，得到上下文损失数据；
[0012]根据预设的权重参数、所述编码损失数据和所述上下文损失数据对所述自然语言处理模型进行参数调整，得到目标编码模型，并将获取的待编码数字输入至所述目标编码模型进行编码处理，得到目标向量。
[0013]在一些实施例，所述获取训练文本；其中，所述训练文本包括训练词语和训练数字，并根据所述训练数字构建验证数字序列，包括：
[0014]获取训练文本；
[0015]对所述训练文本进行语句分割处理，得到训练语句；其中，每一所述训练语句包括所述训练词语和所述训练数字；
[0016]获取每一训练语句的所述训练数字的个数，得到数字个数；
[0017]根据所述数字个数将所述训练数字进行顺序排序，得到数字排序信息；
[0018]根据所述数字排序信息将所述训练数字进行序列构建，得到所述验证数字序列。
[0019]在一些实施例，所述第一编码网络包括：转换层和第一编码层；所述通过第一编码网络对所述训练数字进行编码处理，得到第一嵌入向量，包括：
[0020]通过转换层将所述训练数字进行字符串转换，得到训练字符串；
[0021]通过所述第一编码层对所述训练字符串进行编码处理，得到所述第一嵌入向量。
[0022]在一些实施例，所述第二编码网络包括：数字划分层、第二编码层、向量处理层；所述通过第二编码网络对所述训练数字进行编码处理，得到得二嵌入向量，包括：
[0023]通过所述数字划分层将所述训练数字进行数字拆分处理，得到每一数字表达式的数字片段；
[0024]通过所述第二编码层对所述数字片段进行编码处理，得到片段向量；
[0025]通过所述向量处理层对所述片段向量进行向量处理，得到所述第二嵌入向量。
[0026]在一些实施例，所述向量处理层包括：拼接层和平均层；所述通过所述向量处理层对所述片段向量进行向量处理，得到所述第二嵌入向量，包括：
[0027]通过所述拼接层对所述片段向量进行向量拼接，得到每一所述数字表达式的数字向量；
[0028]通过所述平均层对每一所述数字表达式的所述数字向量进行向量平均值计算，得到所述第二嵌入向量。
[0029]在一些实施例，所述根据预设的参考向量、所述第一嵌入向量和所述第二嵌入向量进行损失计算，得到编码损失数据，包括：
[0030]根据所述参考向量和所述第一嵌入向量进行损失计算，得到第一向量损失值；
[0031]根据所述参考向量和所述第二嵌入向量进行损失计算，得到第二向量损失值；
[0032]将所述第一向量损失值和所述第二向量损失值进行数值拼接，得到所述编码损失数据。
[0033]在一些实施例，所述根据所述预测数字和所述验证数字序列进行损失计算，得到上下文损失数据，包括：
[0034]根据所述预测数字从所述验证数字序列提取出验证数字；
[0035]获取所述验证数字位于所述验证数字序列的位置，得到验证位置；
[0036]获取所述预测数字在所述验证位置的预测概率；
[0037]根据所述预测概率进行概率损失计算，得到所述上下文损失数据。
[0038]为实现上述目的，本申请实施例的第二方面提出了一种文本编码装置，所述装置包括：
[0039]数据处理模块，用于获取训练文本；其中，所述训练文本包括训练词语和训练数字，并根据所述训练数字构建验证数字序列；
[0040]数字输入模块，用于将所述训练数字输入至预设的自然语言处理模型；其中，所述自然语言处理模型包括：第一编码网络和第二编码网络；
[0041]第一编码模块，用于通过所述第一编码网络对所述训练数字进行编码处理，得到第一嵌入向量；
[0042]第二编码模块，用于通过所述第二编码网络对所述训练数字进行编码处理，得到第二嵌入向量；
[0043]编码损失计算模块，用于根据预设的参考向量、所述第一嵌入向量和所述第二嵌入向量进行损失计算，得到编码损失数据；
[0044]上下文预测模块，用于根据所述训练数字的所述第一嵌入向量和所述第二嵌入向量进行上下文预测处理，得到预测数字；
[0045]上下文损失计算模块，用于根据所述预测数字和所述验证数字序列进行损失计算，得到上下文损失数据；
[0046]目标向量生成模块，用于根据预设的权重参数、所述编码损失数据和所述上下文损失数据对所述自然语言处理模型进行参数调整，得到目标编码模型，并将获取的待编码数字输入至所述目标编码模型进行编码处理，得到目标向量。
[0047]为实现上述目的，本申请实施例的第三方面提出了一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法。
[0048]为实现上述目的，本申请实施例的第四方面提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法。
[0049]本申请提出的文本编码方法和装置、计算机设备及存储介质,其通过结合了对比学习技术和遮掩数字预测技术以对自然语言处理模型训练，既能够增加嵌入向量的独特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文本编码方法，其特征在于，所述方法包括：获取训练文本；其中，所述训练文本包括训练词语和训练数字，并根据所述训练数字构建验证数字序列；将所述训练数字输入至预设的自然语言处理模型；其中，所述自然语言处理模型包括：第一编码网络和第二编码网络；通过所述第一编码网络对所述训练数字进行编码处理，得到第一嵌入向量；通过所述第二编码网络对所述训练数字进行编码处理，得到第二嵌入向量；根据预设的参考向量、所述第一嵌入向量和所述第二嵌入向量进行损失计算，得到编码损失数据；根据所述训练数字的所述第一嵌入向量和所述第二嵌入向量进行上下文预测处理，得到预测数字；根据所述预测数字和所述验证数字序列进行损失计算，得到上下文损失数据；根据预设的权重参数、所述编码损失数据和所述上下文损失数据对所述自然语言处理模型进行参数调整，得到目标编码模型，并将获取的待编码数字输入至所述目标编码模型进行编码处理，得到目标向量。2.根据权利要求1所述的方法，其特征在于，所述获取训练文本；其中，所述训练文本包括训练词语和训练数字，并根据所述训练数字构建验证数字序列，包括：获取训练文本；对所述训练文本进行语句分割处理，得到训练语句；其中，每一所述训练语句包括所述训练词语和所述训练数字；获取每一训练语句的所述训练数字的个数，得到数字个数；根据所述数字个数将所述训练数字进行顺序排序，得到数字排序信息；根据所述数字排序信息将所述训练数字进行序列构建，得到所述验证数字序列。3.根据权利要求1所述的方法，其特征在于，所述第一编码网络包括：转换层和第一编码层；所述通过第一编码网络对所述训练数字进行编码处理，得到第一嵌入向量，包括：通过转换层将所述训练数字进行字符串转换，得到训练字符串；通过所述第一编码层对所述训练字符串进行编码处理，得到所述第一嵌入向量。4.根据权利要求1所述的方法，其特征在于，所述第二编码网络包括：数字划分层、第二编码层、向量处理层；所述通过第二编码网络对所述训练数字进行编码处理，得到得二嵌入向量，包括：通过所述数字划分层将所述训练数字进行数字拆分处理，得到每一数字表达式的数字片段；通过所述第二编码层对所述数字片段进行编码处理，得到片段向量；通过所述向量处理层对所述片段向量进行向量处理，得到所述第二嵌入向量。5.根据权利要求4所述的方法，其特征在于，所述向量处理层包括：拼接层和平均层；所述通过所述向量处理层对所述片段向量进行向量处理，得到所述第二嵌入向量，包括：通过所述拼接层对所述片段向量进行向量拼接，得到每一所述数字...

【专利技术属性】
技术研发人员：王伟，张黔，陈焕坤，钟焰涛，吴志勇，林雪珊，
申请(专利权)人：华润数字科技有限公司，
类型：发明
国别省市：