文本处理方法、装置、设备、存储介质及产品制造方法及图纸

本申请的实施例公开了一种文本处理方法、装置、设备、存储介质及产品，该方法包括：生成待处理文本的词向量序列，该词向量序列表示待处理文本中包含的各个词所对应的词向量；基于待处理文本的词向量序列，获得词向量序列中的各个词向量的置信度，该置信度表示词向量对应的语义对文本处理任务的重要度；根据各个词向量的置信度和词向量序列，生成待处理文本对应的关键信息；基于待处理文本对应的关键信息，生成待处理文本针对文本处理任务的处理结果。本申请实施例的技术方案提高了文本处理结果的准确性。的准确性。的准确性。

【技术实现步骤摘要】
文本处理方法、装置、设备、存储介质及产品


[0001]本申请涉及计算机及通信
，具体而言，涉及一种文本处理方法、文本处理装置、电子设备、计算机可读存储介质及计算机程序产品。

技术介绍

[0002]相关技术中提出的大规模预训练语言模型为自然语言领域带来了新的突破。目前，预训练语言模型在开放对话、知识问答和可控文本生成等认知推理任务上均有不错的表现。但是，相关技术中提出的预训练语言模型由于都倾向于将待处理文本编码到一个较小的空间区域，导致语句之间的区分性较低，进而影响了文本处理的效果。

技术实现思路

[0003]为解决上述技术问题，本申请的实施例提供了一种文本处理方法、文本处理装置、电子设备、计算机可读存储介质及计算机程序产品，可以提高文本处理结果的准确性。
[0004]本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。
[0005]根据本申请实施例的一个方面，提供了一种文本处理方法，包括：生成待处理文本的词向量序列，所述词向量序列表示所述待处理文本中包含的各个词所对应的词向量；基于所述待处理文本的词向量序列，获得所述词向量序列中的各个词向量的置信度；所述置信度表示词向量对应的语义对文本处理任务的重要度；根据所述各个词向量的置信度和所述词向量序列，生成所述待处理文本对应的关键信息；基于所述待处理文本对应的关键信息，生成所述待处理文本针对所述文本处理任务的处理结果。
[0006]根据本申请实施例的一个方面，提供一种模型训练方法，包括：获取样本文本，将所述样本文本的样本词向量序列输入到待训练模型中，以获得所述待训练模型生成的所述样本文本对应的关键信息，所述待训练模型用于获得所述样本词向量序列中的各个样本词向量的置信度，并根据所述各个样本词向量的置信度和所述样本词向量序列，生成所述样本文本对应的关键信息；根据所述样本文本的样本词向量序列，生成所述样本文本对应的冗余信息；根据所述样本文本对应的关键信息和所述样本文本对应的冗余信息，构建所述待训练模型对应的第一损失；根据所述第一损失调整所述待训练模型的模型参数，以得到所述文本处理模型。
[0007]根据本申请实施例的一个方面，提供了一种文本处理装置，包括：向量生成模块，用于生成待处理文本的词向量序列，所述词向量序列表示所述待处理文本中包含的各个词所对应的词向量；置信度获得模块，用于基于所述待处理文本的词向量序列，获得所述词向量序列中的各个词向量的置信度；所述置信度表示词向量对应的语义对文本处理任务的重要度；信息生成模块，用于根据所述各个词向量的置信度和所述词向量序列，生成所述待处理文本对应的关键信息；处理模块，用于基于所述待处理文本对应的关键信息，生成所述待处理文本针对所述文本处理任务的处理结果。
[0008]在本申请的一实施例中，所述信息生成模块具体用于基于所述各个词向量的置信度与所述各个词对应的词向量，计算得到各个词的语义信息保留度；对所述各个词向量的置信度进行扰动处理，得到所述各个词的扰动度；根据所述各个词的语义信息保留度和所述各个词的扰动度，计算各个关键词对应的词向量，将多个关键词分别对应的词向量所生成的序列作为所述关键信息。
[0009]在本申请的一实施例中，基于以下公式，根据所述各个词的语义信息保留度和所述各个词的扰动度，计算各个关键词对应的词向量：
[0010][0011]其中，所述为第i个关键词对应的词向量，所述e
i
为第i个词的词向量，c
i
为第i个词的置信度，所述c
i
⊙
e
i
为第i个词的语义信息保留度，μ0为扰动项，(1
‑
c
i
)
⊙
μ0为第i个词的扰动度。
[0012]在本申请的一实施例中，通过文本处理模型获得所述词向量序列中的各个词向量的置信度，并根据所述各个词向量的置信度和所述词向量序列，生成所述待处理文本对应的关键信息，以及基于所述关键信息，生成所述待处理文本针对所述文本处理任务的处理结果；所述装置还包括训练模块，用于通过样本文本对待训练模型进行训练，以生成所述文本处理模型。
[0013]在本申请的一实施例中，所述训练模型包括输入单元、生成单元、构建单元和调整单元；输入单元用于将所述样本文本的样本词向量序列输入到所述待训练模型中，以获得所述待训练模型生成的所述样本文本对应的关键信息，所述待训练模型用于获得所述样本词向量序列中的各个样本词向量的置信度，并根据所述各个样本词向量的置信度和所述样本词向量序列，生成所述样本文本对应的关键信息；所述生成单元用于根据所述样本文本的样本词向量序列，生成所述样本文本对应的冗余信息；构建单元用于根据所述样本文本对应的关键信息和所述样本文本对应的冗余信息，构建所述待训练模型对应的第一损失；调整单元用于根据所述第一损失调整所述待训练模型的模型参数，以得到所述文本处理模型。
[0014]在本申请的一实施例中，所述构建单元还用于将所述样本文本输入到所述待训练模型中，以获得所述待训练模型针对所述样本文本输出的与所述文本处理任务相对应的任务处理结果；根据所述任务处理结果和所述样本文本的期望输出结果，构建所述待训练模型的第二损失；调整单元具体用于根据所述第一损失和所述第二损失调整所述待训练模型的模型参数，以得到所述文本处理模型。
[0015]在本申请的一实施例中，所述构建单元还用于根据所述样本文本对应的关键信息和所述样本文本中各个样本词向量的置信度构建所述待训练模型的第三损失；调整单元进一步用于根据所述第一损失、所述第二损失和所述第三损失，生成所述待训练模型的总损失；根据所述总损失调整所述待训练模型的模型参数，以得到所述文本处理模型。
[0016]在本申请的一实施例中，构建单元进一步用于将所述样本文本对应的关键信息输入到所述待训练模型中，以获得所述待训练模型针对所述样本文本的关键信息所输出的处理结果；根据所述待训练模型针对所述样本文本的关键信息所输出的处理结果，以及所述样本文本的关键信息所对应的期望输出结果，生成关键信息处理损失；对所述样本文本中
各个样本词向量的置信度进行正则化处理得到惩罚项；根据所述关键信息处理损失和所述惩罚项生成所述第三损失。
[0017]在本申请的一实施例中，所述构建单元进一步用于将预设的超参数作为惩罚项的权重值；根据所述权重值对所述关键信息处理损失和所述惩罚项进行加权求和得到所述第三损失。
[0018]在本申请的一实施例中，所述构建单元进一步用于获取所述待训练模型针对所述样本文本所生成的第一全局向量、针对所述样本文本对应的关键信息所生成的第二全局向量，以及针对所述样本文本对应的冗余信息所生成的第三全局向量；根据所述第一全局向量和所述第二全局向量的距离、所述第三全局向量和所述第二全局向量的距离、以及所述第三全局向量和所述第一全局向量的距离，构建所述待训练模型对应的第一损失。
[0019]在本申请的一实施例中，所述生成单元进一步本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文本处理方法，其特征在于，包括：生成待处理文本的词向量序列，所述词向量序列表示所述待处理文本中包含的各个词所对应的词向量；基于所述待处理文本的词向量序列，获得所述词向量序列中的各个词向量的置信度；所述置信度表示词向量对应的语义对文本处理任务的重要度；根据所述各个词向量的置信度和所述词向量序列，生成所述待处理文本对应的关键信息；基于所述待处理文本对应的关键信息，生成所述待处理文本针对所述文本处理任务的处理结果。2.根据权利要求1所述的方法，其特征在于，所述根据所述各个词向量的置信度和所述词向量序列，生成所述待处理文本对应的关键信息，包括：基于所述各个词向量的置信度与所述各个词对应的词向量，计算得到各个词的语义信息保留度；对所述各个词向量的置信度进行扰动处理，得到所述各个词的扰动度；根据所述各个词的语义信息保留度和所述各个词的扰动度，计算各个关键词对应的词向量，将多个关键词分别对应的词向量所生成的序列作为所述关键信息。3.根据权利要求2所述的方法，其特征在于，基于以下公式，根据所述各个词的语义信息保留度和所述各个词的扰动度，计算各个关键词对应的词向量：其中，所述为第i个关键词对应的词向量，所述e
i
为第i个词的词向量，c
i
为第i个词的置信度，所述c
i
⊙
e
i
为第i个词的语义信息保留度，μ0为扰动项，(1
‑
c
i
)
⊙
μ0为第i个词的扰动度。4.根据权利要求1所述的方法，其特征在于，通过文本处理模型获得所述词向量序列中的各个词向量的置信度，并根据所述各个词向量的置信度和所述词向量序列，生成所述待处理文本对应的关键信息，以及基于所述关键信息，生成所述待处理文本针对所述文本处理任务的处理结果；所述方法还包括：通过样本文本对待训练模型进行训练，以生成所述文本处理模型。5.根据权利要求4所述的方法，其特征在于，所述通过样本文本对待训练模型进行训练，以生成所述文本处理模型，包括：将所述样本文本的样本词向量序列输入到所述待训练模型中，以获得所述待训练模型生成的所述样本文本对应的关键信息，所述待训练模型用于获得所述样本词向量序列中的各个样本词向量的置信度，并根据所述各个样本词向量的置信度和所述样本词向量序列，生成所述样本文本对应的关键信息；根据所述样本文本的样本词向量序列，生成所述样本文本对应的冗余信息；根据所述样本文本对应的关键信息和所述样本文本对应的冗余信息，构建所述待训练模型对应的第一损失；根据所述第一损失调整所述待训练模型的模型参数，以得到所述文本处理模型。6.根据权利要求5所述的方法，其特征在于，所述根据所述第一损失调整所述待训练模
型的模型参数，以得到所述文本处理模型，包括：将所述样本文本输入到所述待训练模型中，以获得所述待训练模型针对所述样本文本输出的与所述文本处理任务相对应的任务处理结果；根据所述任务处理结果和所述样本文本的期望输出结果，构建所述待训练模型的第二损失；根据所述第一损失和所述第二损失调整所述待训练模型的模型参数，以得到所述文本处理模型。7.根据权利要求6所述的方法，其特征在于，所述根据所述第一损失和所述第二损失调整所述待训练模型的模型参数，以得到所述文本处理模型，包括：根据所述样本文本对应的关键信息和所述样本文本中各个样本词向量的置信度构建所述待训练模型的第三损失；根据所述第一损失、所述第二损失和所述第三损失，生成所述待训练模型的总损失；根据所述总损失调整所述待训练模型的模型参数，以得到所述文本处理模型。8.根据权利要求7所述的方法，其特征在于，所述根据所述样本文本对应的关键信息和所述样本文本中各个样本词向量的置信度构建所述待训练模型的第三损失，包括：将所述样本文本对应的关键信息输入到所...

【专利技术属性】
技术研发人员：曾嘉莉，姜雨帆，吴双志，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：