基于句向量预训练模型的文本处理方法及相关设备技术

本发明专利技术涉及人工智能技术领域，提供一种基于句向量预训练模型的文本处理方法及相关设备，所述方法包括：获取目标语料文本和文本处理任务；对目标语料文本进行分词处理，得到多个分词；根据文本处理任务的任务类型构建包含有语法关系识别层和语法关系添加层的句向量预训练模型；根据训练集训练文本处理任务的任务类型对应的构建好的句向量预训练模型；将多个分词输入至训练好的句向量预训练模型中，得到文本处理任务的执行结果。本发明专利技术通过在句向量预训练模型增加了语法关系识别层和语法关系添加层，将语法关系融入至目标语料文本中，丰富了提取句向量时的输入信息，获得更好的句向量，进而提高了文本处理任务的执行效率和准确率。确率。确率。

【技术实现步骤摘要】
基于句向量预训练模型的文本处理方法及相关设备


[0001]本专利技术涉及人工智能
，具体涉及一种基于句向量预训练模型的文本处理方法及相关设备。

技术介绍

[0002]在文本处理领域，针对文本分类，语义匹配等，都需要获取句向量后进行分类、匹配等计算，现有技术通过RNN网络对句向量进行学习，或者BERT模型对整个句子进行计算得到句向量。
[0003]然而，现有技术在获取句向量阶段，针对模型进行了优化，未考虑文本中的语法关系，无法获取较好的句向量，进而导致文本处理的准确率低。
[0004]因此，有必要提供一种可以快速准确的文本处理方法。

技术实现思路

[0005]鉴于以上内容，有必要提出一种基于句向量预训练模型的文本处理方法及相关设备，通过在句向量预训练模型增加了语法关系识别层和语法关系添加层，将语法关系融入至目标语料文本中，丰富了提取句向量时的输入信息，获得更好的句向量，进而提高了文本处理任务的执行效率和准确率。
[0006]本专利技术的第一方面提供一种基于句向量预训练模型的文本处理方法，所述方法包括：
[0007]接收用户输入的文本处理请求，解析所述文本处理请求获取目标语料文本和文本处理任务；
[0008]对所述目标语料文本进行分词处理，得到多个分词；
[0009]根据所述文本处理任务的任务类型构建句向量预训练模型，其中，所述句向量预训练模型中包含有语法关系识别层和语法关系添加层；
[0010]根据训练集训练所述文本处理任务的任务类型对应的构建好的句向量预训练模型；
[0011]将所述多个分词输入至所述文本处理任务的任务类型对应的训练好的句向量预训练模型中，得到所述文本处理任务的执行结果。
[0012]可选地，所述根据所述文本处理任务的任务类型构建句向量预训练模型包括：
[0013]当所述文本处理任务的任务类型为命名实体识别时，句向量预训练模型包括：预训练的词向量提取模型、与所述预训练的词向量提取模型连接的双向LSTM模型以及与所述双向LSTM模型连接的第一输出层，其中，所述双向LSTM模型中包含有语法关系识别层和与所述语法关系识别层连接的语法关系添加层，所述第一输出层包含有CRF层。
[0014]可选地，所述根据所述文本处理任务的任务类型构建句向量预训练模型包括：
[0015]当所述文本处理任务的任务类型为句子分类时，句向量预训练模型包括：预训练的词向量提取模型、与所述预训练的词向量提取模型连接的双向LSTM模型以及与所述双向
LSTM模型连接的第二输出层，其中，所述双向LSTM模型中包含有语法关系识别层和与所述语法关系识别层连接的语法关系添加层，所述第二输出层包含有全连接层以及与所述全连接层连接的Softmax层。
[0016]可选地，所述将所述多个分词输入至所述文本处理任务的任务类型对应的训练好的句向量预训练模型中，得到所述文本处理任务的执行结果包括：
[0017]当所述文本处理任务的任务类型为命名实体识别，将所述多个分词输出至所述预训练的词向量提取模型，得到多个目标词向量，并将所述多个目标词向量进行归类，得到多个第一句向量；
[0018]将所述多个第一句向量输入至双向LSTM模型的语法关系识别层，通过所述语法关系识别层识别每个所述第一句向量中各个词之间的语法关系，并将每个所述第一句向量中各个词之间的语法关系通过所述语法关系添加层添加至对应第一句向量中，得到多个第二句向量；
[0019]按照预设的输入形式对每个所述第一句向量和每个所述第二句向量进行编码，得到多个目标句向量；
[0020]将所述多个目标句向量输入至CRF层，所述CRF层对所述多个目标句向量中的每个词进行实体标注，解码出实体标签，并将解码出实体标签确定为所述文本处理任务的执行结果。
[0021]可选地，所述将所述多个分词输入至所述文本处理任务的任务类型对应的训练好的句向量预训练模型中，得到所述文本处理任务的执行结果包括：
[0022]当所述文本处理任务的任务类型为句子分类时，将所述多个分词输入至所述预训练的词向量提取模型中，得到多个目标词向量，并将所述多个目标词向量进行归类，得到多个第一句向量；
[0023]将所述多个第一句向量输入至双向LSTM模型的语法关系识别层，通过所述语法关系识别层识别每个所述第一句向量中各个词之间的语法关系，并将每个所述第一句向量中各个词之间的语法关系通过所述语法关系添加层添加至对应第一句向量中，得到多个第二句向量；
[0024]按照预设的输入形式对每个所述第一句向量和每个所述第二句向量进行编码，得到多个目标句向量；
[0025]通过全连接层计算所述多个目标句向量中每个目标句向量的分数，将每个目标句向量的分数经过softmax层映射为概率，并将计算得到的概率确定为所述文本处理任务的执行结果。
[0026]可选地，所述通过所述语法关系识别层识别每个所述第一句向量中各个词之间的语法关系包括：
[0027]通过所述语法关系识别层对每个所述第一句向量进行语法关系分析，识别每个所述第一句向量中各个词之间的语法关系；
[0028]当每个所述第一句向量中的任意一个词未被指定语法关系时，将所述任意一个词对应的语法关系设定为ROOT。
[0029]可选地，所述预设的输入形式包括以下任意一种或者多种组合：
[0030]或者
[0031][0032]其中，E
i
表示每个所述第一句向量中的词向量，R
i
为每个所述第一句向量中的各个词之间的语法关系，为每个所述第二句向量中的词向量，表示词向量拼接，表示词向量乘积运算，σ表示sigmoid函数。
[0033]本专利技术的第二方面提供一种基于句向量预训练模型的文本处理装置，所述装置包括：
[0034]接收模块，用于接收用户输入的文本处理请求，解析所述文本处理请求获取目标语料文本和文本处理任务；
[0035]分词处理模块，用于对所述目标语料文本进行分词处理，得到多个分词；
[0036]构建模块，用于根据所述文本处理任务的任务类型构建句向量预训练模型，其中，所述句向量预训练模型中包含有语法关系识别层和语法关系添加层；
[0037]训练模块，用于根据训练集训练所述文本处理任务的任务类型对应的构建好的句向量预训练模型；
[0038]输入模块，用于将所述多个分词输入至所述文本处理任务的任务类型对应的训练好的句向量预训练模型中，得到所述文本处理任务的执行结果。
[0039]本专利技术的第三方面提供一种电子设备，所述电子设备包括处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序时实现所述的基于句向量预训练模型的文本处理方法。
[0040]本专利技术的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述的基于句向量预训练模型的文本处理方法。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于句向量预训练模型的文本处理方法，其特征在于，所述方法包括：接收用户输入的文本处理请求，解析所述文本处理请求获取目标语料文本和文本处理任务；对所述目标语料文本进行分词处理，得到多个分词；根据所述文本处理任务的任务类型构建句向量预训练模型，其中，所述句向量预训练模型中包含有语法关系识别层和语法关系添加层；根据训练集训练所述文本处理任务的任务类型对应的构建好的句向量预训练模型；将所述多个分词输入至所述文本处理任务的任务类型对应的训练好的句向量预训练模型中，得到所述文本处理任务的执行结果。2.如权利要求1所述的基于句向量预训练模型的文本处理方法，其特征在于，所述根据所述文本处理任务的任务类型构建句向量预训练模型包括：当所述文本处理任务的任务类型为命名实体识别时，句向量预训练模型包括：预训练的词向量提取模型、与所述预训练的词向量提取模型连接的双向LSTM模型以及与所述双向LSTM模型连接的第一输出层，其中，所述双向LSTM模型中包含有语法关系识别层和与所述语法关系识别层连接的语法关系添加层，所述第一输出层包含有CRF层。3.如权利要求1所述的基于句向量预训练模型的文本处理方法，其特征在于，所述根据所述文本处理任务的任务类型构建句向量预训练模型包括：当所述文本处理任务的任务类型为句子分类时，句向量预训练模型包括：预训练的词向量提取模型、与所述预训练的词向量提取模型连接的双向LSTM模型以及与所述双向LSTM模型连接的第二输出层，其中，所述双向LSTM模型中包含有语法关系识别层和与所述语法关系识别层连接的语法关系添加层，所述第二输出层包含有全连接层以及与所述全连接层连接的Softmax层。4.如权利要求1所述的基于句向量预训练模型的文本处理方法，其特征在于，所述将所述多个分词输入至所述文本处理任务的任务类型对应的训练好的句向量预训练模型中，得到所述文本处理任务的执行结果包括：当所述文本处理任务的任务类型为命名实体识别，将所述多个分词输出至所述预训练的词向量提取模型，得到多个目标词向量，并将所述多个目标词向量进行归类，得到多个第一句向量；将所述多个第一句向量输入至双向LSTM模型的语法关系识别层，通过所述语法关系识别层识别每个所述第一句向量中各个词之间的语法关系，并将每个所述第一句向量中各个词之间的语法关系通过所述语法关系添加层添加至对应第一句向量中，得到多个第二句向量；按照预设的输入形式对每个所述第一句向量和每个所述第二句向量进行编码，得到多个目标句向量；将所述多个目标句向量输入至CRF层，所述CRF层对所述多个目标句向量中的每个词进行实体标注，解码出实体标签，并将解码出实体标签确定为所述文本处理任务的执行结果。5.如权利要求1所述的基于句向量预训练模型的文本处理方法，其特征在于，所述将所述多个分词输入至所述文本处理任务的任务类型对应的训练好的句向量预训练模型...

【专利技术属性】
技术研发人员：孙超，王健宗，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：