依存句法模型优化方法、装置、设备及可读存储介质制造方法及图纸

本发明专利技术公开了一种依存句法模型优化方法、装置、设备及可读存储介质，待优化的依存句法模型包括底层的预训练模型和上层的依存关系预测网络，所述预训练模型是采用领域无关的文本训练集训练得到，所述依存句法模型优化方法包括：采用所述预训练模型对目标领域的文本训练集中的训练语句进行底层向量提取处理，得到所述训练语句中各个词对应的词向量；采用所述依存关系预测网络对所述词向量进行上层预测处理，并对处理结果进行优化以优化所述依存句法模型。本发明专利技术能够极大地减少标注工作量，降低标注成本，提高模型优化效率。

【技术实现步骤摘要】
依存句法模型优化方法、装置、设备及可读存储介质
本专利技术涉及自然语言处理
，尤其涉及一种依存句法模型优化方法、装置、设备及可读存储介质。
技术介绍
依存句法是自然语言处理中的关键技术之一，是通过分析语言单位内成分之间的依存关系，来揭示其句法结构的一种方法。依存句法可以为其他自然语言处理任务提供帮助，例如指代消解、语义分析、机器译、信息提取等。现有的基于图的依存句法分析方法，假设任意两个元素都以一定的概率存在依存关系，使用深度学习训练一个评价子树得分的函数，在动态规划过程中寻找最优的生成树。由于能考虑到依存树的所有可能性，基于图的依存句法分析方法准确率较高，但是由于其模型结构一般比较深，要想取得良好的预测结果，需要大量带标注的训练数据来进行训练，然而，依存句法分析的数据标注难度大、成本高。
技术实现思路
本专利技术的主要目的在于提供一种依存句法模型优化方法、装置、设备及可读存储介质，旨在现有的基于图的依存句法分析方法需要大量的标注数据，标注难度大、成本高的技术问题。为实现上述目的，本专利技术提供一种依存句法模型优化方法，待优化的依存句法模型包括底层的预训练模型和上层的依存关系预测网络，所述预训练模型是采用领域无关的文本训练集训练得到，所述依存句法模型优化方法包括以下步骤：采用所述预训练模型对目标领域的文本训练集中的训练语句进行底层向量提取处理，得到所述训练语句中各个词对应的词向量；采用所述依存关系预测网络对所述词向量进行上层预测处理，并对处理结果进行优化以优化所述依存句法模型。可选地，所述采用所述预训练模型对目标领域的文本训练集中的训练语句进行底层向量提取处理，得到所述训练语句中各个词对应的词向量的步骤包括：采用所述预训练模型对目标领域的文本训练集中的训练语句进行底层向量提取处理，得到所述训练语句中各个字对应的字向量；对于所述训练语句中的各个词，将组成所述词的各个字的字向量进行加权求和得到所述词对应的词向量，其中，所述依存句法模型中的模型参数包括所述训练语句中各个字对应的权重。可选地，所述采用所述依存关系预测网络对所述词向量进行上层预测处理，并对处理结果进行优化以优化所述依存句法模型的步骤包括：将所述各个词各自的词向量和预设词性向量进行拼接，得到包括各个词的拼接结果的句子向量；采用所述依存关系预测网络对所述句子向量进行上层预测处理，得到所述训练语句对应的依存关系预测结果；根据所述依存关系预测结果和所述训练语句对应的依存关系真实标签计算误差，并根据所述误差更新所述依存句法模型中的模型参数以优化所述依存句法模型。可选地，所述依存关系预测网络包括关系预测模块和关系类型预测模块，所述采用所述依存关系预测网络对所述句子向量进行上层预测处理，得到所述训练语句对应的依存关系预测结果的步骤包括：将所述句子向量输入所述关系预测模块进行预测，得到所述训练语句的关系预测结果，其中，所述关系预测结果表征所述训练语句中各个词之间是否存在依存关系；采用所述关系类型预测模块基于所述句子向量和所述关系预测结果预测得到关系类型预测结果，将所述关系预测结果和所述关系类型预测结果作为依存关系预测结果，其中，所述关系类型预测结果表征所述训练语句中依存关系的类型。可选地，所述关系预测模块包括第一多层感知机、第二多层感知机和双仿射变换网络，所述将所述句子向量输入所述关系预测模块进行预测，得到所述训练语句的关系预测结果的步骤包括：将所述句子向量分别输入所述第一多层感知机和第二多层感知机，对应得到第一句子特征向量和第二句子特征向量，其中，所述第一句子特征向量包括各个词作为依存关系头的特征向量，所述第二句子特征向量包括各个词作为依存关系尾的特征向量；将所述第一句子特征向量和所述第二句子特征向量输入所述双仿射变换网络进行变换处理得到各个词的依存关系得分矩阵；根据所述依存关系得分矩阵预测得到所述训练语句的关系预测结果。可选地，所述根据所述依存关系得分矩阵预测得到所述训练语句的关系预测结果的步骤包括：确定所述训练语句中各个词的备选依存关系组合，其中，各所述备选依存关系组合符合预设依存关系树条件；根据所述依存关系得分矩阵分别计算各所述备选依存关系组合的得分；选取得分最高的备选依存关系组合作为所述训练语句的关系预测结果。可选地，所述采用所述预训练模型对目标领域的文本训练集中的训练语句进行底层向量提取处理，得到所述训练语句中各个词对应的词向量的步骤包括：对目标领域的文本训练集中的训练语句进行预处理操作，得到预处理后的训练语句；采用所述预训练模型对预处理后的训练语句进行底层向量提取处理，得到所述训练语句中各个词对应的词向量。可选地，所述对目标领域的文本训练集中的训练语句进行预处理操作，得到预处理后的训练语句的步骤包括：对目标领域的文本训练集中的训练语句进行字符级切分，得到所述训练语句中的各个字；将所述训练语句中各个字转换为对应预设的字编码后，将所述训练语句的长度转换为预设长度；将转换后的训练语句添加上预设句首标签和预设句末标签，得到预处理后的训练语句。为实现上述目的，本专利技术还提供一种依存句法模型优化装置，待优化的依存句法模型包括底层的预训练模型和上层的依存关系预测网络，所述预训练模型是采用领域无关的文本训练集训练得到，所述依存句法模型优化装置包括：向量提取模块，采用所述预训练模型对目标领域的文本训练集中的训练语句进行底层向量提取处理，得到所述训练语句中各个词对应的词向量；预测模块，用于采用所述依存关系预测网络对所述词向量进行上层预测处理，并对处理结果进行优化以优化所述依存句法模型。为实现上述目的，本专利技术还提供一种依存句法模型优化设备，所述依存句法模型优化设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的依存句法模型优化程序，所述依存句法模型优化程序被所述处理器执行时实现如上所述的依存句法模型优化方法的步骤。此外，为实现上述目的，本专利技术还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有依存句法模型优化程序，所述依存句法模型优化程序被处理器执行时实现如上所述的依存句法模型优化方法的步骤。本专利技术中，通过设置包括底层预训练模型和上层依存关系预测网络的依存句法模型，采用预训练模型对目标领域的文本训练集中的训练语句进行底层向量提取处理，得到训练语句中各个词对应的词向量；采用依存关系预测网络对词向量进行上层预测处理，并对处理结果进行优化以优化依存句法模型。由于预训练模型是经过领域无关的训练语料(也即通用领域的训练语料)进行训练后得到的，其模型参数不是随机初始化的，而是包含了大量自然语言的语义信息，故本专利技术中将其用于特定领域的依存句法分析时，能够获得训练文本准确的向量表示，也即，相比于采用随机初始化的双向循环神经网络等模型来提取文本的向量表示，在训练之初预训练模型就能够为上层的依存关系预测网络提供方向性本文档来自技高网...

【技术保护点】
1.一种依存句法模型优化方法，其特征在于，待优化的依存句法模型包括底层的预训练模型和上层的依存关系预测网络，所述预训练模型是采用领域无关的文本训练集训练得到，所述依存句法模型优化方法包括以下步骤：/n采用所述预训练模型对目标领域的文本训练集中的训练语句进行底层向量提取处理，得到所述训练语句中各个词对应的词向量；/n采用所述依存关系预测网络对所述词向量进行上层预测处理，并对处理结果进行优化以优化所述依存句法模型。/n

【技术特征摘要】
1.一种依存句法模型优化方法，其特征在于，待优化的依存句法模型包括底层的预训练模型和上层的依存关系预测网络，所述预训练模型是采用领域无关的文本训练集训练得到，所述依存句法模型优化方法包括以下步骤：
采用所述预训练模型对目标领域的文本训练集中的训练语句进行底层向量提取处理，得到所述训练语句中各个词对应的词向量；
采用所述依存关系预测网络对所述词向量进行上层预测处理，并对处理结果进行优化以优化所述依存句法模型。


2.如权利要求1所述的依存句法模型优化方法，其特征在于，所述采用所述预训练模型对目标领域的文本训练集中的训练语句进行底层向量提取处理，得到所述训练语句中各个词对应的词向量的步骤包括：
采用所述预训练模型对目标领域的文本训练集中的训练语句进行底层向量提取处理，得到所述训练语句中各个字对应的字向量；
对于所述训练语句中的各个词，将组成所述词的各个字的字向量进行加权求和得到所述词对应的词向量，其中，所述依存句法模型中的模型参数包括所述训练语句中各个字对应的权重。


3.如权利要求1所述的依存句法模型优化方法，其特征在于，所述采用所述依存关系预测网络对所述词向量进行上层预测处理，并对处理结果进行优化以优化所述依存句法模型的步骤包括：
将所述各个词各自的词向量和预设词性向量进行拼接，得到包括各个词的拼接结果的句子向量；
采用所述依存关系预测网络对所述句子向量进行上层预测处理，得到所述训练语句对应的依存关系预测结果；
根据所述依存关系预测结果和所述训练语句对应的依存关系真实标签计算误差，并根据所述误差更新所述依存句法模型中的模型参数以优化所述依存句法模型。


4.如权利要求3所述的依存句法模型优化方法，其特征在于，所述依存关系预测网络包括关系预测模块和关系类型预测模块，
所述采用所述依存关系预测网络对所述句子向量进行上层预测处理，得到所述训练语句对应的依存关系预测结果的步骤包括：
将所述句子向量输入所述关系预测模块进行预测，得到所述训练语句的关系预测结果，其中，所述关系预测结果表征所述训练语句中各个词之间是否存在依存关系；
采用所述关系类型预测模块基于所述句子向量和所述关系预测结果预测得到关系类型预测结果，将所述关系预测结果和所述关系类型预测结果作为依存关系预测结果，其中，所述关系类型预测结果表征所述训练语句中依存关系的类型。


5.如权利要求4所述的依存句法模型优化方法，其特征在于，所述关系预测模块包括第一多层感知机、第二多层感知机和双仿射变换网络，
所述将所述句子向量输入所述关系预测模块进行预测，得到所述训练语句的关系预测结果的步骤包括：
将所述句子向量分别输入所述第一多层感知机和第二多层感知机，对应得到第一句子特征向量和第二句子特征向量，其中，所述第一句子特征向量包括各个...

【专利技术属性】
技术研发人员：周楠楠，于夕畔，汤耀华，杨海军，徐倩，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：广东;44