一种可扩展的基于神经网络的序列标注方法技术

本发明专利技术公开了一种可扩展的基于神经网络的序列标注方法。本方法为：创建一层叠n阶模型，该层叠n阶模型的训练过程为：首先根据训练语料中各标注单元的标签生成多个标签集合，包括一阶至n阶n个标签集合；标注单元i的标签与其邻近n‑1个标注单元的标签合并在一起作为标注单元i的n阶标签，n阶标签集合为各标注单元的n阶标签构成的标签集合；然后利用得到的各阶标签集合分别训练神经网络，分别得到n个模型，即一阶神经网络模型至n阶神经网络模型；利用该层叠n阶模型对给定的序列进行标签预测，得到一标签序列。本发明专利技术显著减少了模型过拟合风险，提高了序列标注任务效果。

An extensible method of sequence annotation based on Neural Networks

The invention discloses an extensible sequence annotation method based on neural networks. The method is: to create a stack of order n model, the training process of the laminated n order model is as follows: firstly, according to the labeling units in the training corpus tags to generate multiple sets of tags, including an order to order n n tag set; with labeling units I tags and the adjacent n 1 label label unit in order n label together as a unit of I, n order set of tags to order n tags labeled each unit a tag set; each order can be obtained by using the label and then sets the neural network, the N models are obtained, namely the first-order neural network model to order n neural network model; using the laminated n order model for a given sequence of tag prediction, a tag sequence. The invention significantly reduces the risk of model overfitting and improves the effect of the sequence tagging task.

【技术实现步骤摘要】
一种可扩展的基于神经网络的序列标注方法
本专利技术属于自然语言处理领域，涉及序列标注，尤其涉及一种不同阶模型信息组合解码的序列标注方法。
技术介绍
神经网络处理序列标注问题时，在训练阶段，为每一预测出它的相应标签，代价函数是神经网络的预测输出与标准标注的交叉熵，训练过程最小化目标函数。在解码阶段，由神经网络直接预测出当前词的标签。现有的神经网络处理序列标注问题时，对当前词(字)预测出的标签不涉及周围词(字)标签，即每个词(字)的预测出的标签是独立于其它词(字)的，而后在独立标签的基础上进行梯度下降，这种训练方法很容易出现过拟合问题，并且可能会使神经网络的信息捕捉能力不能完全体现出来。
技术实现思路
为了克服现有神经网络在序列标注问题上标签独立的技术不足，本专利技术提供了一种易于扩展的新的序列标注问题的训练与解码方法(在神经网络序列标注问题中，解码过程即为获取输入标注序列的过程)。通过利用高阶标签进行训练和一种联合高阶信息及低阶信息解码的方式来减少过拟合问题，提高神经网络模型表现。本专利技术提供的技术方案是：一种可扩展新的训练方式，通过修改原始文本的单阶标签为更高阶的标签进行训练，以及一种本文档来自技高网...

【技术保护点】
一种可扩展的基于神经网络的序列标注方法，其步骤包括：1)创建一层叠n阶模型，该层叠n阶模型的训练过程为：首先根据训练语料中各标注单元的标签生成多个标签集合，包括一阶至n阶n个标签集合；其中，一阶标签集合为各标注单元的标签构成的标签集合；标注单元i的标签与其邻近n‑1个标注单元的标签合并在一起作为标注单元i的n阶标签，n阶标签集合为各标注单元的n阶标签构成的标签集合；然后利用得到的各阶标签集合分别训练神经网络，分别得到n个模型，即一阶神经网络模型至n阶神经网络模型；2)利用该层叠n阶模型对给定的序列(x1,x2,…xt,…xT)进行标签预测，得到一标签序列(y1,y2,…yt,…,yT)；其中，...

【技术特征摘要】
1.一种可扩展的基于神经网络的序列标注方法，其步骤包括：1)创建一层叠n阶模型，该层叠n阶模型的训练过程为：首先根据训练语料中各标注单元的标签生成多个标签集合，包括一阶至n阶n个标签集合；其中，一阶标签集合为各标注单元的标签构成的标签集合；标注单元i的标签与其邻近n-1个标注单元的标签合并在一起作为标注单元i的n阶标签，n阶标签集合为各标注单元的n阶标签构成的标签集合；然后利用得到的各阶标签集合分别训练神经网络，分别得到n个模型，即一阶神经网络模型至n阶神经网络模型；2)利用该层叠n阶模型对给定的序列(x1,x2,…xt,…xT)进行标签预测，得到一标签序列(y1,y2,…yt,…,yT)；其中，yt表示第t个标注单元xt的标签。2.如权利要求1所述的方法，其特征在于，优化标签序列(y1,y2,…yt,…,yT)，即最大化整个标签序列(y1,y2,…yt,…,yT)的联合概率p(y1,y2,…yt,…,yT)，得到最优的标注序列。3.如权利要求2所述的方法，其特征在于，计算所述最大化整个标签序列(y1,y2,…yt,…,yT)的联合概率的方法为：对于每一阶神经网络模型，分别基于马尔科夫假设对该联合概率p(y1,y2,…yt,…,yT)进行分解，得到对应阶神经网络模型下的标签信息；其中，对于n阶神经网络模型，采用基于n阶马尔科夫...

【专利技术属性】
技术研发人员：孙栩，张艺，杨洋，
申请(专利权)人：北京大学，
类型：发明
国别省市：北京,11