一种基于多模型融合的电力运检命名实体识别方法技术

本发明专利技术提供一种基于多模型融合的电力运检命名实体识别方法，包括：S1、将电力运检语料集分为原始训练集D和原始测试集T；S2、对初级学习器HMM、CRF以及Bi

【技术实现步骤摘要】
一种基于多模型融合的电力运检命名实体识别方法


[0001]本专利技术属于自然语言处理
，具体涉及一种基于多模型融合的电力运检命名实体识别方法。

技术介绍

[0003]研究命名实体识别的方法经过了三种重要阶段：基于字典与规则、基于机器学习、以及基于深度学习，每一阶段都有其独特的优势和不足之处。基于机器学习的方法适用于小数据集且模型灵活性高，但构建模型成本昂贵。深度学习的端对端处理能力使得它在实体识别任务中得到广泛的应用，但是由于其训练时间较长，在小数据分析集上很容易发生过拟合。因此，如何在特定领域小数据集上综合机器学习和深度学习的优点，搭建性能好、灵活性高的模型是一个亟待解决的难点。

技术实现思路

[0004]本专利技术是为了解决上述问题而进行的，目的在于提供一种基于多模型融合的电力运检命名实体识别方法。
[0005]本专利技术提供了一种基于多模型融合的电力运检命名实体识别方法，具有这样的特征，包括以下步骤：S1、将电力运检语料集分为原始训练集D和原始测试集T；S2、对初级学习器HMM、CRF以及Bi
‑
LSTM进行K折交叉验证，得到训练集D
*
；S3、将每个初级学习器对原始测试集T进行预测，并对预测结果求取平均值，得到次级学习器的测试集T
*
；S4、将训练集D
*
和测试集T
*
输入次级学习器CRF进行训练和预测，得到电力运检命名实体及其类别。
[0006]在本专利技术提供的基于多模型融合的电力运检命名实体识别方法中，还可以具有这样的特征：S1中，电力运检语料集按照8：2的比例分为原始训练集D和原始测试集T。
[0007]在本专利技术提供的基于多模型融合的电力运检命名实体识别方法中，还可以具有这样的特征：S2中，K折交叉验证为三折交叉验证。
[0008]进一步地，三折交叉验证包括以下步骤：将原始训练集D随机分为三等份，将其中的两份作为训练集对每个初级学习器进行训练，剩下的一份作为每个初级学习器的测试集，并利用训练好的每个初级学习器对其进行预测，得到预测结果，将预测结果进行拼接，得到次级学习器的训练集D
*
。
[0009]专利技术的作用与效果
[0010]根据本专利技术所涉及的基于多模型融合的电力运检命名实体识别方法，通过将机器学习方法和深度学习方法利用Stacking融合方式进行融合，实现了机器学习方法灵活训练时间短的优点和深度学习抓取特征能力强的优点的结合，在构建的电力运检小数据集上具有优异的表现，同时训练时长也比深度学习方法短。而且，由于利用Stacking融合方式，在第一阶段训练中就剔除了大量冗余信息，使得第二阶段的训练能更加聚焦于关键信息，提高了实体识别的准确性。
附图说明
[0011]图1是本专利技术的实施例中基于多模型融合的电力运检命名实体识别方法的步骤流程图；
[0012]图2是本专利技术的实施例中基于多模型融合的电力运检命名实体识别方法的模型结构图。
具体实施方式
[0013]为了使本专利技术实现的技术手段、创作特征、达成目的与功效易于明白了解，以下实施例结合附图对本专利技术作具体阐述。
[0014]实施例
[0015]图1是基于多模型融合的电力运检命名实体识别方法的步骤流程图，图2是基于多模型融合的电力运检命名实体识别方法的模型结构图。
[0016]如图1和图2所示，本实施例提供了一种基于多模型融合的电力运检命名实体识别方法，该方法是根据电力运检文本实体名称长、更新速度快且缺乏统一的规范管理等特点，结合机器学习方法和深度学习方法的优点，提出的一种基于Stacking的多模型融合HCB命名实体识别方法。
[0017]其中，HCB的整体架构分为两层，第一层是初级学习器HMM、CRF以及Bi
‑
LSTM，第二层是次级学习器CRF。
[0018]该方法具体包括以下步骤：
[0019]S1、将电力运检语料集按8：2分为原始训练集D和原始测试集T。
[0020]S2、对初级学习器HMM、CRF以及Bi
‑
LSTM进行三折交叉验证，得到训练集D
*
。具体地，将原始训练集D随机分为三等份d1、d2、d3。将其中的两份作为训练集对每个初级学习器进行训练。剩下的一份作为每个初级学习器的测试集，并利用训练好的每个初级学习器对其进行预测，得到预测结果p1、p2、p3。将预测结果p1、p2、p3进行拼接，得到次级学习器的训练集D
*
。
[0021]S3、将每个初级学习器对原始测试集T进行预测，并对预测结果求取平均值，得到测试集T
*
。
[0022]S4、将训练集D
*
和测试集T
*
输入次级学习器CRF进行训练和预测，得到最终的电力运检命名实体及其类别。
[0023]从上述步骤可以看到，本方法具有以下特点：1、利用初级学习器对原始训练集进行三折交叉验证，并将预测结果组合成新的训练集作为输入特征加入次级学习器的学习中，这样做能避免初级学习器过拟合的问题；2、利用初级学习器对原始测试集进行预测，并将预测结果进行平均，得到新的测试集，将其作为次级学习器的测试集，这样做使得经过训练的初级学习器可以剔除测试集中的冗余信息，提取关键信息进行整合；3、次级学习器只对初级学习器的学习结果进行进一步学习，充分融合了初级学习器HMM、CRF以及Bi
‑
LSTM的优点，从而提高了HCB的识别性能。
[0024]综上，本方法通过将机器学习方法和深度学习方法利用Stacking融合方式进行融合，实现将机器学习方法灵活训练时间短的优点和深度学习抓取特征能力强的优点相结合，在构建的电力运检小数据集上具有优异的表现，同时训练时长也比深度学习方法短，并
且由于利用Stacking融合方式在第一阶段训练中就剔除了大量冗余信息，使得第二阶段的训练能更加聚焦于关键信息，提高了实体识别的准确性。
[0025]下面对上述步骤中用到的方法和模型做具体说明。
[0026]1、Stacking融合方法
[0027]Stacking是一种并联式多模型融合的融合方法，它是利用前一层的输出结果作为下一层的输入，使得后一层的训练能够充分利用前一层训练结果的归纳过程。
[0028]Stacking训练过程可以分为两个阶段。
[0029]假设采用五折交叉验证融合三个模型，那么在训练的第一阶段，对于模型一，需要先把训练集分为五份，每次训练采用其中四份做训练，剩余的一份做预测，经过五次训练和预测之后，全部的训练集就都已经经过预测了，这时候会产生一个预测值，记为P1。在模型一每经过四份样本的学习后，不光要预测剩余的一份训练集，还需要预测测试集的样本，这样在一次训练过程中就会产生一个预测向量，那么在五次训练过程中就会产生一个五列的向量矩阵，对每一行做一个平均即可得到一个预测向量，记为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模型融合的电力运检命名实体识别方法，其特征在于，包括以下步骤：S1、将电力运检语料集分为原始训练集D和原始测试集T；S2、对初级学习器HMM、CRF以及Bi
‑
LSTM进行K折交叉验证，得到训练集D
*
；S3、将每个初级学习器对原始测试集T进行预测，并对预测结果求取平均值，得到次级学习器的测试集T
*
；S4、将所述训练集D
*
和所述测试集T
*
输入次级学习器CRF进行训练和预测，得到电力运检命名实体及其类别。2.根据权利要求1所述的基于多模型融合的电力运检命名实体识...

【专利技术属性】
技术研发人员：孙玉芹，肖静婷，杨致津，
申请(专利权)人：上海电力大学，
类型：发明
国别省市：