一种基于自蒸馏的命名实体识别与纠错方法技术

本发明专利技术公开了一种基于自蒸馏的命名实体识别与纠错方法，包括：针对命名实体识别模型进行训练；命名实体识别模型包括第一层模型、第二层模型和第三层模型；第一层模型用于根据无标注数据进行训练，以及将第一层模型中的概率分布压缩到第二层模型中；第二层模型用于进行命名实体提取；第三层模型用于对提取的命名实体进行错误检测及进行错误修正；获取待提取命名实体的文本并输入模型；通过命名实体识别模型进行命名实体的提取。采用该种方法，可以解决进行文本命名实体提取时，文本中出现语法错误或标点符号错误时会导致前后文特征过强，提取出错误命名实体的问题。同时，可以在提取到错误命名实体时进行自动纠正，从而达到了更精准提取的效果。

【技术实现步骤摘要】
一种基于自蒸馏的命名实体识别与纠错方法
本专利技术涉及文本处理领域，尤其涉及一种基于自蒸馏的命名实体识别与纠错方法、装置、存储介质及计算设备。
技术介绍
基于文本数据的命名实体识别是广泛用于人机对话系统的一种自然语言处理技术，经过对文本数据的清洗处理，向量映射，语义理解匹配后，能够自动提取出文本中符合预设属性的词，从而达到专项识别某类型特殊词的目的，该方法多用于识别人名，地名，时间。现有技术存在的缺点：1)在一般命名实体识别方法中，若文本命名实体中出现语法错误或标点符号错误时，该方法会因前后文特征过强，提取出错误词汇，同时无法解决此类异常错误。2)在一般该类型技术中，没有大量外部知识及语法逻辑支撑，难以达到精准提取特殊字词的效果。
技术实现思路
为了解决上述技术问题中的至少一个，本专利技术提供了一种基于自蒸馏的命名实体识别与纠错方法、装置、存储介质及计算设备，通过针对三层命名实体识别模型进行训练，可以达到精确进行文本命名实体提取的目的。本专利技术的目的通过以下方案实现：r>一种基于自蒸馏的本文档来自技高网...

【技术保护点】
1.一种基于自蒸馏的命名实体识别与纠错方法，其特征在于，包括：/n针对命名实体识别模型进行训练；所述命名实体识别模型包括第一层模型、第二层模型和第三层模型；所述第一层模型用于根据无标注数据进行训练，以及将所述第一层模型中的概率分布压缩到所述第二层模型中；所述第二层模型用于进行命名实体提取；所述第三层模型用于对提取的所述命名实体进行错误检测，以及，在检测到错误后进行错误修正；/n获取待提取命名实体的文本并输入所述命名实体识别模型；/n通过所述命名实体识别模型进行所述命名实体的提取。/n

【技术特征摘要】
1.一种基于自蒸馏的命名实体识别与纠错方法，其特征在于，包括：
针对命名实体识别模型进行训练；所述命名实体识别模型包括第一层模型、第二层模型和第三层模型；所述第一层模型用于根据无标注数据进行训练，以及将所述第一层模型中的概率分布压缩到所述第二层模型中；所述第二层模型用于进行命名实体提取；所述第三层模型用于对提取的所述命名实体进行错误检测，以及，在检测到错误后进行错误修正；
获取待提取命名实体的文本并输入所述命名实体识别模型；
通过所述命名实体识别模型进行所述命名实体的提取。


2.如权利要求1所述的方法，其特征在于，所述第一层模型为bert-large模型；
针对所述bert-large模型进行训练，包括：
针对所述bert-large模型进行无标注数据训练，和，针对所述bert-large模型进行垂直领域数据微调训练。


3.如权利要求1所述的方法，其特征在于，所述第二层模型为TransformerEncoder模型；
针对所述TransformerEncoder模型进行训练，包括：
通过所述文本中每个字词的上下文特征进行所述TransformerEncoder模型的训练；其中，预先通过分支自蒸馏的方式将所述第一层模型的概率分布压缩到所述TransformerEncoder模型中，以及，使用所述第一层模型的全连接层输出作为预训练词向量。


4.如权利要求1所述的方法，其特征在于，所述第三层模型为CBOW模型；
针对所述CBOW模型进行训练，包括：
通过规整的文本数据进行垂直领域的CBOW模型的训练。


5.如权利要求1所述的方法，其特征在于，对提取的所述命名实体进行错误检测，包括：
计算所述命名实体的语法逻辑合理性并打分；
若所述命名实体的语法逻辑合理性打分高于预设第一阈值，则将提取的所述命名实体作为结果输出；
若所述命名实体的语法逻辑合理性打分低...

【专利技术属性】
技术研发人员：陈开冉，黎展，张天翔，
申请(专利权)人：广州探迹科技有限公司，
类型：发明
国别省市：广东;44