一种模型训练与实体识别方法及装置制造方法及图纸

本说明书公开了一种模型训练与实体识别方法及装置，通过预先训练好的通用分类模型，确定文本数据中的各实体，分别作为各训练样本，并确定各实体的通用类别，通过与目标领域对应的领域词库，查询各实体在目标领域中的类别，作为各训练样本的标注。将各训练样本以及各训练样本的通用类别输入待训练的专用分类模型中，确定各训练样本在目标领域中的专用分类结果，以根据各训练样本的专用分类结果及各训练样本的标注，对该专用分类模型进行训练。可利用预训练的通用分类模型对专用分类模型进行训练，能够减少训练专用分类模型的时间，节约计算资源。节约计算资源。节约计算资源。

【技术实现步骤摘要】
一种模型训练与实体识别方法及装置


[0001]本说明书涉及命名实体识别
，尤其涉及一种模型训练与实体识别方法及装置。

技术介绍

[0002]命名实体识别(Named Entity Recognition，NER)技术，即用于识别文本中具有特定意义的实体的技术，包括对实体边界的识别以及对实体类别(人名、地名、机构名等)的识别。
[0003]在现有技术中，NER模型的训练样本及训练样本的标注与其应用的任务领域密切相关，不同任务领域需要关注的实体的类别不同。受训练样本与标注的影响，应用于不同任务领域的NER模型能够识别的实体的类别不同，类别的分类粒度也不同，一个NER模型只能用于处理固定任务领域的NER任务。当需要在其他任务领域中应用NER模型时，则需要重新训练符合其他任务领域的任务需求的NER模型。
[0004]然而，训练模型的过程是一个耗费大量的计算资源以及时间的过程，现有技术存在训练NER模型耗时久、效率低、需要消耗大量计算资源的问题。

技术实现思路

[0005]本说明书提供一种模型训练与实体识别方法及装置本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，其特征在于，包括：获取文本数据，针对每个文本数据，通过预先训练的通用分类模型，确定该文本数据中各实体以及各实体的通用类别；在预设的与目标领域对应的领域词库中，查询所述各实体在所述目标领域中的类别，作为专用类别；以所述各实体分别作为各训练样本，以各实体的专用类别分别作为各训练样本的标注，将各训练样本以及各训练样本的通用类别输入待训练的专用分类模型，得到所述待训练的专用分类模型对各训练样本在所述目标领域中的专用分类结果；根据各训练样本在所述目标领域中的专用分类结果以及各训练样本的标注，对所述待训练的专用分类模型进行训练，所述专用分类模型用于识别实体在所述目标领域中的类别。2.如权利要求1所述的方法，其特征在于，将各训练样本以及各训练样本的通用类别输入待训练的专用分类模型，得到所述待训练的专用分类模型对各训练样本在所述目标领域中的专用分类结果，具体包括：将各训练样本以及各训练样本的通用类别输入待训练的专用分类模型；针对每个训练样本，通过所述待训练的专用分类模型，确定该训练样本的文本特征以及该训练样本的通用类别对应的类别特征；根据所述文本特征以及所述类别特征，确定该训练样本的融合特征，并根据所述融合特征，确定该训练样本在所述目标领域中的专用分类结果。3.如权利要求2所述的方法，其特征在于，根据所述融合特征，确定该训练样本在所述目标领域中的专用分类结果，具体包括：根据所述融合特征，确定该训练样本属于预设的各专用类别的概率；根据该训练样本属于预设的各专用类别的概率，确定该训练样本在所述目标领域中的专用分类结果。4.如权利要求3所述的方法，其特征在于，根据所述融合特征，确定该训练样本属于预设的各专用类别的概率，具体包括：根据所述融合特征，确定该训练样本属于预设的各专用类别的分值；根据该训练样本属于预设的各专用类别的分值，确定各专用类别的总分值；针对每个专用类别，根据该专用类别的分值以及所述总分值，确定该训练样本属于该专用类别的概率。5.如权利要求3所述的方法，其特征在于，根据各训练样本在所述目标领域中的专用分类结果以及各训练样本的标注，对所述待训练的专用分类模型进行训练，具体包括：针对每个训练样本，根据该训练样本的标注，从预设的各专用类别中确定该训练样本的目标专用类别；根据该训练样本在所述目标领域中的专用分类结果，确定所述目标专用类别对应的概率，作为目标概率；根据各训练样本的目标概率，确定分类损失，并以所述分类损失最小为目标，对所述待训练的专用分类模型进行训练...

【专利技术属性】
技术研发人员：陈明昊，王磊，温丽红，
申请(专利权)人：北京三快在线科技有限公司，
类型：发明
国别省市：