【技术实现步骤摘要】
基于多层模型的实体识别方法、装置、设备及存储介质
本申请涉及自然语言处理的
,尤其涉及一种基于多层模型的实体识别方法、装置、设备及存储介质。
技术介绍
命名实体识别(NER)是自然语言处理中的关键技术,通常使用命名实体识别模型来提取语句中的主要实体。但目前的命名实体识别模型的训练周期长,训练样本大,还需要对大量的训练样本进行标注,产生了极高的标注成本。同时,虽然现有的命名实体识别模型使用了大量的训练样本进行训练,但目前的命名实体识别模型仍不能对一些生僻或者口语化的文本进行精确地识别与提取。例如,即便是训练了海量语料的命名实体识别模型,在遇到如“上3年8月份”、“二零一九年一月到三月”等时间类实体时也容易出现错误识别的情况。因此,如何有效地提高实体识别的准确性成为了亟需解决的问题。
技术实现思路
本申请的主要目的在于提供一种基于多层模型的实体识别方法、装置、设备及存储介质,旨在通过大数据和人工智能相关技术手段实现提高实体识别的准确性的功能,可应用于智慧城市的智慧医疗领域,从而推动智慧城市的建设。 >第一方面,本申请提本文档来自技高网...
【技术保护点】
1.一种基于多层模型的实体识别方法,其特征在于,所述多层模型包括词语识别模型、句法分析模型和命名实体识别模型,所述方法包括:/n获取语句信息,并基于所述词语识别模型对所述语句信息进行分词处理,得到多个分词信息;/n通过所述句法分析模型,提取每个所述分词信息的句法关系;/n基于所述命名实体识别模型,根据每个所述分词信息的句法关系,确定所述语句信息中的实体信息。/n
【技术特征摘要】
1.一种基于多层模型的实体识别方法,其特征在于,所述多层模型包括词语识别模型、句法分析模型和命名实体识别模型,所述方法包括:
获取语句信息,并基于所述词语识别模型对所述语句信息进行分词处理,得到多个分词信息;
通过所述句法分析模型,提取每个所述分词信息的句法关系;
基于所述命名实体识别模型,根据每个所述分词信息的句法关系,确定所述语句信息中的实体信息。
2.如权利要求1所述的基于多层模型的实体识别方法,其特征在于,所述基于所述命名实体识别模型,根据每个所述分词信息的句法关系,确定所述语句信息中的实体信息,包括:
根据所述多个分词信息,选取所述命名实体识别模型的训练语料;
基于所述训练语料对所述命名实体识别模型进行迭代训练,直至所述命名实体识别模型收敛,得到更新的命名实体识别模型;
通过更新的命名实体识别模型,根据每个所述分词信息的句法关系,确定所述语句信息中的实体信息。
3.如权利要求2所述的基于多层模型的实体识别方法,其特征在于,所述根据所述多个分词信息,选取所述命名实体识别模型的训练语料,包括:
确定每个所述分词信息的类型,并获取每个所述分词信息的类型各自对应的语料集合;
对每个所述语料集合中的标注信息进行筛选,得到多个筛选后的语料集合,并将所述多个筛选后的语料集合作为所述命名实体识别模型的训练语料。
4.如权利要求3所述的基于多层模型的实体识别方法,其特征在于,所述对每个所述语料集合中的标注信息进行筛选,得到多个筛选后的语料集合,包括:
从每个所述语料集合中获取每个所述分词信息各自对应的标注信息集;
基于句法关系的表达式,对每个所述标注信息集中的标注信息进行筛选,得到多个筛选后的标注信息集;
将每个所述语料集合各自对应的多个筛选后的标注信息集进行汇集,得到多个筛选后的语料集合。
5.如权利要求2所述的基于多层模型的实体识别方法,其特征在于,所述通过更新的命名实体识别模型,根据每个所述分词信息的句法关系,确定所述语句信息中的实体信息,包括:
将每个所述分词信息和每个所述分词信息的句法关系输入更新的命名实体识别模型,得到多个实体信息和每个所述实体信息的概...
【专利技术属性】
技术研发人员:杨志专,
申请(专利权)人:平安国际智慧城市科技股份有限公司,
类型:发明
国别省市:广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。