命名实体的识别方法和设备、以及计算机可读存储介质技术

技术编号:28116815 阅读:31 留言:0更新日期:2021-04-19 11:15
本申请实施例提供了一种命名实体的识别方法和设备,和自然语言处理NLP技术相关,可以应用于人工智能(Artificial Intelligence,AI)领域的语音识别,具体的,可以应用于语音助手等应用。本申请实施例提供的命名实体的识别方法包括:获取待识别文本;确定用于识别所述待识别文本中的命名实体的命名实体识别模型所应用的场景类型;将所述待识别文本和所述场景类型输入所述命名实体识别模型;获取所述命名实体识别模型的输出信息,以确定所述命名实体识别模型针对所述场景类型在所述待识别文本中识别出的命名实体。本申请实施例通过将场景信息嵌入至命名实体模型的输入信息,提高了命名实体识别模型在不同使用场景下识别出命名实体的概率。名实体的概率。名实体的概率。

【技术实现步骤摘要】
命名实体的识别方法和设备、以及计算机可读存储介质


[0001]本申请涉及命名实体识别
,特别涉及命名实体的识别方法和设备、以及计算机可读存储介质。

技术介绍

[0002]命名实体识别,又名实体识别或NER,是自然语言处理中的一项基础任务,应用范围非常广泛。命名实体一般指的是文本中具有特定意义或者指代性强的实体,通常包括人名、地名、组织机构名、日期时间、专有名词等。NER系统就是从非结构化的输入文本中抽取出上述实体,并且可以按照业务需求识别出更多类别的实体。现有相关技术中的命名实体的识别方法,通常仅针对某种特定的应用场景训练命名实体识别模型,针对不同的场景需要采用大量对应场景下的语料进行训练,分别训练多个识别模型以适用于不同场景,训练过程复杂,模型的适应性不强。

技术实现思路

[0003]本申请提供了一种命名实体的识别方法和设备、以及计算机可读存储介质,以用于使命名实体识别模型能够应用在不同的场景,通过将场景信息嵌入至命名实体模型的输入信息,提高了命名实体识别模型在不同使用场景下识别出命名实体的概率。r/>[0004]第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种命名实体的识别方法,其特征在于,包括:获取待识别文本;确定用于识别所述待识别文本中的命名实体的命名实体识别模型所应用的场景类型;将所述待识别文本和所述场景类型输入所述命名实体识别模型;获取所述命名实体识别模型的输出信息,以确定所述命名实体识别模型针对所述场景类型在所述待识别文本中识别出的命名实体。2.如权利要求1所述的方法,其特征在于,在将所述待识别文本和所述场景类型输入所述命名实体识别模型之前,所述方法还包括:将所述待识别文本按照划分单位标注内容索引,其中,内容相同的所述划分单位通过相同的内容索引进行标注;确定所述场景类型所对应的场景类型索引;针对每个所述划分单位标注所述场景类型索引;相应的,所述将所述待识别文本和所述场景类型输入所述命名实体识别模型,包括:将所述待识别文本中所有所述划分单位被标注的索引输入所述命名实体识别模型。3.如权利要求2所述的方法,其特征在于,在将所述待识别文本中所有所述划分单位被标注的索引输入所述命名实体识别模型之后,所述命名实体识别模型的处理方法包括:针对每个所述划分单位,分别将被标注的不同类型的索引转换为多维向量;针对每个所述划分单位,按序拼接不同类型的索引转换后的多个多维向量;将所述待识别文本中所有所述划分单位的拼接向量输入序列标注模型;获取所述序列标注模型的输出结果,以得到所述待识别文本中的命名实体的标注信息。4.如权利要求3所述的方法,其特征在于,所述序列标注模型为深度学习模型,所述深度学习模型包括:一层或多层循环神经网络,每层所述循环神经网络利用神经网络计算单元按序对所述待识别文本中每个所述划分单位的拼接向量进行计算,以输出每个所述划分单位对应的计算结果向量;条件随机场,用于接收向量序列,所述向量序列包括按序排列的多个所述计算结果向量,所述多个计算结果向量为所述一层或多层循环神经网络中最后一层所述循环神经网络针对所有所述划分单位的计算结果向量,以输出用于标识每个所述划分单位是否为命名实体的标注标签。5.如权利要求1-4任一项所述的方法,其特征在于,在将所述待识别文本和所述场景类型输入所述命名实体识别模型之前,所述方法还包括:获取本轮会话对应的待识别的第一文本;检测所述第一文本中是否存在第一关键词,所述第一关键词用于指示所述第一文本与多轮会话场景相关;在所述第一文本中存在所述第一关键词的情况下,将所述第一文本中的所述第一关键词替换为第二关键词,得到待识别的第二文本;相应的,所述将所述待识别文本和所述场景类型输入所述命名实体识别模型,包括:至少根据所述第二关键词,利用所述命名实体识别模型在所述第二文本中识别命名实体,所述第二关键词与所述识别出的命名实体所对应的实体类别相关。
6.一种命名实体的识别方法,其特征在于,所述方法包括:获取本轮会话对应的待识别的第一文本;检测所述第一文本中是否存在第一关键词,所述第一关键词用于指示所述第一文本与多轮会话场景相关;在所述第一文本中存在所述第一关键词的情况下,将所述第一文本中的所述第一关键词替换为第二关键词,得到待识别的第二文本;至少根据所述第二关键词,利用命名实体识别模型在所述第二文本中识别命名实体,所述第二关键词与所述识别出的命名实体所对应的实体类别相关。7.如权利要求6所述的方法,其特征在于,在检测所述第一文本中是否存在第一关键词之前,所述方法还包括:获取所述本轮会话的前一轮会话对应的待识别的第三文本的意图分析结果,以得到所述第三文本的意图类型;判断所述第三文本的意图类型是否为指定的意图类型;相应的,如果所述第三文本的意图类型是所述指定的意图类型,则检测所述第一文本中是否存在第一关键词。8.如权利要求6或7所述的方法,其特征在于,在利用所述命名实体识别模型在所述第二文本中识别命名实体之后,所述方法还包括:在所述第一文本中,查找所述命名实体识别模型针对所述第二文本识别出的命名实体;如果在所述第一文本中未查找到所述命名实体,则确定对应的所述命名实体无效;如果在所述第一文本中查找到所述命名实体,则确定对应的所述命名实体有效。9.如权利要求6-8任一项所述的方法,其特征在于,检测所述第一文本中是否存在第一关键词包括:利用预设的正则表达式在待识别文本中进行匹配,确定所述第一文本中是否存在所述第一关键词。10.一种命名实体的识别设备,其特征在于,所述设备包括:第一获取模块,用于获取待识别文本;第一确定模块,用于确定用于识别所述待识别文本中的命名实体的命名实体识别模型所应用的场景类型;输入模块,用于将所述待识别文本和所述场景类型输入所述命名实体识别模型;执行模块,用于获取所述命名实体识别模型的输出信息,以确定所述命名实体识别模型针对所述场景类型在所述待识别文本中识别出的命名实体。11.如权利要求10所述的装置,其特征在于,所述装置还包括:划分模块,用于在将所述待识别文本和所述场景类型输入所述命名实体识别模型之前,将所述待识别文本按照划分单位标注内容索引,其中,内容相同的所述划分单位通过相同的内容索引进行标注;第二确定模块,用于确定所述场景类型所对应的场景类型索引;针对每个所述划分单位标注所述场景类型索引;相应的,所述输入模块包括:第一输入单元,用于将所述待识别文本中所有所述划分单位被标注的索引输入所述命
名实体识别模型。12.如权利要求11所述的装置,其特征在于,所述命名实体识别模型包括:第一转换单元,用于在将所述待识别文本中所有所述划分单位被标注的索引输入所述命名实体识别模型之后,针对每个所述划分单位,分别将被标注的不同类型的索引转换为多维向量;拼接单元,用于针对每个所述划分单位,按序拼接不同类型的索引转换后的多个多维向量;第二输入单元,用于将所述待识别文本中所有所述划分单位的拼接向量输入序列标注模型;第一获取单元,用于获取所述序列标注模型的输出结果,以得到所述待识别文本中的命名实体的标注信息。13.如权利要求12所述的...

【专利技术属性】
技术研发人员:孟函可祝官文
申请(专利权)人:华为技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1