【技术实现步骤摘要】
一种命名实体识别方法及装置
本申请涉及计算机
,尤其涉及一种命名实体识别方法及装置。
技术介绍
命名实体识别(NamedEntityRecognition,简称NER),又称作“专名识别”,是指识别文本中具有特定意义的实体,主要包括人名、地名、机构名、专有名词等。NER技术是指从一段自然语言文本中标记相关的实体的位置和类型,将需要的实体抽取出来,例如在医疗领域的一些机构名,人名,疾病以及症状等实体的识别等。其在知识图谱构建、信息抽取、信息检索、机器翻译、自动问答以及舆情监测等任务都有广泛应用,是自然语言处理的基础。NER通常利用序列标注方式联合实体边界和确定实体类型。但是由于NER的第一步就是确定词的边界,即分词,而汉语文本没有类似英文文本中空格之类的显式标示词的边界标示符;和除了英语中定义的实体,还存在外国人名译名和地名译名等汉语中的特殊实体类型;以及汉语词语的多意性等原因;使得目前的中文命名实体识别方法仍具有一定的局限性。现有技术中,将字、字根或词映射转为单一向量,通过相应卷积神经网络(Co ...
【技术保护点】
1.一种命名实体识别方法,其特征在于,所述方法包括:/n将待识别文本的第一字序列矩阵输入第一训练模型获取所述待识别文本的第一字特征矩阵;/n将所述待识别文本的第一词序列矩阵输入第二训练模型获取所述待识别文本的第一词特征矩阵;所述第一字特征矩阵的维度和所述第一词特征矩阵的维度相同;/n将所述第一字特征矩阵和所述第一词特征矩阵进行处理,得到第一字词融合特征矩阵;/n通过第三训练模型对所述第一字词融合特征矩阵进行处理获取所述待识别文本的命名实体识别结果。/n
【技术特征摘要】
1.一种命名实体识别方法,其特征在于,所述方法包括:
将待识别文本的第一字序列矩阵输入第一训练模型获取所述待识别文本的第一字特征矩阵;
将所述待识别文本的第一词序列矩阵输入第二训练模型获取所述待识别文本的第一词特征矩阵;所述第一字特征矩阵的维度和所述第一词特征矩阵的维度相同;
将所述第一字特征矩阵和所述第一词特征矩阵进行处理,得到第一字词融合特征矩阵;
通过第三训练模型对所述第一字词融合特征矩阵进行处理获取所述待识别文本的命名实体识别结果。
2.如权利要求1所述的方法,其特征在于,将待识别文本的第一字序列矩阵输入第一训练模型获取所述待识别文本的第一字特征矩阵之前,还包括:
设置所述第一训练模型的第一参数,所述第一参数用于获取预设维度的所述第一字特征矩阵;
将待识别文本的第一词序列矩阵输入第二训练模型获取所述待识别文本的第一词特征矩阵之前,还包括:
设置所述第二训练模型的第二参数,所述第二参数用于获取所述预设维度的所述第一词特征矩阵。
3.如权利要求1所述的方法,其特征在于,将待识别文本的第一词序列矩阵输入第二训练模型获取所述待识别文本的第一词特征矩阵之前,还包括:
通过第一方式确定所述待识别文本的各字对应的第一字向量;所述各字的第一字向量组成所述第一字序列矩阵;
通过第二方式确定所述待识别文本的各字对应的第二字向量;所述第一方式与所述第二方式不同;
对所述待识别文本进行分词,得到所述待识别文本的各分词;
对每个分词内各字的第二字向量进行同维度处理,确定各分词的词向量,从而得到所述第一词序列矩阵。
4.如权利要求1所述的方法,其特征在于,所述第一训练模型为BERT模型(变换器的双向编码器表征量模型,BidirectionalEncoderRepresentationsfromTransformers);所述第二训练模型为CNN模型(卷积神经网络,ConvolutionalNeuralNetworks)。
5.如权利要求1至4任一项所述的方法,其特征在于,所述第三训练模型包括双向长短期记忆网络BiLSTM模型(Bi-directionalLongShort-TermMemory,双向长短期记忆网络)和自注意力机制模型;
通过第三训练模型对所述第一字词融合特征矩阵进行处理获取所述待识别文本的命名实体识别结果,包括:
通过所述BiLSTM模型对所述第一字词融合特征矩阵进行处理,以增加所述第一字词融合特征矩阵对应的所述待识别文本的语...
【专利技术属性】
技术研发人员:于腾,葛通,李晓雨,孙凯,徐文权,潘汉祺,胡永利,申彦明,陈维强,孙永良,于涛,王玮,
申请(专利权)人:青岛海信网络科技股份有限公司,
类型:发明
国别省市:山东;37
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。