【技术实现步骤摘要】
一种融合字词特征的中文命名实体识别方法
本专利技术属于自然语言处理
,具体涉及一种融合字词特征的中文命名实体识别方法。
技术介绍
随着互联网的飞速发展,各种社交软件,新闻媒介应运而生,导致网络上的信息越发丰富,这意味着在海量数据中快速精准地找到有效信息越来越困难。我们把网络中的文本称为自然语言,由于中文文本的组成结构,致使理解文本的前提是提取文本中的词的特征,即从非结构化文本中提取到有用的结构化数据的特征,而命名实体识别是从海量的自然语言文本中抽取如人名、地名、机构名等专有名词的任务,因此,对它的研究具有重要的研究意义和价值。相较于英文命名实体识别,中文实体识别的研究难度更大。由于在中文文本里词语之间没有分隔符,造成了在分析文本前必须先进行分词。为了避免因为分词错误而导致识别出的实体边界错误,中文命名实体识别领域提出了通过单字进行识别,但单字识别同样存在弊端,即其未能利用文本中的词语和词语之间的特征信息。综上所述,如何从中文文本的结构特征出发,有效的解决命名实体识别的识别准确率低的问题,是目前领域的研究 ...
【技术保护点】
1.一种融合字词特征的中文命名实体识别方法,其特征在于,包括以下步骤:/nS1、通过拼接字向量x
【技术特征摘要】
1.一种融合字词特征的中文命名实体识别方法,其特征在于,包括以下步骤:
S1、通过拼接字向量xc、位置向量xs和词的映射向量xw构建特征表示层,作为模型的输入向量xemb;
S2、将输入向量xemb输入BiLSTM,得到当前时刻的上下文特征向量对该特征向量执行非线性转换,输出待解码的得分信息P;
S3、将得分信息P输入CRF层,同时引入转移得分矩阵A,CRF根据序列的全局标签概率p(y|x)选择全局最优的标签序列,输出序列标注结果y1,y2,...,yn。
2.根据权利要求1所述的融合字词特征的中文命名实体识别方法,其特征在于,步骤S1中,假设给定长度为N的句子{x1,x2,...,xn},每一个字xi对应的特征表示模型输入向量计算如下:
其中,为字向量,为位置向量,为词的映射向量。
3.根据权利要求2所述的融合字词特征的中文命名实体识别方法,其特征在于,字向量具体为:
其中,ec为字向量的查找表,ci为字xi对应的id。
4.根据权利要求2所述的融合...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。