一种自注意力命名实体识别方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种自注意力命名实体识别方法、装置、设备及存储介质，该方法包括：获取文本信息，将文本信息转换为词隐藏状态向量和句子级向量；将词隐藏状态向量输入至自注意力层，输出得到的新的词隐藏状态向量；基于新的词隐藏状态向量和句子级向量，进行命名实体识别得到实体识别结果。该方法实现提高实体识别结果的准确性。

【技术实现步骤摘要】
一种自注意力命名实体识别方法、装置、设备及存储介质
本专利技术涉及计算机
，特别是涉及一种自注意力命名实体识别方法、装置、设备及存储介质。
技术介绍
目前，智能机器人交互是实现城市智能化的一项重要工作。近年来，随着计算机集群计算能力的大幅度提升，人工智能算法研究和产业落地步入了发展快车道，而智能机器人交互作为人工智能重要分支——自然语言处理的一个重要应用，也逐渐成为学术界、工业界重点投入的研究热点和产品方向。无论在教育领域,金融领域,还是医疗领域都有着广泛的应用，通过使用智能机器人，可以提高效率，减少人力资源。智能机器人交互对社会经济效益和国家科技发展都具有重大意义。命名实体识别在智能机器人交互(对话)系统中，需要从用户的提问中准确的识别出各种实体的类型才能更好地回答用户，例如：“我想订一张后天从杭州到三亚的机票？”“从三亚飞杭州的机票多少钱？”，分别需要准确地识别出“后天”，“三亚”和“杭州”才能准确回答用户的问题。对话系统需要接收纯文本形式的自然语言，必需经过实体识别将无结构化的数据转化为结构化数据，才能进行后续的意图识别等步骤。现有技术中，命名实体识别方法先将原始文本转换为词向量，将词向量输入至人工神经网络中，再对人工神经网络输出的隐藏状态向量结果进行实体识别，得到命名实体识别结果。但是人工神经网络无法结合整个句子的全局信息，最后得到命令实体识别结果的准确性较低。因此，如何提高命令实体识别结果的准确性是亟待解决的问题。
技术实现思路
本专利技术的目的是提供一种自注意力命名实体识别方法、装置、设备及存储介质，以实现提高实体识别结果的准确性。为解决上述技术问题，本专利技术提供一种自注意力命名实体识别方法，包括：获取文本信息，将文本信息转换为词隐藏状态向量和句子级向量；将词隐藏状态向量输入至自注意力层，输出得到的新的词隐藏状态向量；基于新的词隐藏状态向量和句子级向量，进行命名实体识别得到实体识别结果。优选的，所述将文本信息转换为词隐藏状态向量和句子级向量，包括：将文本信息转换为词向量；利用词向量生成词隐藏状态向量和句子级向量。优选的，所述利用词向量生成词隐藏状态向量和句子级向量，包括：将词向量输入至第一人工神经网络，输出得到词隐藏状态向量和句子级向量。优选的，所述第一人工神经网络包括第一BiLSTM神经网络。优选的，所述基于新的词隐藏状态向量和句子级向量，进行命名实体识别得到实体识别结果，包括：将新的词隐藏状态向量和句子级向量进行拼接，得到拼接向量；将拼接向量输入至第二人工神经网络，输出得到最终隐藏状态向量；对最终隐藏状态向量进行命名实体识别，生成实体识别结果。优选的，所述对最终隐藏状态向量进行命名实体识别，生成实体识别结果，包括：将最终隐藏状态向量输入至条件随机场CRF，输出得到实体识别结果。优选的，所述第二人工神经网络包括第二BiLSTM神经网络。本专利技术还提供一种自注意力命名实体识别装置，包括：转换模块，用于获取文本信息，将文本信息转换为词隐藏状态向量和句子级向量；输入模块，用于将词隐藏状态向量输入至自注意力层，输出得到的新的词隐藏状态向量；识别模块，用于基于新的词隐藏状态向量和句子级向量，进行命名实体识别得到实体识别结果。本专利技术还提供一种自注意力命名实体识别设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如上任一项所述的自注意力命名实体识别方法的步骤。本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一项所述的自注意力命名实体识别方法的步骤。本专利技术所提供的一种自注意力命名实体识别方法、装置、设备及存储介质，获取文本信息，将文本信息转换为词隐藏状态向量和句子级向量；将词隐藏状态向量输入至自注意力层，输出得到的新的词隐藏状态向量；基于新的词隐藏状态向量和句子级向量，进行命名实体识别得到实体识别结果。可见，引入自注意力层，将词隐藏状态向量输入至自注意力层，输出得到的新的词隐藏状态向量，自注意力层能够增加捕获词之间关系的能力，得到的新的词隐藏状态向量会结合到整个句子的全局信息，最后得到的实体识别结果的准确性较高，实现提高实体识别结果的准确性。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本专利技术所提供的一种自注意力命名实体识别方法的流程图；图2为Attention机制的数据对组成示意图；图3为Muti-HeadAttention模型示意图；图4为基于句子语义与Self-Attention机制的NER模型示意图；图5为本专利技术所提供的一种自注意力命名实体识别装置结构示意图；图6为本专利技术所提供的一种自注意力命名实体识别设备结构示意图。具体实施方式本专利技术的核心是提供一种自注意力命名实体识别方法、装置、设备及存储介质，以实现提高实体识别结果的准确性。为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参考图1，图1为本专利技术所提供的一种自注意力命名实体识别方法的流程图，该方法包括以下步骤：S11：获取文本信息，将文本信息转换为词隐藏状态向量和句子级向量；S12：将词隐藏状态向量输入至自注意力层，输出得到的新的词隐藏状态向量；S13：基于新的词隐藏状态向量和句子级向量，进行命名实体识别得到实体识别结果。可见，该方法中引入自注意力层，将词隐藏状态向量输入至自注意力层，输出得到的新的词隐藏状态向量，自注意力层能够增加捕获词之间关系的能力，得到的新的词隐藏状态向量会结合到整个句子的全局信息，最后得到的实体识别结果的准确性较高，实现提高实体识别结果的准确性。基于上述方法，进一步的，所述将文本信息转换为词隐藏状态向量和句子级向量，包括以下步骤：S21：将文本信息转换为词向量；S22：利用词向量生成词隐藏状态向量和句子级向量。其中，通过词嵌入方式将文本信息转换为词向量。将每一个输入的词或字符映射到分布式表示空间，它是低维稠密的向量表示空间，能够捕捉单词的语义和句法特性。文本信息包括英文和中文，在英文命名实体识别任务上，词嵌入通常会由词级向量与字符级向量组成。不同的英文单词有表面或者形态的相似性，比如：具有本文档来自技高网...

【技术保护点】
1.一种自注意力命名实体识别方法，其特征在于，包括：/n获取文本信息，将文本信息转换为词隐藏状态向量和句子级向量；/n将词隐藏状态向量输入至自注意力层，输出得到的新的词隐藏状态向量；/n基于新的词隐藏状态向量和句子级向量，进行命名实体识别得到实体识别结果。/n

【技术特征摘要】
1.一种自注意力命名实体识别方法，其特征在于，包括：
获取文本信息，将文本信息转换为词隐藏状态向量和句子级向量；
将词隐藏状态向量输入至自注意力层，输出得到的新的词隐藏状态向量；
基于新的词隐藏状态向量和句子级向量，进行命名实体识别得到实体识别结果。


2.如权利要求1所述的方法，其特征在于，所述将文本信息转换为词隐藏状态向量和句子级向量，包括：
将文本信息转换为词向量；
利用词向量生成词隐藏状态向量和句子级向量。


3.如权利要求2所述的方法，其特征在于，所述利用词向量生成词隐藏状态向量和句子级向量，包括：
将词向量输入至第一人工神经网络，输出得到词隐藏状态向量和句子级向量。


4.如权利要求3所述的方法，其特征在于，所述第一人工神经网络包括第一BiLSTM神经网络。


5.如权利要求1所述的方法，其特征在于，所述基于新的词隐藏状态向量和句子级向量，进行命名实体识别得到实体识别结果，包括：
将新的词隐藏状态向量和句子级向量进行拼接，得到拼接向量；
将拼接向量输入至第二人工神经网络，输出得到最终隐藏状态向量；
对最终隐藏状态向量进行命名实体...

【专利技术属性】
技术研发人员：李净，
申请(专利权)人：北京慧闻科技集团有限公司，
类型：发明
国别省市：北京;11