文本处理方法、装置以及电子设备制造方法及图纸

技术编号:26763925 阅读:13 留言:0更新日期:2020-12-18 23:31
本申请实施例公开了一种文本处理方法、装置以及电子设备。属于计算机技术领域。该方法包括:获取扩展文本,扩展文本包括初始文本以及拼接在初始文本的指定位置的指定字符;获取对扩展文本中的目标字符进行类型标注的标注结果,其中,指定字符对应的标注内容为初始文本的标签类型,初始文本对应的标注内容为初始文本中每个字符各自的实体类型;将扩展文本以及标注结果输入到第一网络模型中对第一网络模型的网络参数进行更新,得到第二网络模型;基于第二网络模型对待识别文本中的实体内容进行识别。从而使得第二网络模型能够更加准确的对待识别文本中的实体内容进行识别,提升了实体内容进行识别的准确性。

【技术实现步骤摘要】
文本处理方法、装置以及电子设备
本申请涉及计算机
,更具体地,涉及一种文本处理方法、装置以及电子设备。
技术介绍
命名实体识别(NamedEntityRecognition,NER)是自然语言处理中比较基础也比较通用的技术方向,在文本分析、数据挖掘、关键词提取、机器翻译、语义理解等领域都需要实体识别技术的支撑。但是,相关的命名实体识别方式还存在识别准确性有待提升的问题。
技术实现思路
鉴于上述问题,本申请提出了一种文本处理方法、装置以及电子设备,以改善上述问题。第一方面,本申请提供了一种文本处理方法,应用于电子设备,所述方法包括:获取扩展文本,所述扩展文本包括初始文本以及拼接在所述初始文本的指定位置的指定字符;获取对所述扩展文本中的目标字符进行类型标注的标注结果,所述目标字符包括所述指定字符以及至少部分所述初始文本,其中,所述指定字符对应的标注内容为所述初始文本的标签类型,至少部分所述初始文本对应的标注内容为至少部分所述初始文本中每个字符各自的实体类型;将所述扩展文本以及所述标注结果输入到第一网络模型中对所述第一网络模型的网络参数进行更新,得到第二网络模型,其中,所述第一网络模型包括双向长期短期记忆层以及条件随机场层;基于所述第二网络模型对待识别文本中的实体内容进行识别。第二方面,本申请提供了一种文本处理方法,应用于电子设备,所述方法包括:获取待识别文本;将所述待识别文本输入到基于前述的方法得到的第二网络模型中,得到所述第二网络模型输出的实体识别结果;执行与所述实体识别结果对应的操作。第三方面,本申请提供了一种文本处理装置,运行于电子设备,所述装置包括:扩展文本获取单元,用于获取扩展文本,所述扩展文本包括初始文本以及拼接在所述初始文本的指定位置的指定字符;标注结果获取单元,用于获取对所述扩展文本中的目标字符进行类型标注的标注结果,所述目标字符包括所述指定字符以及至少部分所述初始文本,其中,所述指定字符对应的标注内容为所述初始文本的标签类型,至少部分所述初始文本对应的标注内容为至少部分所述初始文本中每个字符各自的实体类型;参数更新单元,用于将所述扩展文本以及所述标注结果输入到第一网络模型中对所述第一网络模型的网络参数进行更新,得到第二网络模型,其中,所述第一网络模型包括双向长期短期记忆层以及条件随机场层;文本处理单元,用于基于所述第二网络模型对待识别文本中的实体内容进行识别。第四方面,本申请提供了一种文本处理装置,运行于电子设备,所述装置包括:待识别文本获取单元,用于获取待识别文本;实体识别单元,用于将所述待识别文本输入到基于上述方法得到的第二网络模型中,得到所述第二网络模型输出的实体识别结果。第五方面,本申请提供了一种电子设备,所述电子设备至少包括处理器、以及存储器;一个或多个程序被存储在所述存储器中并被配置为由所述处理器执行以实现上述方法。第六方面,本申请提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有程序代码,其中,在所述程序代码被处理器运行时执行上述方法。本申请提供的一种文本处理方法、装置以及电子设备,获取包括初始文本以及拼接在所述初始文本的指定位置的指定字符的扩展文本后,再获取对所述扩展文本中的目标字符进行类型标注的标注结果。并且,其中,所述指定字符对应的标注内容为所述初始文本的标签类型,至少部分所述初始文本对应的标注内容为至少部分所述初始文本中每个字符各自的实体类型。然后,在第一网络模型包括双向长期短期记忆层以及条件随机场层的情况下,再将所述扩展文本以及所述标注结果输入到第一网络模型中对所述第一网络模型的网络参数进行更新,进而得到用于对待识别文本中的实体内容进行识别的第二网络模型。从而通过上述方式,获取用于对第一网络模型进行参数更新的文本时,在初始文本的指定位置拼接有指定字符的方式,使得在对第一网络模型中的双向长期短期记忆层的参数进行更新时提供了更多的信息,并且因为该拼接有该指定字符对应标注有初始文本的标签类型,从而使得条件随机场层中可以包括有更多的约束条件,进而使得进行参数更新得到的第二网络模型能够更加准确的对待识别文本中的实体内容进行识别,提升了实体内容进行识别的准确性。附图说明为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。图1示出了本申请一实施例提出的一种文本处理方法的流程图;图2示出了本申请实施例转移矩阵中的结构维度的示意图;图3示出了本申请另一实施例提出的一种文本处理方法的流程图;图4示出了本申请实施例中一种转移矩阵的示意图;图5示出对图4所示的转移矩阵进行结构维度更新后的一种转移矩阵的示意图;图6示出对图5所示的结构维度更新后的转移矩阵中新增元素的示意图;图7示出了本申请再一实施例提出的一种文本处理方法的流程图;图8示出了本申请再一实施例提出的一种文本处理方法的流程图;图9示出了本申请实施例提出的一种文本处理装置的结构框图;图10示出了本申请另一实施例提出的一种文本处理装置的结构框图;图11示出了本申请再一实施例提出的一种文本处理装置的结构框图;图12示出了本申请的用于执行根据本申请实施例的文本处理方法的另一种电子设备的结构框图;图13是本申请实施例的用于保存或者携带实现根据本申请实施例的文本处理方法的程序代码的存储单元。具体实施方式下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。人工智能(ArtificialIntelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。人工智能可以理解为是计算机科学的一个综合技术。其中,随着人工智能技术中的文本处理技术的发展,出现了许多的涉及基于文本处理技术以及自然语言处理技术进行文本识别的场景。例如,命名实体识别(下文也简称实体识别)场景,命名实体识别是自然语言处理中比较基础也比较通用的技术方向,在文本分析、数据挖掘、关键词提取、机器翻译、语义理解等领域都需要实体识别技术的支撑。但是,专利技术人在对相关的命名实体识别进行研究后发现,相关的命名实体识别方式还存在识别准确性有待提升的问题。具体的,专利技术人发现相关的命名实体识别方式中会出现本身是合法但是确不正确的识别结果。例如,对于“播放刘德华的歌”这个文本中,实际要表达的含义是播放歌手刘德华的歌,即其中的刘德华的实体类型为歌手,但是在进行实体识别的过程中可能会将“播放刘德华的歌”中本文档来自技高网...

【技术保护点】
1.一种文本处理方法,其特征在于,应用于电子设备,所述方法包括:/n获取扩展文本,所述扩展文本包括初始文本以及拼接在所述初始文本的指定位置的指定字符;/n获取对所述扩展文本中的目标字符进行类型标注的标注结果,所述目标字符包括所述指定字符以及至少部分所述初始文本,其中,所述指定字符对应的标注内容为所述初始文本的标签类型,至少部分所述初始文本对应的标注内容为至少部分所述初始文本中每个字符各自的实体类型;/n将所述扩展文本以及所述标注结果输入到第一网络模型中对所述第一网络模型的网络参数进行更新,得到第二网络模型,其中,所述第一网络模型包括双向长期短期记忆层以及条件随机场层;/n基于所述第二网络模型对待识别文本中的实体内容进行识别。/n

【技术特征摘要】
1.一种文本处理方法,其特征在于,应用于电子设备,所述方法包括:
获取扩展文本,所述扩展文本包括初始文本以及拼接在所述初始文本的指定位置的指定字符;
获取对所述扩展文本中的目标字符进行类型标注的标注结果,所述目标字符包括所述指定字符以及至少部分所述初始文本,其中,所述指定字符对应的标注内容为所述初始文本的标签类型,至少部分所述初始文本对应的标注内容为至少部分所述初始文本中每个字符各自的实体类型;
将所述扩展文本以及所述标注结果输入到第一网络模型中对所述第一网络模型的网络参数进行更新,得到第二网络模型,其中,所述第一网络模型包括双向长期短期记忆层以及条件随机场层;
基于所述第二网络模型对待识别文本中的实体内容进行识别。


2.根据权利要求1所述的方法,其特征在于,所述将所述扩展文本以及所述标注结果输入到第一网络模型中对所述第一网络模型的网络参数进行更新,得到第二网络模型,包括:
将所述扩展文本输入到所述双向长期短期记忆层中,并将所述双向长期短期记忆层的输出数据输入到非线性层,得到所述非线性层输出的发射概率;
基于所述标注结果更新所述条件随机场层中转移矩阵的结构维度;
基于条件随机方式得到结构维度更新后的所述转移矩阵中的新增加元素的值,以得到更新后的转移矩阵,所述新增加元素的值表征所述新增加元素对应的结构维度之间的转移概率;
基于所述非线性层输出的发射概率以及所述更新后的转移矩阵,对所述双向长期短期记忆层的网络参数以及所述更新后的转移矩阵中的转移概率进行更新,得到第二网络模型。


3.根据权利要求2所述的方法,其特征在于,所述基于所述非线性层输出的发射概率以及所述更新后的转移矩阵,对所述双向长期短期记忆层的网络参数以及所述更新后的转移矩阵中的转移概率进行更新,得到第二网络模型,包括:
基于所述非线性层输出的发射概率以及所述更新后的转移矩阵,得到所述初始文本中每个字符对应的实体识别结果;
将所述实体识别结果与所述标注结果进行比对,根据比对结果对所述双向长期短期记忆层的网络参数以及所述更新后的转移矩阵中的转移概率进行更新,得到第二网络模型。


4.根据权利要求1-3任一所述的方法,其特征在于,所述获取扩展文本之前还包括:
获取初始文本;
获取初始文本的指定位置以及指定字符;
将所述指定字符拼接到所述初始文本的指定位置得到扩展文本,并将所述扩展文本存储到指定存储区域;
所述获取扩展文本,包括:

【专利技术属性】
技术研发人员:郭子亮
申请(专利权)人:深圳市欢太科技有限公司OPPO广东移动通信有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1