文本分析方法、装置、电子设备以及存储介质制造方法及图纸

技术编号:34902498 阅读:16 留言:0更新日期:2022-09-10 14:10
本公开提供了文本分析方法、装置、电子设备、存储介质以及程序产品,涉及人工智能技术领域,尤其涉及深度学习技术领域和自然语言处理技术领域。具体实现方案为:对待分析文本进行句法分析,得到待分析文本的句法树;基于句法树,确定待分析文本的语法分析结果;对待分析文本进行纠错分析,得到待分析文本的纠错结果;以及基于语法分析结果和纠错结果,确定目标分析结果。标分析结果。标分析结果。

【技术实现步骤摘要】
文本分析方法、装置、电子设备以及存储介质


[0001]本公开涉及人工智能
,尤其涉及深度学习
和自然语言处理
,具体涉及文本分析方法、装置、电子设备、存储介质以及程序产品。

技术介绍

[0002]随着人工智能的兴起,自然语言处理技术成为人工智能领域的一个重要分支。自然语言处理技术的基本任务可以包括:句法分析、语义分析和表达正误分析等。自然语言处理技术应用广泛,例如,可以应用于人机交互场景,也可以应用于文本翻译场景,还可以应用于搜索场景。

技术实现思路

[0003]本公开提供了一种文本分析方法、装置、电子设备、存储介质以及程序产品。
[0004]根据本公开的一方面,提供了一种文本分析方法,包括:对待分析文本进行句法分析,得到上述待分析文本的句法树;基于上述句法树,确定上述待分析文本的语法分析结果;对上述待分析文本进行纠错分析,得到上述待分析文本的纠错结果;以及基于上述语法分析结果和上述纠错结果,确定目标分析结果。
[0005]根据本公开的另一方面,提供了一种文本分析装置,包括:第一分析模块,用于对待分析文本进行句法分析,得到上述待分析文本的句法树;第一确定模块,用于基于上述句法树,确定上述待分析文本的语法分析结果;第二分析模块,用于对上述待分析文本进行纠错分析,得到上述待分析文本的纠错结果;以及第二确定模块,用于基于上述语法分析结果和上述纠错结果,确定目标分析结果。
[0006]根据本公开的另一方面,提供了一种电子设备,包括:至少一个处理器;以及与上述至少一个处理器通信连接的存储器;其中,上述存储器存储有可被上述至少一个处理器执行的指令,上述指令被上述至少一个处理器执行,以使上述至少一个处理器能够执行如本公开的方法。
[0007]根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,上述计算机指令用于使上述计算机执行如本公开的方法。
[0008]根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序,上述计算机程序在被处理器执行时实现如本公开的方法。
[0009]应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0010]附图用于更好地理解本方案,不构成对本公开的限定。其中:
[0011]图1示意性示出了根据本公开实施例的可以应用文本分析方法及装置的示例性系统架构;
[0012]图2示意性示出了根据本公开实施例的文本分析方法的流程图;
[0013]图3示意性示出了根据本公开实施例的句法分析模型的结构图;
[0014]图4示意性示出了根据本公开实施例的句法树的示意图;
[0015]图5示意性示出了根据本公开实施例的纠错分析的流程图;
[0016]图6示意性示出了根据本公开实施例的文本分析方法的应用示意图;
[0017]图7示意性示出了根据本公开实施例的文本分析装置的框图;以及
[0018]图8示意性示出了根据本公开实施例的适于实现文本分析方法的电子设备的框图。
具体实施方式
[0019]以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
[0020]本公开提供一种文本分析方法、装置、电子设备、存储介质以及程序产品。
[0021]根据本公开的实施例,文本分析方法包括:对待分析文本进行句法分析,得到待分析文本的句法树;基于句法树,确定待分析文本的语法分析结果;对待分析文本进行纠错分析,得到待分析文本的纠错结果;以及基于语法分析结果和纠错结果,确定目标分析结果。
[0022]在本公开的技术方案中,所涉及的用户个人信息的收集、存储、使用、加工、传输、提供、公开和应用等处理,均符合相关法律法规的规定,采取了必要保密措施,且不违背公序良俗。
[0023]在本公开的技术方案中,在获取或采集用户个人信息之前,均获取了用户的授权或同意。
[0024]图1示意性示出了根据本公开实施例的可以应用文本分析方法及装置的示例性系统架构。
[0025]需要注意的是,图1所示仅为可以应用本公开实施例的系统架构的示例,以帮助本领域技术人员理解本公开的
技术实现思路
,但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。例如,在另一实施例中,可以应用文本分析方法及装置的示例性系统架构可以包括终端设备,但终端设备可以无需与服务器进行交互,即可实现本公开实施例提供的文本分析方法及装置。
[0026]如图1所示,根据该实施例的系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线和/或无线通信链路等等。
[0027]用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如知识阅读类应用、网页浏览器应用、搜索类应用、翻译类应用、句子分析类应用、即时通信工具、邮箱客户端和/或社交平台软件等(仅为示例)。
[0028]终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机、电子笔等等。
[0029]服务器105可以是提供各种服务的服务器,例如对用户利用终端设备101、102、103所浏览的内容提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等文本进行分析等处理,并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备,在终端设备上高亮显示。
[0030]需要说明的是,本公开实施例所提供的文本分析方法一般可以由终端设备101、102、或103执行。相应地,本公开实施例所提供的文本分析装置也可以设置于终端设备101、102、或103中。
[0031]或者,本公开实施例所提供的文本分析方法一般也可以由服务器105执行。相应地,本公开实施例所提供的文本分析装置一般可以设置于服务器105中。本公开实施例所提供的文本分析方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地,本公开实施例所提供的文本分析装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。
[0032]例如,用户通过终端设备101、102、103可以采集待分析文本的相关图像,然本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种文本分析方法,包括:对待分析文本进行句法分析,得到所述待分析文本的句法树;基于所述句法树,确定所述待分析文本的语法分析结果;对所述待分析文本进行纠错分析,得到所述待分析文本的纠错结果;以及基于所述语法分析结果和所述纠错结果,确定目标分析结果。2.根据权利要求1所述的方法,其中,所述句法树包括多个节点和多个依存边,所述节点用于表征所述待分析文本中的字节信息,所述依存边用于表征两个所述节点之间的依存关系;所述基于所述句法树,确定所述待分析文本的语法分析结果,包括:从所述多个依存边中确定符合目标依存关系的目标依存边;基于所述目标依存边,从所述多个节点中确定用于表征预定词性的第一目标节点;以及基于所述第一目标节点,确定所述待分析文本的语法分析结果。3.根据权利要求2所述的方法,其中,所述语法分析结果包括以下至少一项:时态结果、语态结果、语句类型结果;所述第一目标节点为用于表征谓语词性的节点;所述基于所述第一目标节点,确定所述待分析文本的语法分析结果,包括:基于所述第一目标节点,确定所述第一目标节点的词尾形式;在确定所述第一目标节点的词尾形式与预定词尾形式相符的情况下,从多个第二节点中确定与所述第一目标节点相关的第二目标节点,其中,所述多个第二节点包括所述多个节点中除所述第一目标节点外的节点;以及基于所述第二目标节点和所述第一目标节点,确定所述待分析文本的语法分析结果。4.根据权利要求1所述的方法,其中,所述语法分析结果包括句式分析结果;所述基于所述句法树,确定所述待分析文本的语法分析结果,包括:基于所述句法树中的多个节点,从所述多个节点中确定用于表征引导词的第三目标节点;基于所述第三目标节点,从所述待分析文本中确定与所述第三目标节点相关联的目标语句;以及基于所述第三目标节点和所述目标语句,确定所述语法分析结果。5.根据权利要求4所述的方法,其中,所述语法分析结果包括句式类别结果;所述基于所述句法树,确定所述待分析文本的语法分析结果,还包括:在确定所述待分析文本中存在所述目标语句的情况下,对所述待分析文本进行从句类别识别处理,得到关于所述目标语句的句式类别结果的所述语法分析结果。6.根据权利要求2所述的方法,其中,所述基于所述目标依存边,从所述多个节点中确定用于表征预定词性的第一目标节点,包括:基于所述目标依存边,从所述多个节点中确定用于表征预定词性的多个初始第一目标节点;针对所述多个初始第一目标节点中的每个初始第一目标节点,确定所述初始第一目标节点与相邻节点之间的语法关系,得到多个语法关系,其中,所述相邻节点为与所述初始第一目标节点相邻的节点;以及
基于所述多个语法关系,从所述多个初始第一目标节点中确定所述第一目标节点。7.根据权利要求1至6中任一项所述的方法,其中,所述对所述待分析文本进行纠错分析,得到所述待分析文本的纠错结果,包括:对所述待分析文本进行识别,得到纠错识别结果;在基于所述纠错识别结果,确定所述待分析文本中存在错误字节的情况下,基于所述纠错识别结果,将所述错误字节进行更正,得到与所述错误字节相对应的正确字节;以及基于所述正确字节和所述纠错识别结果,确定所述纠错结果。8.根据权利要求7所述的方法,其中,所述基于所述语法分析结果和所述纠错识别结果,确定目标分析结果,包括:在基于所述纠错识别结果,确定所述待分析文本中存在错误字节的情况下,基于所述纠错识别结果,将所述错误字节进行更正,得到与所述错误字节相对应的正确字节;利用所述正确字节,对所述语法分析结果进行更新,得到更新后的语法分析结果;以及基于所述更新后的语法分析结果、所述正确字节和所述纠错识别结果,确定所述目标分析结果。9.根据权利要求1所述的方法,其中,所述对待分析文本进行句法分析,得到所述待分析文本的句法树,包括:对所述待分析文本进行处理,得到关于所述待分析文本的第一矩阵和第二矩阵,其中,所述第一矩阵用于表征多个节点彼此之间是否存在依存关系,所述第二矩阵用于表征所述多个节点彼此之间的依存关系类别;以及对所述第一矩阵和所述第二矩阵进行句法解析,得到所述句法树。10.根据权利要求1所述的方法,还包括:对接收到的图像进行目标识别,得到所述待分析文本;在显示界面显示所述待分析文本;以及响应于用于对待分析文本进行分析的请求,在所述显示界面上显示所述目标分析结果。11.一种文本分析装置,包括:第一分析模块,用于对待分析文本进行句法分析,得到所述待分析文本的句法树;第一确定模块,用于基于所述句法树,确定所述待分析文本的语法分析结果;第二分析模块,用于对所述待分析文本进行纠错分析,得到所述待分析文本的纠错结果;以及第二确定模块,用于基于所述语法分析结果和所述纠错结果,确定目标分析结果。12.根据权利要求11所述的装置...

【专利技术属性】
技术研发人员:雷海东张帅陈益赵娜张蕾杨娜万星王丽杰徐梓翔刘继强
申请(专利权)人:北京百度网讯科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1