文本处理方法、装置、设备及存储介质制造方法及图纸

技术编号:25890862 阅读:21 留言:0更新日期:2020-10-09 23:32
本申请公开了文本处理方法、装置、设备及存储介质。方法包括:获取目标文本,目标文本包括至少三个语句;基于至少三个语句,构建目标文本对应的语句关联关系,语句关联关系包括相邻的两个语句之间的关联关系和非相邻的两个语句之间的关联关系;获取任一语句的初始基础语句特征;基于至少三个语句的初始基础语句特征和目标文本对应的语句关联关系,获取目标文本的目标文本特征,对目标文本特征进行处理。在基于语句关联关系获取目标文本特征的过程中,不仅关注语句之间的短距离依赖关系,还关注语句之间的长距离依赖关系,使得目标文本特征能够更加全面地代表目标文本,获取的目标文本特征的质量较好,对目标文本特征进行处理的效果较佳。

【技术实现步骤摘要】
文本处理方法、装置、设备及存储介质
本申请实施例涉及计算机
,特别涉及一种文本处理方法、装置、设备及存储介质。
技术介绍
随着计算机技术的快速发展,海量的文本不断产生和传播,这些文本通常都是由多个简短的语句构成的。利用计算机对文本进行合理地处理后,能够将文本应用于自然语言处理与理解、内容信息过滤和舆情管理等多个领域。在利用计算机处理文本的过程中,需要先将文本转换成计算机可以理解的形式(如,文本特征),然后由计算机对转换成的文本特征进行处理,如,对文本特征进行文本分类处理、对文本特征进行文本生成处理等。相关技术中,将各个语句按照在文本中的排列顺序进行递归计算,直至完成最后一个语句的计算,得到文本特征,进而对文本特征进行处理。在此种过程中,各个语句在文本中的排列顺序仅能反映语句之间的短距离依赖关系,使得文本特征的获取过程仅关注语句的短距离依赖关系,获取的文本特征的质量不佳,对获取的文本特征进行处理的效果较差。
技术实现思路
本申请实施例提供了一种文本处理方法、装置、设备及存储介质,可用于提高对文本特征进行处理的效果。所述技术方案如下:一方面,本申请实施例提供了一种文本处理方法,所述方法包括:获取待处理的目标文本,所述目标文本包括至少三个语句,任一语句包括至少一个词语;基于所述至少三个语句,构建所述目标文本对应的语句关联关系,所述语句关联关系包括相邻的两个语句之间的关联关系和非相邻的两个语句之间的关联关系;对于所述至少三个语句中的任一语句,基于所述任一语句中的至少一个词语的初始词语特征,获取所述任一语句的初始基础语句特征;基于所述至少三个语句的初始基础语句特征和所述目标文本对应的语句关联关系,获取所述目标文本的目标文本特征,对所述目标文本特征进行处理。另一方面,提供了一种文本处理装置,所述装置包括:第一获取单元,用于获取待处理的目标文本,所述目标文本包括至少三个语句,任一语句包括至少一个词语;构建单元,用于基于所述至少三个语句,构建所述目标文本对应的语句关联关系,所述语句关联关系包括相邻的两个语句之间的关联关系和非相邻的两个语句之间的关联关系;第二获取单元,用于对于所述至少三个语句中的任一语句,基于所述任一语句中的至少一个词语的初始词语特征,获取所述任一语句的初始基础语句特征;第三获取单元,用于基于所述至少三个语句的初始基础语句特征和所述目标文本对应的语句关联关系,获取所述目标文本的目标文本特征;处理单元,用于对所述目标文本特征进行处理。在一种可能实现方式中,所述第三获取单元,用于对于所述至少三个语句中的任一语句,基于所述任一语句的初始基础语句特征和所述任一语句中的各个词语的初始词语特征,获取所述任一语句的第一基础语句特征;对于所述任一语句中的任一词语,基于所述任一语句的初始增强语句特征、所述任一词语的初始词语特征和相关词语的初始词语特征,获取所述任一词语的第一词语特征,所述任一语句的初始增强语句特征为根据所述目标文本对应的语句关联关系对所述任一语句的初始基础语句特征进行更新后得到的,所述相关词语为所述任一语句中与所述任一词语满足相关条件的词语;基于所述至少三个语句的第一基础语句特征和所述目标文本对应的语句关联关系,获取所述至少三个语句的第一增强语句特征;基于所述至少三个语句的第一基础语句特征、所述至少三个语句中的各个词语的第一词语特征以及所述至少三个语句的第一增强语句特征,获取所述至少三个语句的目标增强语句特征;基于所述至少三个语句的目标增强语句特征,获取所述目标文本的目标文本特征。在一种可能实现方式中,所述第三获取单元,还用于将所述至少三个语句的目标增强语句特征根据所述至少三个语句在所述目标文本中的排列顺序进行拼接处理,得到所述目标文本的第一拼接文本特征;对所述第一拼接文本特征进行平均池化处理,得到所述目标文本的第一池化特征;对所述第一拼接文本特征进行最大池化处理,得到所述目标文本的第二池化特征;将所述第一池化特征和所述第二池化特征进行拼接处理,得到所述目标文本的目标文本特征。在一种可能实现方式中,所述第三获取单元,还用于对于所述至少三个语句中的任一语句,将所述任一语句中的各个词语的目标词语特征根据各个词语在所述任一语句中的排列顺序进行拼接处理,得到所述任一语句的拼接语句特征,所述任一语句中的各个词语的目标词语特征基于所述任一语句的第一基础语句特征、所述任一语句中的各个词语的第一词语特征以及所述任一语句的第一增强语句特征获得;对所述任一语句的拼接语句特征进行指定处理,得到所述任一语句的补充语句特征;基于所述任一语句的目标增强语句特征和所述任一语句的补充语句特征,确定所述任一语句的参考语句特征;基于所述至少三个语句的参考语句特征,获取所述目标文本的目标文本特征。在一种可能实现方式中,所述第三获取单元,还用于调用图循环网络模型对所述任一语句的初始基础语句特征和所述任一语句中的各个词语的初始词语特征进行处理,得到所述图循环网络模型输出的所述任一语句的第一基础语句特征;调用所述图循环网络模型对所述任一语句的初始增强语句特征、所述任一词语的初始词语特征和相关词语的初始词语特征进行处理,得到所述图循环网络模型输出的所述任一词语的第一词语特征;调用图卷积网络模型对所述图循环网络模型输出的所述至少三个语句的第一基础语句特征和所述目标文本对应的语句关联关系进行处理,得到所述图卷积网络模型输出的所述至少三个语句的第一增强语句特征;基于所述图循环网络模型输出的所述至少三个语句的第一基础语句特征、所述图循环网络模型输出的所述至少三个语句中的各个词语的第一词语特征以及所述图卷积网络模型输出的所述至少三个语句的第一增强语句特征,获取所述至少三个语句的目标增强语句特征。在一种可能实现方式中,所述第三获取单元,还用于调用所述图卷积网络模型基于所述目标文本对应的语句关联关系,获取所述目标文本对应的邻接矩阵和度矩阵;调用所述图卷积网络模型对所述邻接矩阵、所述度矩阵和所述至少三个语句的第一基础语句特征进行处理,得到所述图卷积网络模型输出的所述至少三个语句的第一增强语句特征。在一种可能实现方式中,所述构建单元,用于在所述至少三个语句中任选两个语句构成一个基础语句组;在基于所述至少三个语句构成的各个基础语句组中,获取目标语句组集合,所述目标语句组集合由第一语句组集合和第二语句组集合构成,所述第一语句组集合为由相邻的两个语句构成的基础语句组的集合,所述第二语句组集合为由非相邻且满足距离条件的两个语句构成的基础语句组的集合,所述满足距离条件包括在所述目标文本中所处位置之间间隔的语句的数量不大于数量阈值;对于所述目标语句组集合中的任一目标语句组,在所述任一目标语句组中的两个语句之间建立关联关系;将基于所述目标语句组集合中的各个目标语句组建立的关联关系作为所述目标文本对应的语句关联关系。在一种可能实现方式中,所述构建单元,用于在所述至少三个语句中任选两个语句构成一个基础语句组;对于基于所述至少三个语句构成的各个基础语本文档来自技高网...

【技术保护点】
1.一种文本处理方法,其特征在于,所述方法包括:/n获取待处理的目标文本,所述目标文本包括至少三个语句,任一语句包括至少一个词语;/n基于所述至少三个语句,构建所述目标文本对应的语句关联关系,所述语句关联关系包括相邻的两个语句之间的关联关系和非相邻的两个语句之间的关联关系;/n对于所述至少三个语句中的任一语句,基于所述任一语句中的至少一个词语的初始词语特征,获取所述任一语句的初始基础语句特征;/n基于所述至少三个语句的初始基础语句特征和所述目标文本对应的语句关联关系,获取所述目标文本的目标文本特征,对所述目标文本特征进行处理。/n

【技术特征摘要】
1.一种文本处理方法,其特征在于,所述方法包括:
获取待处理的目标文本,所述目标文本包括至少三个语句,任一语句包括至少一个词语;
基于所述至少三个语句,构建所述目标文本对应的语句关联关系,所述语句关联关系包括相邻的两个语句之间的关联关系和非相邻的两个语句之间的关联关系;
对于所述至少三个语句中的任一语句,基于所述任一语句中的至少一个词语的初始词语特征,获取所述任一语句的初始基础语句特征;
基于所述至少三个语句的初始基础语句特征和所述目标文本对应的语句关联关系,获取所述目标文本的目标文本特征,对所述目标文本特征进行处理。


2.根据权利要求1所述的方法,其特征在于,所述基于所述至少三个语句的初始基础语句特征和所述目标文本对应的语句关联关系,获取所述目标文本的目标文本特征,包括:
对于所述至少三个语句中的任一语句,基于所述任一语句的初始基础语句特征和所述任一语句中的各个词语的初始词语特征,获取所述任一语句的第一基础语句特征;
对于所述任一语句中的任一词语,基于所述任一语句的初始增强语句特征、所述任一词语的初始词语特征和相关词语的初始词语特征,获取所述任一词语的第一词语特征,所述任一语句的初始增强语句特征为根据所述目标文本对应的语句关联关系对所述任一语句的初始基础语句特征进行更新后得到的,所述相关词语为所述任一语句中与所述任一词语满足相关条件的词语;
基于所述至少三个语句的第一基础语句特征和所述目标文本对应的语句关联关系,获取所述至少三个语句的第一增强语句特征;
基于所述至少三个语句的第一基础语句特征、所述至少三个语句中的各个词语的第一词语特征以及所述至少三个语句的第一增强语句特征,获取所述至少三个语句的目标增强语句特征;
基于所述至少三个语句的目标增强语句特征,获取所述目标文本的目标文本特征。


3.根据权利要求2所述的方法,其特征在于,所述基于所述至少三个语句的目标增强语句特征,获取所述目标文本的目标文本特征,包括:
将所述至少三个语句的目标增强语句特征根据所述至少三个语句在所述目标文本中的排列顺序进行拼接处理,得到所述目标文本的第一拼接文本特征;
对所述第一拼接文本特征进行平均池化处理,得到所述目标文本的第一池化特征;对所述第一拼接文本特征进行最大池化处理,得到所述目标文本的第二池化特征;
将所述第一池化特征和所述第二池化特征进行拼接处理,得到所述目标文本的目标文本特征。


4.根据权利要求2所述的方法,其特征在于,所述基于所述至少三个语句的目标增强语句特征,获取所述目标文本的目标文本特征,包括:
对于所述至少三个语句中的任一语句,将所述任一语句中的各个词语的目标词语特征根据各个词语在所述任一语句中的排列顺序进行拼接处理,得到所述任一语句的拼接语句特征,所述任一语句中的各个词语的目标词语特征基于所述任一语句的第一基础语句特征、所述任一语句中的各个词语的第一词语特征以及所述任一语句的第一增强语句特征获得;
对所述任一语句的拼接语句特征进行指定处理,得到所述任一语句的补充语句特征;
基于所述任一语句的目标增强语句特征和所述任一语句的补充语句特征,确定所述任一语句的参考语句特征;
基于所述至少三个语句的参考语句特征,获取所述目标文本的目标文本特征。


5.根据权利要求2所述的方法,其特征在于,所述基于所述任一语句的初始基础语句特征和所述任一语句中的各个词语的初始词语特征,获取所述任一语句的第一基础语句特征,包括:
调用图循环网络模型对所述任一语句的初始基础语句特征和所述任一语句中的各个词语的初始词语特征进行处理,得到所述图循环网络模型输出的所述任一语句的第一基础语句特征;
所述基于所述任一语句的初始增强语句特征、所述任一词语的初始词语特征和相关词语的初始词语特征,获取所述任一词语的第一词语特征,包括:
调用所述图循环网络模型对所述任一语句的初始增强语句特征、所述任一词语的初始词语特征和相关词语的初始词语特征进行处理,得到所述图循环网络模型输出的所述任一词语的第一词语特征;
所述基于所述至少三个语句的第一基础语句特征和所述目标文本对应的语句关联关系,获取所述至少三个语句的第一增强语句特征,包括:
调用图卷积网络模型对所述图循环网络模型输出的所述至少三个语句的第一基础语句特征和所述目标文本对应的语句关联关系进行处理,得到所述图卷积网络模型输出的所述至少三个语句的第一增强语...

【专利技术属性】
技术研发人员:张映雪孟凡东李鹏周杰
申请(专利权)人:腾讯科技深圳有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1