System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 中文对话文本意图识别方法、装置、设备及存储介质制造方法及图纸_技高网

中文对话文本意图识别方法、装置、设备及存储介质制造方法及图纸

技术编号:40280660 阅读:6 留言:0更新日期:2024-02-07 20:35
本发明专利技术公开了一种中文对话文本意图识别方法、装置、设备及存储介质。该方法包括:获取中文对话文本,将中文对话文本输入ERNIE预训练模型,输出中文对话文本对应的语义增强表示;获取第一特征向量和第二特征向量;将第一特征向量和第二特征向量进行特征融合,获取目标融合向量;将目标融合向量输入胶囊网络进行意图识别,获取目标意图。该方法获取目标融合向量,融合特征提取网络和自注意力网络的特征提取优势,使获取的目标融合向量更精确;使用胶囊网络对目标融合向量进行意图识别,在中文对话文本为小样本时,具有较准确的意图识别结果,能提高意图识别的准确率。该方法应用在保险业务领域中,对中文对话文本进行意图识别时,具有较高的准确率。

【技术实现步骤摘要】

本专利技术涉及深度学习领域,尤其涉及一种中文对话文本意图识别方法、装置、设备及存储介质


技术介绍

1、近年来,随着深度学习的快速发展,人机对话系统越来越智能化。在保险业务领域中,为了准确地对用户进行服务指引,通常需要通过人机对话系统对用户进行意图识别,获取意图识别结果,便于根据意图识别结果,帮助用户进行对应的服务指引。现有技术中,通常将人机对话系统中的对话转录为文本,通过对文本进行意图分类,实现对人机对话系统中用户的意图识别。例如,现有技术中,在保险业务领域的人机对话系统中,获取对用户的对话转录后的文本:“我要为我的父母进行投保,你有什么推荐吗”,对该文本进行意图识别,获取“投保推荐”这一意图识别结果,便于在保险业务领域的实际操作中,对用户进行对应的保险业务推荐,帮助用户较为准确地进行与意图识别结果对应的服务指引。

2、但是,由于用户的对话语言通常比较口语化并且对话文本内容较少,仅仅通过现有技术对用户的对话文本进行意图识别,会使最终识别得到的意图识别结果具有较低的意图识别准确率。因此,如何提高对话文本意图识别的准确率是亟待解决的问题。


技术实现思路

1、本专利技术实施例提供一种中文对话文本意图识别方法、装置、设备及存储介质,以解决如何提高对话文本意图识别的准确率的问题。

2、一种中文对话文本意图识别方法,包括:

3、获取中文对话文本,将所述中文对话文本输入至ernie预训练模型中,输出所述中文对话文本对应的语义增强表示;

4、采用特征提取网络对所述语义增强表示进行特征提取,获取第一特征向量;

5、采用自注意力网络对所述语义增强表示进行特征提取,获取第二特征向量;

6、将所述第一特征向量和所述第二特征向量进行特征融合,获取目标融合向量;

7、将所述目标融合向量输入至胶囊网络进行意图识别,获取所述中文对话文本的目标意图。

8、优选地,所述采用特征提取网络对所述语义增强表示进行特征提取,获取第一特征向量,包括:

9、将所述语义增强表示输入至第一卷积层,获取第一卷积向量;

10、采用特征提取网络对所述第一卷积向量进行前向遍历和后向遍历,分别获取前向上下文信息和后向上下文信息;

11、对所述前向上下文信息和所述后向上下文信息进行拼接,获取第一特征向量。

12、优选地,所述采用自注意力网络对所述语义增强表示进行特征提取,获取第二特征向量,包括:

13、采用自注意力网络对所述语义增强表示进行识别,获取语义增强表示中,每一词向量对应的第一自注意力向量、第二自注意力向量和第三自注意力向量;

14、将每一所述词向量对应的所述第一自注意力向量输入至第二卷积层中,获取第一自注意力向量对应的第四自注意力向量;

15、将每一所述词向量对应的所述第二自注意力向量输入至第三卷积层中,获取第二自注意力向量对应的第五自注意力向量;

16、将每一词向量对应的所述第四自注意力向量和所有词向量对应的第五自注意力向量的点积,作为每一词向量与所有词向量之间的关联度,对所述关联度进行激活处理,获取每一词向量对应的权重值;

17、采用每一词向量对应的权重值对每一词向量对应的第三自注意力向量加权处理,获取第二特征向量。

18、优选地,所述将所述第一特征向量和第二特征向量进行特征融合,获取目标融合向量,包括:

19、采用第一权重对所述第一特征向量进行修正,获取第一目标向量;

20、采用第二权重对所述第二特征向量进行修正,获取第二目标向量;

21、将所述第一目标向量和所述第二目标向量的和值,作为目标融合向量。

22、优选地,所述将所述目标融合向量输入至胶囊网络进行意图识别,获取所述中文对话文本的目标意图,包括:

23、将所述目标融合向量分别输入至胶囊网络的每个初始化胶囊层,获取所述目标融合向量对应的初始胶囊向量;

24、对所述初始胶囊向量进行动态路由,获取目标胶囊向量;

25、计算所述目标胶囊向量与每一候选意图向量之间的意图相似度,将最大意图相似度对应的候选意图向量作为目标意图向量,将所述目标意图向量对应的意图,作为目标意图。

26、优选地,所述初始胶囊向量的数量为n,n≥2;

27、所述对所述初始胶囊向量进行动态路由,获取目标胶囊向量,包括:

28、获取每一初始胶囊向量对应的初始权重,根据n个所述初始胶囊向量及其对应的所述初始权重,获取第一中间向量;

29、分别计算n个初始胶囊向量与所述第一中间向量之间的向量相似度,将所述向量相似度确定为所述初始胶囊向量的目标权重,根据n个初始胶囊向量和n个所述目标权重,获取第二中间向量;

30、若所述第二中间向量为预设迭代次数中最后一次的迭代结果,则将所述第二中间向量确定为目标胶囊向量;

31、若所述第二中间向量不为预设迭代次数中最后一次的迭代结果,则将所述第二中间向量更新为第一中间向量,继续执行分别计算n个初始胶囊向量与所述第一中间向量之间的向量相似度。

32、优选地,所述根据n个所述初始胶囊向量及其对应的所述初始权重,获取第一中间向量,包括:

33、将每一所述初始胶囊向量及其对应的所述初始权重的乘积,确定为每一所述初始胶囊向量对应的第一初始向量;

34、将n个所述初始胶囊向量对应的第一初始向量之和,确定为第二初始向量;

35、采用squash压缩激活函数对所述第二初始向量进行压缩激活处理,获取第一中间向量。

36、一种中文对话文本意图识别装置,包括:

37、语义增强表示获取模块,用于获取中文对话文本,将所述中文对话文本输入至ernie预训练模型中,输出所述中文对话文本对应的语义增强表示;

38、第一特征向量获取模块,用于采用特征提取网络对所述语义增强表示进行特征提取,获取第一特征向量;

39、第二特征向量获取模块,用于采用自注意力网络对所述语义增强表示进行特征提取,获取第二特征向量;

40、目标融合向量获取模块,用于将所述第一特征向量和所述第二特征向量进行特征融合,获取目标融合向量;

41、目标意图获取模块,用于将所述目标融合向量输入至胶囊网络进行意图识别,获取所述中文对话文本的目标意图。

42、一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述中文对话文本意图识别方法。

43、一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述中文对话文本意图识别方法。

44、上述中文对话文本意图识别方法、装置、设备及存储介质,使用ernie预训练模型对中文对话文本进行语义信息提取,获取语义增强表示本文档来自技高网...

【技术保护点】

1.一种中文对话文本意图识别方法,其特征在于,包括:

2.如权利要求1所述的中文对话文本意图识别方法,其特征在于,所述采用特征提取网络对所述语义增强表示进行特征提取,获取第一特征向量,包括:

3.如权利要求1所述的中文对话文本意图识别方法,其特征在于,所述采用自注意力网络对所述语义增强表示进行特征提取,获取第二特征向量,包括:

4.如权利要求1所述的中文对话文本意图识别方法,其特征在于,所述将所述第一特征向量和第二特征向量进行特征融合,获取目标融合向量,包括:

5.如权利要求1所述的中文对话文本意图识别方法,其特征在于,所述将所述目标融合向量输入至胶囊网络进行意图识别,获取所述中文对话文本的目标意图,包括:

6.如权利要求5所述的中文对话文本意图识别方法,其特征在于,所述初始胶囊向量的数量为N,N≥2;

7.如权利要求6所述的中文对话文本意图识别方法,其特征在于,所述根据N个所述初始胶囊向量及其对应的所述初始权重,获取第一中间向量,包括:

8.一种中文对话文本意图识别装置,其特征在于,包括:>

9.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述中文对话文本意图识别方法。

10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述中文对话文本意图识别方法。

...

【技术特征摘要】

1.一种中文对话文本意图识别方法,其特征在于,包括:

2.如权利要求1所述的中文对话文本意图识别方法,其特征在于,所述采用特征提取网络对所述语义增强表示进行特征提取,获取第一特征向量,包括:

3.如权利要求1所述的中文对话文本意图识别方法,其特征在于,所述采用自注意力网络对所述语义增强表示进行特征提取,获取第二特征向量,包括:

4.如权利要求1所述的中文对话文本意图识别方法,其特征在于,所述将所述第一特征向量和第二特征向量进行特征融合,获取目标融合向量,包括:

5.如权利要求1所述的中文对话文本意图识别方法,其特征在于,所述将所述目标融合向量输入至胶囊网络进行意图识别,获取所述中文对话文本的目标意图,包括:

6.如权利要...

【专利技术属性】
技术研发人员:于凤英王健宗程宁
申请(专利权)人:平安创科科技北京有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1