System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于意图匹配的多方人机对话方法技术_技高网

基于意图匹配的多方人机对话方法技术

技术编号:40879264 阅读:2 留言:0更新日期:2024-04-08 16:49
本发明专利技术涉及基于意图匹配的多方人机对话方法,属于自然语言处理领域。该方法包括以下步骤:S1:利用预训练的BERT语言模型,提取对话文本的局部对话层意图嵌入表示;S2:通过图模型描述对话中实体间的关系,用对话实体嵌入的均值初始化会话嵌入,再经过L层图卷积学习,得到全局话语层意图表示;S3:在描述多方对话过程的图模型中,将边集初始化为邻接矩阵,通过2层图卷积学习基于说话人意图表示,得到说话人角色意图表示;S4:将全局话语层意图表示和说话人层意图表示进行图对比学习,优化对话意图表示,与基于三个不同水平的意图构建下一句回复预测任务相统一。本发明专利技术能更好地理解对话内在结构和意图,准确预测下一句回复。

【技术实现步骤摘要】

本专利技术属于人工智能和人机交互领域,涉及基于意图匹配的多方人机对话方法


技术介绍

1、在多方人机交互领域中,对话系统与人类进行自然的对话是一个具有挑战性的任务。由于其潜在的应用价值和研究意义,这个领域吸引了众多学者的关注。

2、现有的对话系统大多关注于两方之间的对话,即两方对话(two-partyconversations,tpcs)。然而,随着技术的发展和实际需求的增加,多方对话(multi-partyconversations,mpcs)开始受到研究人员的关注。在多方对话中,由于涉及的对话者数量增多,语境和上下文的理解变得更为复杂。每个语句都需要在特定的语境和上下文中进行解析,才能准确地理解其含义并作出合适的回应。因此,如何进行多方语义解析并生成高质量的回复成为了研究的重点。

3、为了解决这个问题,一些学者提出了分层循环编码器和解码器模型。这个模型被用来解析上下文,并尝试加入主题信息来生成与上下文相关的内容回复。然而,这个模型并没有考虑到多方对话的结构信息,仍然采用传统的序列结构进行建模。

4、为了更有效地利用多方对话的结构信息进行回复生成,一种基于图结构的神经网络(graph-structured neural network,gsn)模型被提出。这个模型可以处理多方参与者的对话信息流,从而产生更准确的回复。同时,也有研究提出了说话人感知上下文循环编码器和解码器模型。这个模型通过三种角色(说话人,说话对象,旁观者)的门控循环单元来更新说话人的向量,从而生成与说话人和说话对象相关的回复

5、多方对话中的语篇解析是对话系统中的一项基本任务,它涉及到基本语篇单位之间的关系识别,基本语篇单位是对话中的一个话语。尽管已经有人提出了一些方法来增强话语中的语境信息,但其中检测那些只有少数共同词汇的相关话语仍是一个难题。


技术实现思路

1、有鉴于此,本专利技术的目的在于提供基于意图匹配的多方人机对话方法,解决多方对话中的语篇解析问题,使对话系统能够更好地理解和解析在多方对话中的语境和上下文信息,从而更准确地生成回复。

2、为达到上述目的,本专利技术提供如下技术方案:

3、基于意图匹配的多方人机对话方法,该方法包括以下步骤:

4、s1:将当前对话文本输入到预训练的bert语言模型中,得到对话文本的局部对话层意图嵌入表示;

5、s2:在描述对话中各实体之间和话语之间关系的图模型中,用每个会话中的对话实体嵌入的均值来初始化会话嵌入,经过l层图卷积学习会话信息,得到全局话语层意图表示;

6、s3:在描述多方对话过程的图模型中,将边集初始化为邻接矩阵,经过l层图卷积学习基于说话人意图表示,将图卷积层数设置为2,得到说话人角色意图表示;

7、s4:将全局话语层意图表示和说话人层意图表示进行图对比学习,得到优化对话意图表示;在多图神经网络的会话编码模块中基于局部对话层意图嵌入表示、全局话语层意图表示、说话人层意图表示和当前对话的每个候选回复的向量表示,采用三个不同水平的意图来构建下一句回复预测任务,将所述得到的优化对话意图表示与构建的下一句回复预测任务进行统一,生成回复。

8、进一步的,所述s1中,对话文本的局部对话意图层嵌入表示,表示为:

9、θu=μi=bert(ui) (1)。

10、进一步的,所述s2中,描述对话中各实体之间和话语之间关系的图模型,表示为:

11、ge=(ve,ee) (2)

12、其中,ve为节点集,表示所有会话的集合;ee为边集,刻画两会话间存在共同对话实体的关系,设定为加权无向边结构,边的权值通过两个会话共同对话实体数量除以两个会话总对话实体数量得到。

13、进一步的,所述s2中,在描述对话中各实体之间和话语之间关系的图模型中,用每个会话中的对话实体嵌入的均值来初始化会话嵌入,经过l层图卷积学习会话信息,得到全局话语层意图表示,具体为:

14、通过每个会话中的对话实体嵌入的均值来初始化会话嵌入,记为s0,经过l层图卷积学习会话信息,得到全局话语层意图表示:

15、

16、

17、其中,i为单位矩阵,ae、分别表示对话级意图子图的邻接矩阵和度矩阵,dl和表示第l层的对话嵌入和参数矩阵;通过对每层学习到的对话层意图表示求平均值,得到最终的全局话语层意图表示θd。

18、进一步的,所述s3中,描述多方对话过程的图模型,表示为:

19、gs=(vs,es) (5)

20、其中,vs为顶点集,es为边集;

21、在描述多方对话过程的图模型中,节点包括话语节点和人物角色节点,话语节点以话语的嵌入表示来表征,说话人角色节点表征通过说话人的历史话语嵌入的平均值来实现,第k个说话人表示为:

22、

23、其中,μk,1,μk,2,…,μk,n=bert(uk,1,uk,2,…,uk,n)表示第k个说话人历史话语嵌入表示,n表示话语的个数;

24、将对话中的话语和人物角色连接起来表示一个顶点vi∈vs,每个顶点vi用相应的顺序编码特征向量:

25、h={hu1,hu2,...,hum,hp1,hp2,…,hpk} (7)

26、在话语与说话人角色之间,构建三种边关系,即:

27、边关系1:两个相邻话语之间存在一条边,从更久远的话语指向更近的话语,用边关系1来表征时间关系;

28、边关系2:说话人角色节点与该说话人话语之间存在一条边;

29、边关系3:同一说话人的话语之间存在一条边。

30、进一步的,所述s3中,将边集初始化为邻接矩阵,经过l层图卷积学习基于说话人意图表示,将图卷积层数设置为2,得到说话人角色意图表示,具体为:

31、将边集初始化为邻接矩阵,标记为a,经过l层图卷积学习基于说话人意图表示:

32、

33、其中,i为单位矩阵,a、分别表示对话级意图子图的邻接矩阵和度矩阵,hl和wl表示第l层的说话人意图嵌入和参数矩阵,σ(·)为激活函数,将图卷积层的层数设置为2,得到每个节点有效地聚合相邻节点的信息,话语节点聚集对应说话人的人物角色信息,最终得到说话人角色意图表示θs。

34、进一步的,所述s4中,将全局话语层意图表示和说话人层意图表示进行图对比学习,得到优化对话意图表示,具体为:

35、在说话人角色层意图视角下给定会话ui,使用全局话语层意图表示来预测其下一句回复:

36、scored=yθd (9)

37、yd=softmax(scored) (10)

38、其中,yd表示对于会话ui候选回复被机器人选择的预测概率,根据该概率值选择最高的前k个候选回复作为正样本

39、负样本的提取,采用在分值排名前20%的候选回复中除本文档来自技高网...

【技术保护点】

1.基于意图匹配的多方人机对话方法,其特征在于:该方法包括以下步骤:

2.根据权利要求1所述的基于意图匹配的多方人机对话方法,其特征在于:所述S1中,

3.根据权利要求2所述的基于意图匹配的多方人机对话方法,其特征在于:所述S2中,描述对话中各实体之间和话语之间关系的图模型,表示为:

4.根据权利要求3所述的基于意图匹配的多方人机对话方法,其特征在于:所述S2中,在描述对话中各实体之间和话语之间关系的图模型中,用每个会话中的对话实体嵌入的均值来初始化会话嵌入,经过L层图卷积学习会话信息,得到全局话语层意图表示,具体为:

5.根据权利要求4所述的基于意图匹配的多方人机对话方法,其特征在于:所述S3中,描述多方对话过程的图模型,表示为:

6.根据权利要求5所述的基于意图匹配的多方人机对话方法,其特征在于:所述S3中,将边集初始化为邻接矩阵,经过L层图卷积学习基于说话人意图表示,将图卷积层数设置为2,得到说话人角色意图表示,具体为:

7.根据权利要求6所述的基于意图匹配的多方人机对话方法,其特征在于:所述S4中,将全局话语层意图表示和说话人层意图表示进行图对比学习,得到优化对话意图表示,具体为:

8.根据权利要求7所述的基于意图匹配的多方人机对话方法,其特征在于:所述S4中,采用三个不同水平的意图来构建下一句回复预测任务,将所述得到的优化对话意图表示与构建的下一句回复预测任务进行统一,生成回复,具体为:对于给定对话ui,经过不同意图水平会话表示学习到的局部对话层意图表示θu,全局话语层意图表示θd和说话人层意图表示θs以及当前对话的每个候选回复的向量表示y来计算匹配得分:

...

【技术特征摘要】

1.基于意图匹配的多方人机对话方法,其特征在于:该方法包括以下步骤:

2.根据权利要求1所述的基于意图匹配的多方人机对话方法,其特征在于:所述s1中,

3.根据权利要求2所述的基于意图匹配的多方人机对话方法,其特征在于:所述s2中,描述对话中各实体之间和话语之间关系的图模型,表示为:

4.根据权利要求3所述的基于意图匹配的多方人机对话方法,其特征在于:所述s2中,在描述对话中各实体之间和话语之间关系的图模型中,用每个会话中的对话实体嵌入的均值来初始化会话嵌入,经过l层图卷积学习会话信息,得到全局话语层意图表示,具体为:

5.根据权利要求4所述的基于意图匹配的多方人机对话方法,其特征在于:所述s3中,描述多方对话过程的图模型,表示为:

6.根据权利要求5所述的基于意图匹...

【专利技术属性】
技术研发人员:胡敏陈欣瑞黄宏程
申请(专利权)人:重庆邮电大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1