用于实现人机对话的方法、装置、介质以及电子设备制造方法及图纸

公开了一种用于实现人机对话的方法、装置、介质以及电子设备。其中的方法包括：对对话方的当前时序的会话语句进行基于多头自注意力的语义特征提取处理，获得所述会话语句的语义特征向量；根据所述语义特征向量和所述当前时序的前一个时序的隐藏层状态信息，获取所述当前时序的隐藏层状态信息；根据所述当前时序的隐藏层状态信息，生成所述会话语句的对话状态信息。本公开提供的技术方案有利于提高人机对话的实时性，并有利于提高用户对人机对话的体验。

Methods, devices, media and electronic equipment for man-machine dialogue

【技术实现步骤摘要】
用于实现人机对话的方法、装置、介质以及电子设备
本公开涉及人机对话技术，尤其是一种用于实现人机对话的方法、用于实现人机对话的装置、存储介质以及电子设备。
技术介绍
任务型人机对话系统可以称为面向任务的对话系统、或者任务导向型对话系统等。任务型人机对话系统通常包括：NLU(NaturalLanguageUnderstanding，自然语言理解)、DM(DialogManagement，对话管理)和NLG(NaturalLanguageGeneration，自然语言生成)，这三大部分。NLU用于识别对话方的意图，并将识别结果提供给DM。DM通常包括：DST(DialogueStateTracker，对话状态跟踪器)和DPL(DialoguePolicyLearning，对话策略学习)。DST用于根据NLU输出的信息预测对话方的当前对话状态，DPL用于根据DST预测的当前对话状态制定策略，以决定下一步采取的行动。NLG用于根据DPL采取的行动生成自然语言，完成与对话方的交互。如何准确的跟踪对话方的当前对话状态，以便于根据当前对话状态采取恰当的行动，是一个值得关注的技术问题。
技术实现思路
为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种用于实现人机对话的方法、用于实现人机对话的装置、存储介质以及电子设备。根据本公开实施例的一方面，提供一种用于实现人机对话的方法，该方法包括：对对话方的当前时序的会话语句进行基于多头自注意力的语义特征提取处理，获得所述会话语句的语义特征向量；根据所述语义特征向量和所述当前时序的前一个时序的隐藏层状态信息，获取所述当前时序的隐藏层状态信息；根据所述当前时序的隐藏层状态信息，生成所述会话语句的对话状态信息。在本公开一实施方式中，所述对对话方的当前时序的会话语句进行基于多头自注意力的语义特征提取处理，包括：获取对话方的当前时序的会话语句所包含的各分词的分词向量；根据所述各分词的分词向量和各分词的位置编码信息，形成所述会话语句的向量矩阵；对所述会话语句的向量矩阵进行基于多头自注意力的语义特征提取处理，获得所述会话语句的语义特征向量。在本公开又一实施方式中，所述对所述会话语句的向量矩阵进行基于多头自注意力的语义特征提取处理，包括：对所述会话语句的向量矩阵进行至少一次多头自注意力处理、第一层规范化处理、前馈处理以及第二层规范化处理；根据最后一次第二层规范化处理的结果，获得所述会话语句的语义特征向量。在本公开再一实施方式中，所述根据所述语义特征向量和所述当前时序的前一个时序的隐藏层状态信息，获取所述当前时序的隐藏层状态信息，包括：对所述语义特征向量和所述当前时序的前一个时序的隐藏层状态信息进行长短期记忆处理，获得所述当前时序的隐藏层状态信息。在本公开再一实施方式中，所述隐藏层状态信息包括：长短期记忆隐藏状态信息和长短期记忆细胞状态信息。在本公开再一实施方式中，所述根据所述当前时序的隐藏层状态信息，生成所述会话语句的对话状态信息，包括：对所述当前时序的隐藏层状态信息进行分类处理；根据所述分类处理的结果，获得所述会话语句的对话状态信息。在本公开再一实施方式中，所述会话语句的对话状态信息，包括：所有槽位的槽值概率分布。根据本公开实施例的另一个方面，提供了一种用于实现人机对话的装置，该装置包括：语义特征提取模块，用于对对话方的当前时序的会话语句进行基于多头自注意力的语义特征提取处理，获得所述会话语句的语义特征向量；获取隐藏层状态模块，用于根据所述语义特征向量和所述当前时序的前一个时序的隐藏层状态信息，获取所述当前时序的隐藏层状态信息；生成对话状态信息模块，用于根据所述当前时序的隐藏层状态信息，生成所述会话语句的对话状态信息。在本公开一实施方式中，所述语义特征提取模块，包括：第一子模块，用于获取对话方的当前时序的会话语句所包含的各分词的分词向量；第二子模块，用于根据所述各分词的分词向量和各分词的位置编码信息，形成所述会话语句的向量矩阵；第三子模块，用于对所述会话语句的向量矩阵进行基于多头自注意力的语义特征提取处理，获得所述会话语句的语义特征向量。在本公开又一实施方式中，所述第三子模块进一步用于：对所述会话语句的向量矩阵进行至少一次多头自注意力处理、第一层规范化处理、前馈处理以及第二层规范化处理；根据最后一次第二层规范化处理的结果，获得所述会话语句的语义特征向量。在本公开再一实施方式中，所述获取隐藏层状态模块进一步用于：对所述语义特征向量和所述当前时序的前一个时序的隐藏层状态信息进行长短期记忆处理，获得所述当前时序的隐藏层状态信息。在本公开再一实施方式中，所述隐藏层状态信息包括：长短期记忆隐藏状态信息和长短期记忆细胞状态信息。在本公开再一实施方式中，所述生成对话状态信息模块进一步用于：对所述当前时序的隐藏层状态信息进行分类处理；根据所述分类处理的结果，获得所述会话语句的对话状态信息。在本公开再一实施方式中，所述会话语句的对话状态信息，包括：所有槽位的槽值概率分布。根据本公开实施例的再一方面，提供一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述用于实现人机对话的方法。根据本公开实施例的又一方面，提供一种电子设备，该电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述用于实现人机对话的方法。基于本公开上述实施例提供的一种用于实现人机对话的方法和装置，通过利用基于多头自注意力的语义特征提取处理方式，来获得会话语句的语义特征向量，可以在对会话语句中的所有分词进行并行处理的基础上，获取较为准确的语义特征向量；通过利用当前时序的前一个时序的隐藏层状态信息，获得当前时序的隐藏层状态信息，并利用当前时序的隐藏层状态信息生成会话语句的对话状态信息，可以使本公开在考虑历史会话语句的基础上，形成当前时序的会话语句的对话状态信息，从而有利于提高对话状态信息的准确性。由此可知，本公开提供的技术方案有利于提高人机对话的实时性，并有利于提高用户对人机对话的体验。下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。附图说明构成说明书的一部分的附图描述了本公开的实施例，并且连同描述一起用于解释本公开的原理。参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：图1为本公开的适用场景的一个实施例的示意图；图2为本公开的用于实现人机对话的方法一个实施例的流程图；图3为本公开的获得会话语句的语义特征向量的一个实施例的流程图；图4为本公开的获得会话语句的语义特征向量的一个实施例的示意图；图5为本公开的训练Word2vec模型一个实施例的流程图；图6为本公开的训练Word2vec模型另一个实施例的流程图；图7为本公开的用于实现人机对话的装置一个实施例的结构示意图；图8为本公开的用于实现人机对本文档来自技高网...

【技术保护点】
1.一种用于实现人机对话的方法，包括：/n对对话方的当前时序的会话语句进行基于多头自注意力的语义特征提取处理，获得所述会话语句的语义特征向量；/n根据所述语义特征向量和所述当前时序的前一个时序的隐藏层状态信息，获取所述当前时序的隐藏层状态信息；/n根据所述当前时序的隐藏层状态信息，生成所述会话语句的对话状态信息。/n

【技术特征摘要】
1.一种用于实现人机对话的方法，包括：
对对话方的当前时序的会话语句进行基于多头自注意力的语义特征提取处理，获得所述会话语句的语义特征向量；
根据所述语义特征向量和所述当前时序的前一个时序的隐藏层状态信息，获取所述当前时序的隐藏层状态信息；
根据所述当前时序的隐藏层状态信息，生成所述会话语句的对话状态信息。


2.根据权利要求1所述的方法，其中，所述对对话方的当前时序的会话语句进行基于多头自注意力的语义特征提取处理，包括：
获取对话方的当前时序的会话语句所包含的各分词的分词向量；
根据所述各分词的分词向量和各分词的位置编码信息，形成所述会话语句的向量矩阵；
对所述会话语句的向量矩阵进行基于多头自注意力的语义特征提取处理，获得所述会话语句的语义特征向量。


3.根据权利要求2所述的方法，其中，所述对所述会话语句的向量矩阵进行基于多头自注意力的语义特征提取处理，包括：
对所述会话语句的向量矩阵进行至少一次多头自注意力处理、第一层规范化处理、前馈处理以及第二层规范化处理；
根据最后一次第二层规范化处理的结果，获得所述会话语句的语义特征向量。


4.根据权利要求1至3中任一项所述的方法，其中，所述根据所述语义特征向量和所述当前时序的前一个时序的隐藏层状态信息，获取所述当前时序的隐藏层状态信息，包括：
对所述语义特征向量和所述当前时序的前一个时序的隐藏层状态信息进行长短期记忆处理，获得所述当前时序的隐藏层状态信息。<...

【专利技术属性】
技术研发人员：支康仪，孙拔群，郝梦圆，
申请(专利权)人：贝壳技术有限公司，
类型：发明
国别省市：天津;12