一种基于上下文的关联性预测方法、装置及存储设备制造方法及图纸

本发明专利技术公开了一种基于上下文的关联性预测方法、装置及计算机存储设备。基于上下文的关联性预测方法包括：首先，获取当前轮查询语和上一轮查询语；然后，对当前轮查询语和上一轮查询语进行词向量转化，分别得到当前轮查询语词向量和上一轮查询语词向量；接下来，再分别确定对应当前轮查询语词向量和上一轮查询语词向量的句子表征，得到当前轮查询语句子表征向量和上一轮查询语句子表征向量；最后，根据当前轮查询语句子表征向量和上一轮查询语句子表征向量进行关联性预测，得到当前轮查询语与上一轮查询语是否相关联的预测结果。

A context based relevance prediction method, device and storage device

【技术实现步骤摘要】
一种基于上下文的关联性预测方法、装置及存储设备
本专利技术涉及人工智能(ArtificialIntelligence，AI)
，尤其涉及一种基于上下文的关联性预测方法、装置及计算机存储设备。
技术介绍
在现有的对话系统中，很难通过单个问题捕获用户的真实意图，通常都需要进行多轮对话，结合用户之前的查询语，才能更好地确定当前查询语的语境，得到当前查询语的确切语义，做出更准确的应答。相应地，对话系统中的自然语言理解模块也衍生出一个上下文自然语言理解模块，该模块就主要根据多轮对话中上一轮查询语和当前轮查询语的上下文关联性预测，捕获用户的真实意图，为对话管理模块做出更准确的决策提供支持。目前的上下文自然语言理解模块，在判断多轮对话的上下文关联性预测中存在以下问题：1)用规则来实现上下文分类，人工成本较高；2)只考虑上文的域信息而忽略文本信息，即在进行基于上下文的关联性预测时，只考虑多轮对话中的上一轮查询语所属的域与当前轮查询语所属的域是否相关，而不考虑其他因素；3)仅限于查询语本身包含的内容，没有引入外部知识，泛化性不高。
技术实现思路
本专利技术实施例为了解决以上问题，创造性地提供一种基于上下文的关联性预测方法、装置及计算机存储设备。根据本专利技术实施例第一方面，提供一种基于上下文的关联性预测方法，该方法包括：获取当前轮查询语和与当前轮查询语对应的上一轮查询语；对当前轮查询语和上一轮查询语进行词向量转化，分别得到对应的当前轮查询语词向量和上一轮查询语词向量；分别确定对应当前轮查询语词向量和上一轮查询语词向量的句子表征，得到对应的当前轮查询语句子表征向量和上一轮查询语句子表征向量；根据当前轮查询语句子表征向量和上一轮查询语句子表征向量进行关联性预测，得到用于表征当前轮查询语和与上一轮查询语是否相关联的预测结果。根据本专利技术一实施方式，对当前轮查询语和上一轮查询语进行词向量转化，分别得到对应的当前轮查询语词向量和上一轮查询语词向量，包括：对当前轮查询语和上一轮查询语进行词典特征抽取，分别得到由词和词所属词典组成的当前轮查询语词集和上一轮查询语词集；对当前轮查询语词集和上一轮查询语词集分别进行词向量转换(wordembedding)，将词集转化为数值矩阵形式的当前轮查询语词向量和上一轮查询语词向量。根据本专利技术一实施方式，分别确定对应当前轮查询语词向量和上一轮查询语词向量的句子表征，得到对应的当前轮查询语句子表征向量和上一轮查询语句子表征向量，包括：对当前轮查询语词向量和上一轮查询语词向量进行卷积处理，得到对应的当前轮查询语多维特征向量和上一轮查询语多维特征向量；对当前轮查询语多维特征向量和上一轮查询语多维特征向量进行最大池化处理，得到对应的当前轮查询语句子表征向量和上一轮查询语句子表征向量。根据本专利技术一实施方式，对当前轮查询语词向量和上一轮查询语词向量进行卷积处理，包括：通过卷积神经网络模型CNN对当前轮查询语词向量和上一轮查询语词向量进行等步长卷积处理。根据本专利技术一实施方式，根据当前轮查询语句子表征向量和上一轮查询语句子表征向量进行关联性预测，得到用于表征当前轮查询语和与上一轮查询语是否相关联的预测结果，包括：对当前轮查询语句子表征向量和上一轮查询语句子表征向量进行融合，得到联合表示向量；对联合表示向量进行二分类预测，得到用于表征当前轮查询语和与上一轮查询语是否相关联的预测结果。根据本专利技术一实施方式，对当前轮查询语句子表征向量和上一轮查询语句子表征向量进行融合，得到联合表示向量，包括：确定上一轮查询语对应的域向量；将当前轮查询语句子表征向量、上一轮查询语句子表征向量及上一轮查询语对应的域向量进行拼接，得到联合表示向量。根据本专利技术实施例第二方面，还提供一种基于上下文的关联性预测装置，该装置包括：获取模块，用于获取当前轮查询语和与当前轮查询语对应的上一轮查询语；查询语词向量转化模块，用于对当前轮查询语和上一轮查询语进行词向量转化，分别得到对应的当前轮查询语词向量和上一轮查询语词向量；句子表征向量转化模块，用于分别确定对应当前轮查询语词向量和上一轮查询语词向量的句子表征，得到对应的当前轮查询语句子表征向量和上一轮查询语句子表征向量；关联性预测模块，用于根据当前轮查询语句子表征向量和上一轮查询语句子表征向量进行关联性预测，得到用于表征当前轮查询语和与上一轮查询语是否相关联的预测结果。根据本专利技术一实施方式，查询语向量转化模块，包括：词典特征抽取单元，用于对当前轮查询语和上一轮查询语进行词典特征抽取，分别得到由词和词所属词典组成的当前轮查询语词集和上一轮查询语词集；词向量转换单元，用于对当前轮查询语词集和上一轮查询语词集分别进行词向量转换，将词集转化为数值矩阵形式的当前轮查询语向量和上一轮查询语向量。根据本专利技术一实施方式，句子表征向量转化模块，包括：卷积处理单元，用于对当前轮查询语向量和上一轮查询语向量进行卷积处理，得到对应的当前轮查询语多维特征向量和上一轮查询语多维特征向量；最大池化单元，用于对当前轮查询语多维特征向量和上一轮查询语多维特征向量进行最大池化处理，得到对应的当前轮查询语句子表征向量和上一轮查询语句子表征向量。根据本专利技术一实施方式，卷积处理单元还用于通过卷积神经网络模型对当前轮查询语向量和上一轮查询语向量进行等步长卷积处理。根据本专利技术一实施方式，关联性预测模块包括：联合表示向量生成单元，用于对当前轮查询语句子表征向量和上一轮查询语句子表征向量进行融合，得到联合表示向量；二分类预测单元，用于对联合表示向量进行二分类预测，得到用于表征当前轮查询语和与上一轮查询语是否相关联的预测结果。根据本专利技术一实施方式，联合表示向量生成单元还包括：域向量确定子单元，用于确定上一轮查询语对应的域向量；向量拼接子单元，用于将当前轮查询语句子表征向量、上一轮查询语句子表征向量及上一轮查询语对应的域向量进行拼接，得到联合表示向量。根据本专利技术实施例第三方面，又提供一种计算机存储设备，存储设备包括一组计算机可执行指令，当指令被执行时用于执行上述任一项的语言生成方法。本专利技术实施例基于上下文的关联性预测方法、装置及存储设备，首先获取当前轮查询语和上一轮查询语；然后，对前轮查询语和上一轮查询语进行词向量转化，分别得到当前轮查询语词向量和上一轮查询语词向量；接下来，再分别确定对应当前轮查询语词向量和上一轮查询语词向量的句子表征，得到当前轮查询语句子表征向量和上一轮查询语句子表征向量；最后，根据当前轮查询语句子表征向量和上一轮查询语句子表征向量进行关联性预测，得到当前轮查询语与上一轮查询语是否相关联的预测结果。可以看出，本专利技术实施例基于上下文的关联性预测方法、装置及存储设备加入了对查询语进行词典特征抽取的过程，这样在进行关联性预测时就会在考虑域关联之外还考虑到了文本信息的语义；同时，词典特征抽取的过程还额外引入了词所属词典这一外部知识，增强了泛化性；此外，本专利技术实施例基于上下文的关联性预测方法、装置及存储设备在进行预测的过程中，使用了词向量转化、卷积神经网络计算和二分类本文档来自技高网...

【技术保护点】
1.一种基于上下文的关联性预测方法，其特征在于，所述方法包括：/n获取当前轮查询语和与当前轮查询语对应的上一轮查询语；/n对所述当前轮查询语和上一轮查询语进行词向量转化，分别得到对应的当前轮查询语词向量和上一轮查询语词向量；/n分别确定对应所述当前轮查询语词向量和上一轮查询语词向量的句子表征，得到对应的当前轮查询语句子表征向量和上一轮查询语句子表征向量；/n根据所述当前轮查询语句子表征向量和上一轮查询语句子表征向量进行关联性预测，得到用于表征所述当前轮查询语和与上一轮查询语是否相关联的预测结果。/n

【技术特征摘要】
1.一种基于上下文的关联性预测方法，其特征在于，所述方法包括：
获取当前轮查询语和与当前轮查询语对应的上一轮查询语；
对所述当前轮查询语和上一轮查询语进行词向量转化，分别得到对应的当前轮查询语词向量和上一轮查询语词向量；
分别确定对应所述当前轮查询语词向量和上一轮查询语词向量的句子表征，得到对应的当前轮查询语句子表征向量和上一轮查询语句子表征向量；
根据所述当前轮查询语句子表征向量和上一轮查询语句子表征向量进行关联性预测，得到用于表征所述当前轮查询语和与上一轮查询语是否相关联的预测结果。


2.根据权利要求1所述的方法，其特征在于，对所述当前轮查询语和上一轮查询语进行词向量转化，分别得到对应的当前轮查询语词向量和上一轮查询语词向量，包括：
对所述当前轮查询语和上一轮查询语进行词典特征抽取，分别得到由词和词所属词典组成的当前轮查询语词集和上一轮查询语词集；
对所述当前轮查询语词集和上一轮查询语词集分别进行词向量转换，将词集转化为数值矩阵形式的当前轮查询语词向量和上一轮查询语词向量。


3.根据权利要求1所述的方法，其特征在于，分别确定对应所述当前轮查询语词向量和上一轮查询语词向量的句子表征，得到对应的当前轮查询语句子表征向量和上一轮查询语句子表征向量，包括：
对所述当前轮查询语词向量和上一轮查询语词向量进行卷积处理，得到对应的当前轮查询语多维特征向量和上一轮查询语多维特征向量；
对所述当前轮查询语多维特征向量和上一轮查询语多维特征向量进行最大池化处理，得到对应的当前轮查询语句子表征向量和上一轮查询语句子表征向量。


4.根据权利要求3所述的方法，其特征在于，所述对所述当前轮查询语词向量和上一轮查询语词向量进行卷积处理，包括：
通过卷积神经网络模型CNN对所述当前轮查询语词向量和上一轮查询语词向量进行等步长卷积处理。


5.根据权利要求1所述的方法，其特征在于，根据所述当前轮查询语句子表征向量和上一轮查询语句子表征向量进行关联性预测，得到用于表征所述当前轮查询语和与上一轮查询语是否相关联的预测结果，包括：
对所述当前轮查询语句子表征向量和上一轮查询语句子表征向量进行融合，得到联合表示向量；
对所述联合表示向...

【专利技术属性】
技术研发人员：牛嘉斌，林士翔，雷欣，李志飞，
申请(专利权)人：出门问问信息科技有限公司，
类型：发明
国别省市：北京;11