基于隐式反馈信息的缺陷对话检测方法及装置制造方法及图纸

本说明书实施例提供基于隐式反馈信息的缺陷对话检测方法及装置。在进行缺陷对话检测时，获取待检测对话的对话交互数据；从对话交互数据中提取出隐式反馈信息，所述隐式反馈信息用于隐式反馈对话机器人回复答案正确与否；以及使用隐式反馈信息来对待检测对话进行缺陷检测。陷检测。陷检测。

【技术实现步骤摘要】
基于隐式反馈信息的缺陷对话检测方法及装置


[0001]本说明书实施例通常涉及人工智能领域，尤其涉及基于隐式反馈信息的缺陷对话检测方法及装置。

技术介绍

[0002]人机对话相关技术已经被广泛地应用于各种智能服务场景的业务支持，并且构建具有不同功能、覆盖不同领域的对话机器人，比如，主站客服机器人、外呼机器人、理财助理、保险管家等。然而基于先验知识配置的对话机器人的对话效果不佳，比如，不能很好地理解各式各样的用户表达、与用户对话不流畅、为用户提供的回复满意度不佳等，由此需要进行对话效果优化。
[0003]对话效果优化方案通过对机器人的人机对话日志和知识库进行分析、检测和标注，自动给出优化建议，辅助运营人员优化机器人相关配置，从而优化机器人对话效果，提升机器人智能解决效率。
[0004]在常规的对话效果优化方案中，在对话机器人模型发布后，采用人员反馈的方式收集线上错误对话案例，并且对所收集的错误对话案例进行人工错误分析和数据标注。然后，使用标注后的对话案例作为训练数据来训练对话机器人模型，并在离线验证模型结果后对线上对话机器人模型进行迭代。在上述对话效果优化方案中，需要投入很大时间/精力进行错误分析和数据标注，并且花费较长的时间来进行对话机器人模型训练和迭代验证，从而导致优化流程长，不能实现对话效果的快速优化。
[0005]在一些对话效果优化方案中，从对话机器人所产生的人机对话日志中检测出缺陷对话，并根据所检测出的缺陷对话中的用户问题更新对话机器人的知识库，由此实现对话机器人效果优化。缺陷对话检测的准确性和效率，对于对话机器人的对话效果优化至关重要。

技术实现思路

[0006]本说明书实施例提供基于隐式反馈信息的缺陷对话检测方法及装置。利用该缺陷对话检测方法，通过从待检测对话的对话交互数据中提取出隐式反馈信息，并基于隐式反馈信息来进行缺陷对话检测，可以提升缺陷对话检测的准确度和效率。
[0007]根据本说明书实施例的一个方面，提供一种基于隐式反馈信息的缺陷对话检测方法，包括：获取待检测对话的对话交互数据；从所述对话交互数据中提取出隐式反馈信息，所述隐式反馈信息用于隐式反馈对话机器人回复答案正确与否；以及使用所述隐式反馈信息来对所述待检测对话进行缺陷检测。
[0008]可选地，在上述方面的一个示例中，所述待检测对话包括从人机对话日志的对话片段中提取的每轮对话。
[0009]可选地，在上述方面的一个示例中，所述对话交互数据包括当前轮对话交互数据和上下文对话交互数据。
[0010]可选地，在上述方面的一个示例中，所述对话交互数据包括对话交互内容数据、用户行为数据和机器人行为数据。
[0011]可选地，在上述方面的一个示例中，所述隐式反馈信息具有基于所述对话交互数据抽取出的信息属性特征。
[0012]可选地，在上述方面的一个示例中，所述信息属性特征包括下述属性特征中的至少一种：用户问题重复性、用户停留时间、用户结果反馈、用户输入特性、机器人回复重复性、机器人回复兜底性、机器人状态属性。
[0013]可选地，在上述方面的一个示例中，所述用户问题重复性包括下述中的至少一个：下一紧邻用户手动输入内容与当前轮用户输入内容之间的编辑距离；下一紧邻用户手动输入内容与当前轮用户输入内容之间的语义相似性；和下文所有用户手动输入内容与当前轮用户输入内容之间的最小编辑距离。
[0014]可选地，在上述方面的一个示例中，所述用户停留时间包括下述中的至少一个：用户当前轮对话停留时间；和用户应用停留时间。
[0015]可选地，在上述方面的一个示例中，所述用户输入特性包括下述中的至少一个：输入问题长度；对话片段中的用户手动输入占比；和当前轮输入是否是最后输入动作。
[0016]可选地，在上述方面的一个示例中，所述机器人回复兜底性包括下述中的至少一个：上轮机器人回复是否是兜底回复；下轮机器人回复是否是兜底回复；和对话片段中的兜底回复占比。
[0017]可选地，在上述方面的一个示例中，使用所述隐式反馈信息来对所述待检测对话进行缺陷检测包括：使用所述隐式反馈信息来基于缺陷检测规则对所述待检测对话执行缺陷检测，所述缺陷检测规则基于所述隐式反馈信息的信息属性特征创建，或者将所述隐式反馈信息提供给缺陷检测模型来对所述待检测对话执行缺陷检测，所述缺陷检测模型基于所述隐式反馈信息的信息属性特征进行建模。
[0018]可选地，在上述方面的一个示例中，所述缺陷检测模型建模时使用的特征包括所述隐式反馈信息的信息属性特征中的与应用场景无关的信息属性特征。
[0019]根据本说明书的实施例的另一方面，提供一种基于隐式反馈信息的缺陷对话检测装置，包括：对话交互数据获取单元，获取待检测对话的对话交互数据；隐式反馈信息提取单元，从所述对话交互数据中提取出隐式反馈信息，所述隐式反馈信息用于隐式反馈对话机器人回复答案正确与否；以及缺陷检测单元，使用所述隐式反馈信息来对所述待检测对话进行缺陷检测。
[0020]可选地，在上述方面的一个示例中，所述缺陷对话检测装置还可以包括：对话提取单元，从人机对话日志的对话片段中提取每轮对话，作为所述待检测对话。
[0021]可选地，在上述方面的一个示例中，所述隐式反馈信息具有基于所述对话交互数据抽取出的信息属性特征。所述缺陷检测单元使用所述隐式反馈信息来基于缺陷检测规则对所述待检测对话执行缺陷检测，所述缺陷检测规则基于所述隐式反馈信息的信息属性特征创建，或者所述缺陷检测单元将所述隐式反馈信息提供给缺陷检测模型来对所述待检测对话执行缺陷检测，所述缺陷检测模型基于所述隐式反馈信息的信息属性特征进行建模。
[0022]根据本说明书的实施例的另一方面，提供一种基于隐式反馈信息的缺陷对话检测装置，包括：至少一个处理器；与所述至少一个处理器耦合的存储器；以及存储在所述存储
器中的计算机程序，所述至少一个处理器执行所述计算机程序来实现如上所述的基于隐式反馈信息的缺陷对话检测方法。
[0023]根据本说明书的实施例的另一方面，提供一种计算机可读存储介质，其存储有可执行指令，所述指令当被执行时使得处理器执行如上所述的基于隐式反馈信息的缺陷对话检测方法。
[0024]根据本说明书的实施例的另一方面，提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行来实现如上所述的基于隐式反馈信息的缺陷对话检测方法。
附图说明
[0025]通过参照下面的附图，可以实现对于本说明书内容的本质和优点的进一步理解。在附图中，类似组件或特征可以具有相同的附图标记。
[0026]图1示出了根据本说明书的实施例的对话效果优化架构的示例架构示意图。
[0027]图2示出了根据本说明书的实施例的缺陷对话检测方法的示例流程图。
[0028]图3示出了根据本说明书的实施例的人机对话日志的示例示意图。
[0029]图4示出了根据本说明书的实施例的对话提取过程的示例流程图。
[0030]图5示本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于隐式反馈信息的缺陷对话检测方法，包括：获取待检测对话的对话交互数据；从所述对话交互数据中提取出隐式反馈信息，所述隐式反馈信息用于隐式反馈对话机器人回复答案正确与否；以及使用所述隐式反馈信息来对所述待检测对话进行缺陷检测。2.如权利要求1所述的缺陷对话检测方法，其中，所述待检测对话包括从人机对话日志的对话片段中提取的每轮对话。3.如权利要求2所述的缺陷对话检测方法，其中，所述对话交互数据包括当前轮对话交互数据和上下文对话交互数据。4.如权利要求2所述的缺陷对话检测方法，其中，所述对话交互数据包括对话交互内容数据、用户行为数据和机器人行为数据。5.如权利要求1到4中任一所述的缺陷对话检测方法，其中，所述隐式反馈信息具有基于所述对话交互数据抽取出的信息属性特征。6.如权利要求5所述的缺陷对话检测方法，其中，所述信息属性特征包括下述属性特征中的至少一种：用户问题重复性、用户停留时间、用户结果反馈、用户输入特性、机器人回复重复性、机器人回复兜底性、机器人状态属性。7.如权利要求6所述的缺陷对话检测方法，其中，所述用户问题重复性包括下述中的至少一个：下一紧邻用户手动输入内容与当前轮用户输入内容之间的编辑距离；下一紧邻用户手动输入内容与当前轮用户输入内容之间的语义相似性；和下文所有用户手动输入内容与当前轮用户输入内容之间的最小编辑距离。8.如权利要求6所述的缺陷对话检测方法，其中，所述用户停留时间包括下述中的至少一个：用户当前轮对话停留时间；和用户应用停留时间。9.如权利要求6所述的缺陷对话检测方法，其中，所述用户输入特性包括下述中的至少一个：输入问题长度；对话片段中的用户手动输入占比；和当前轮输入是否是最后输入动作。10.如权利要求6所述的缺陷对话检测方法，其中，所述机器人回复兜底性包括下述中的至少一个：上轮机器人回复是否是兜底回复；下轮机器人回复是否是兜底回复；和对话片段中的兜底回复占比。11.如权利要求5所述的缺陷对话检测方法，其中，使用所述隐式反馈信息来对所述待检测对话进行缺陷检测包括：使用所述隐式反馈信息来基于缺陷检...

【专利技术属性】
技术研发人员：胡森，王春锋，许腾，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：