智能对话能力测试方法、介质和测试设备技术

本申请涉及智能对话能力测试方法、介质和测试设备，包括：测试设备向电子设备播放测试语句，并且接收电子设备利用语音助手应用程序对测试语句生成的反馈操作；测试设备记载对话语料，对话语料包括测试语句和反馈操作对应的反馈语句；测试设备根据对话语料确定意图对话路径，意图对话路径是由基于测试语句和反馈操作生成的一个或者多个意图组成的；测试设备通过意图对话路径和与测试语句关联的预设意图对话路径比较，确定语音助手应用程序的智能对话能力的水平。如此，实现自动测得语音助手应用程序的智能对话能力的功能，节省人力成本。节省人力成本。节省人力成本。

【技术实现步骤摘要】
智能对话能力测试方法、介质和测试设备


[0001]本申请涉及信息处理
，尤其涉及智能对话能力测试方法、介质和测试设备。

技术介绍

[0002]语音助手是当前大多数智能终端设备(如智能手机、智能音箱等)都会配备的应用程序，它能够通过智能对话与即时问答的方式，为用户解决问题，或者呈现一些智能设备的功能。
[0003]语音助手的应用及其多元化，例如，结合人工智能(Artificial Intelligence，AI)、自动语音识别(Automatic Speech Recognition，ASR)、自然语言理解(Natural Language Understanding，NLU)，透过无线连接，不仅能执行多媒体资源播放，还能串接到物联网装置去实现智能测试家居控制、智能测试家居以及车载语音控制和电话会议系统等。然而，因为智能语音助手应用的多元化，却使语音助手产品的测试与验证面向更多困难，语音辨识、覆盖的场景等语音助手的智能测试对话能力，也都需列入考虑才能确保产品的智能对话质量。
[0004]目前，在语音助手的智能对话能力测试中，并未有对智能语音助手的智能对话能力进行自动化评估的测试技术。

技术实现思路

[0005]本申请实施例提供了电子设备及其语音助手应用程序的智能对话能力测试方法、介质和测试设备，以便于对智能语音助手的智能对话能力进行自动化评估。
[0006]本申请的第一方面提供了一种语音助手应用程序的智能对话能力测试方法，包括：
[0007]所述测试设备向所述电子设备发送测试语句，并且接收所述电子设备利用语音助手应用程序对所述测试语句生成的反馈操作；
[0008]所述测试设备记载对话语料，所述对话语料包括测试语句和所述反馈操作对应的反馈语句；
[0009]所述测试设备根据所述对话语料确定意图对话路径，所述意图对话路径是由基于测试语句和所述反馈操作生成的一个或者多个意图组成的；
[0010]所述测试设备通过所述意图对话路径和与测试语句关联的预设意图对话路径比较，确定所述语音助手应用程序的智能对话能力的水平。
[0011]本申请实施例中，一方面，实现自动测得语音助手应用程序的智能对话能力的功能，有助于减少甚至省去对在语音助手应用程序的智能对话能力的测试环节中人的介入，节省人力成本。另一方面，用对话语料中的意图与预设意图比较，因意图是对话语料中的每句话的意图内容的提炼，不需要耗费大量的比较时间，而且不同的话有多种不同的表达方式在无足够多的预设意图对话路径的时候，也往往因为匹配到预设意图对话路径，达到测
试准确且测试速度快的目的。
[0012]在上述第一方面的一种可能的实现中，所述测试设备通过所述意图对话路径和与测试语句关联的预设意图对话路径比较，包括：
[0013]所述测试设备判断意图对话路径中是否包含与测试语句关联的预设意图对话路径。
[0014]本申请实施例中，与测试语句关联的预设意图对话路径是由基于所述测试语句的意图和针对测试语句的设定反馈的意图组成的。从对话语料中提取的意图对话路径中，若意图对话路径中包含与测试语句关联的预设意图对话路径，则说明语音助手应用程序具备与测试语句关联的预设意图对话路径对应的对话能力，从而测试设备可以通过判断意图对话路径中是否包含与测试语句关联的预设意图对话路径，自动判断语音助手应用程序是否具备智能对话能力中的某一项能力，达到自动快捷测得语音助手应用程序的智能对话能力的目的。
[0015]在上述第一方面的一种可能的实现中，还包括：意图对话路径中每个测试语句和反馈操作对应的反馈语句的意图对应一个节点，包括：
[0016]遍历意图对话路径中节点的内容，与预设意图对话路径列表中的节点的内容进行匹配，以判断是否包含与测试语句关联的预设意图对话路径的内容。
[0017]本申请实施例中，因为每个测试语句对应一个意图，反馈操作对应的反馈语句对应一个意图，可以通过判断每个节点的意图内容达到自动快捷地测得语音助手应用程序的智能对话能力的目的。
[0018]在上述第一方面的一种可能的实现中，还包括：所述遍历意图对话路径中节点的内容，包括：
[0019]通过滑动窗口遍历意图对话路径中的节点的内容，滑动窗口包含N个节点，滑动步长为M，其中，N为大于2的自然数，M为大于等于1的自然数。
[0020]本申请实施例中，与测试语句关联的预设意图对话路径是由基于所述测试语句的意图和针对测试语句的设定反馈的意图组成的。测试语音助手应用程序是否具备智能对话能力，可以通过一个测试语句的意图和一个设定反馈的意图，也可以通过两个测试语句的意图和与每个测试语句对应的两个设定反馈的意图测得，如此，可以根据实际情况，调整滑动窗口的节点数，减少遍历滑动次数。准确且快捷得测得对话语料中的意图对话路径是否包含预设意图对话路径。
[0021]在上述第一方面的一种可能的实现中，还包括：所述确定所述语音助手应用程序的智能对话能力的水平，包括：
[0022]在意图对话路径中包含所述与测试语句关联的预设意图对话路径的情况下，电子设备确定电子设备上的语音助手应用程序具备所述预设意图对话路径对应的智能对话能力；
[0023]在意图对话路径中不包含与测试语句关联的预设意图对话路径的情况下，电子设备确定电子设备上的语音助手应用程序不具备预设意图对话路径对应的智能对话能力。
[0024]在上述第一方面的一种可能的实现中，还包括：所述确定所述语音助手应用程序的智能对话能力的水平，包括：
[0025]对所述语音助手应用程序的智能对话能力中的至少一项智能对话能力进行评分
和/或智能对话能力中的每一项智能对话能力的总评分。
[0026]在上述第一方面的一种可能的实现中，还包括：所述反馈操作包括对测试语句的反馈语音和/或在所述电子设备的显示屏上呈现的与反馈语音关联的反馈信息。
[0027]在上述第一方面的一种可能的实现中，还包括：所述与测试语句关联的预设意图对话路径是由基于所述测试语句的意图和针对测试语句的设定反馈的意图组成的。
[0028]在上述第一方面的一种可能的实现中，还包括：所述智能对话能力包括以下至少一项：语义理解能力、行为智能对话能力、兜底表现能力。
[0029]本申请的第二方面提供了一种计算机可读介质，所述可读介质上存储有指令，该指令在计算机上执行时使计算机执行如前述第一方面提供的语音助手应用程序的智能对话能力测试方法。
[0030]本申请的第三方面提供了一种测试设备，其特征在于，包括：
[0031]存储器，用于存储由系统的一个或多个处理器执行的指令，以及
[0032]处理器，是测试设备的处理器之一，用于执行如前述第一方面提供的语音助手应用程序的智能对话能力测试方法。
[0033]本申请的第四方面提供了一种测试系统，包括电子设备和测试设备；
[0034]所述电子设备用于运行语音助手应用程序；
[0035]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种语音助手应用程序的智能对话能力测试方法，其特征在于，用于包括电子设备和测试设备的系统，包括：所述测试设备向所述电子设备播放测试语句，并且接收所述电子设备利用语音助手应用程序对所述测试语句生成的反馈操作；所述测试设备记载对话语料，所述对话语料包括测试语句和所述反馈操作对应的反馈语句；所述测试设备根据所述对话语料确定意图对话路径，所述意图对话路径是由基于测试语句和所述反馈操作生成的一个或者多个意图组成的；所述测试设备通过所述意图对话路径和与测试语句关联的预设意图对话路径比较，确定所述语音助手应用程序的智能对话能力的水平。2.根据权利要求1所述的方法，其特征在于，所述测试设备通过所述意图对话路径和与测试语句关联的预设意图对话路径比较，包括：所述测试设备判断意图对话路径中是否包含与测试语句关联的预设意图对话路径。3.根据权利要求2所述的方法，其特征在于，意图对话路径中每个测试语句和反馈操作对应的反馈语句的意图对应一个节点，包括：遍历意图对话路径中节点的内容，与预设意图对话路径列表中的节点的内容进行匹配，以判断是否包含与测试语句关联的预设意图对话路径的内容。4.根据权利要求3所述的方法，其特征在于，所述遍历意图对话路径中节点的内容，包括：通过滑动窗口遍历意图对话路径中的节点的内容，滑动窗口包含N个节点，滑动步长为M，其中，N为大于2的自然数，M为大于等于1的自然数。5.根据权利要求2所述的方法，其特征在于，所述确定所述语音助手应用程序的智能对话能力的水平，包括：在意图对话路径中...

【专利技术属性】
技术研发人员：杨佳霖，周立君，蒋孝霞，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：