本发明专利技术涉及测试技术领域，提供一种自动化外呼测试方法、装置、计算机设备及存储介质，该方法包括：通过对话流测试，获取外呼系统的测试数据，所述测试数据包括对话流中的多个对话节点以及对应的对话语句；计算所述对话节点的数量，以确定针对每个对话节点的对话语句进行意图识别任务的数量；根据测试设备的处理器配置，将各个所述意图识别任务分为多个并行任务组，通过生成相应数量的线程，并行执行各个所述意图识别任务，从而得到各个对话节点的意图识别结果；根据所述意图识别结果，得到测试结果。使得多个节点的测试任务可以并行执行，大大提高测试效率。大提高测试效率。大提高测试效率。
【技术实现步骤摘要】
自动化外呼测试方法、装置、计算机设备及存储介质
[0001]本专利技术涉及自动化测试领域，尤其涉及一种自动化外呼测试方法、装置、计算机设备及存储介质。
技术介绍
[0002]目前的银行系统中，会使用自动外呼系统来进行业务的推广操作，但是外呼系统因为是通过人工智能识别然后从既定的语音库中挑选语句反馈给客户，因此存在效率低的问题，为此需要通过高效率的测试来测试出自动外呼系统的缺陷，以使得开发人员可以更好的改进。现有的智能外呼系统测试技术方案是测试人员为要测试的对话流的节点编写脚本，配置话术和话术预期匹配的意图，然后进行单元测试，这种测试没有足够的测试集，且测试不够全面，缺乏生产环节对流程的自动化测试和针对性分析，并且因为语音包含的意图众多，所以其分支众多，当前的测试方式效率低下，使用时间过长，大大拖延了开发改进的进度。
技术实现思路
[0003]第一方面，本申请提供了一种自动化外呼测试方法，包括：通过对话流测试，获取外呼系统的测试数据，所述测试数据包括对话流中的多个对话节点以及对应的对话语句；计算所述对话节点的数量，以确定针对每个对话节点的对话语句进行意图识别任务的数量；根据测试设备的处理器配置，将所有所述意图识别任务分为多个并行任务组，并通过生成相应数量的线程，以并行执行各个所述意图识别任务，从而得到各个对话节点的意图识别结果；根据所述意图识别结果，得到测试结果。
[0004]进一步的，所述根据测试设备的处理器配置，将所有所述意图识别任务分为多个并行任务组，通过生成相应数量的线程，包括：获取测试设备配置的处理器的核心数，根据所述核心数计算得到所述任务组数，并生成与所述任务组数相同的线程。
[0005]进一步的，所述对话流测试包括测试阶段测试；当处于所述测试阶段测试时，所述得到各个对话节点的意图识别结果，包括：获取各个所述对话节点的话术池，并识别各个所述对话节点的意图量；根据所述话术池和所述意图量，分别计算每个对话节点的回复准确率和兜底率，以及整个对话流的回复准确率和兜底率。
[0006]进一步的，所述分别计算每个对话节点的回复准确率和兜底率，包括：从测试日志中获取所述对话节点的意图量、回复话术准确量和兜底量；所述回复准确率的计算表达式为：
；式中，y为所述回复准确率，M为所述意图量，W为所述回复话术准确量；所述兜底率的计算表达式为：；式中，Z为所述兜底率，X为所述兜底量。
[0007]进一步的，当处于所述测试阶段测试时，所述根据所述意图识别结果，得到测试结果，包括：将计算得到的回复准确率和兜底率分别与预设的对应目标值进行对比，以确定当前版本的所述外呼系统是否可以上线工作。
[0008]进一步的，所述对话流测试包括生产阶段测试；当处于所述生产阶段测试时，所述获取外呼系统的测试数据，包括：将实际生产工作中的工作数据作为外呼系统的测试数据；所述得到各个对话节点的意图识别结果，包括：计算各个对话节点的节点访问率、节点挂断率和节点重试率，并根据所述节点访问率、所述节点挂断率和所述节点重试率的预设指标，确定关键节点，并根据所述关键节点，确定关键路径，并根据所述关键路径进行所述对话流测试。
[0009]进一步的，当处于所述生产阶段测试时，所述根据所述意图识别结果，得到测试结果，包括：将所述外呼系统和客户之间的每一句对话都打上相应的客户标签和意向标签，根据正态分布对所述客户标签和所述意向标签进行优化分析，以确定客户对当前版本的外呼系统的支持度和置信度；根据所述支持度和所述置信度，计算提升度，并根据所述提升度评估当前版本的外呼系统。
[0010]第二方面，本申请还提供一种自动化外呼测试装置，包括：测试模块，用于通过对话流测试，获取外呼系统的测试数据，所述测试数据包括对话流中的多个对话节点以及对应的对话语句；规划模块，用于计算所述对话节点的数量，以确定针对每个对话节点的对话语句进行意图识别任务的数量；并行模块，用于根据测试设备的处理器配置，将所有所述意图识别任务分为多个并行任务组，并通过生成相应数量的线程，以并行执行各个所述意图识别任务，从而得到各个对话节点的意图识别结果；分析模块，用于根据所述意图识别结果，得到测试结果。
[0011]第三方面，本申请还提供一种计算机设备，包括处理器和存储器，所述存储器存储有计算机程序，所述计算机程序在所述处理器上运行时执行所述的自动化外呼测试方法。
[0012]第四方面，一种可读存储介质，其存储有计算机程序，所述计算机程序在处理器上运行时执行所述的自动化外呼测试方法。
[0013]本专利技术公开了一种自动化外呼测试方法、装置、计算机设备及存储介质，该方法包
括：通过对话流测试，获取外呼系统的测试数据，所述测试数据包括对话流中的多个对话节点以及对应的对话语句；计算所述对话节点的数量，以确定针对每个对话节点的对话语句进行意图识别任务的数量；根据测试设备的处理器配置，将各个所述意图识别任务分为多个并行任务组，通过生成相应数量的线程，并行执行各个所述意图识别任务，从而得到各个对话节点的意图识别结果；根据所述意图识别结果，得到测试结果。使得多个节点的测试任务可以并行执行，大大提高测试效率，实现自动化、标准化的智能外呼测试方案，可最大程度降低业务流程人工测试的工作量，节省企业人力投入成本。
附图说明
[0014]为了更清楚地说明本专利技术的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对本专利技术保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。
[0015]图1示出了本申请实施例一种自动化外呼测试方法流程示意图；图2示出了本申请实施例一种并行测试方法示意图；图3示出了本申请实施例一种话术池示意图；图4示出了本申请实施例一种自动化外呼测试装置结构示意图。
具体实施方式
[0016]下面将结合本专利技术实施例中附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。
[0017]通常在此处附图中描述和示出的本专利技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本专利技术的实施例的详细描述并非旨在限制要求保护的本专利技术的范围，而是仅仅表示本专利技术的选定实施例。基于本专利技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0018]在下文中，可在本专利技术的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。
[0019]此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0020]除非另有限定，否则在这里使用的所有本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种自动化外呼测试方法，其特征在于，包括：通过对话流测试，获取外呼系统的测试数据，所述测试数据包括对话流中的多个对话节点以及对应的对话语句；计算所述对话节点的数量，以确定针对每个对话节点的对话语句进行意图识别任务的数量；根据测试设备的处理器配置，将所有所述意图识别任务分为多个并行任务组，并通过生成相应数量的线程，以并行执行各个所述意图识别任务，从而得到各个对话节点的意图识别结果；根据所述意图识别结果，得到测试结果。2.根据权利要求1所述的自动化外呼测试方法，其特征在于，所述根据测试设备的处理器配置，将所有所述意图识别任务分为多个并行任务组，通过生成相应数量的线程，包括：获取测试设备配置的处理器的核心数，根据所述核心数计算得到所述任务组数，并生成与所述任务组数相同的线程。3.根据权利要求1所述的自动化外呼测试方法，其特征在于，所述对话流测试包括测试阶段测试；当处于所述测试阶段测试时，所述得到各个对话节点的意图识别结果，包括：获取各个所述对话节点的话术池，并识别各个所述对话节点的意图量；根据所述话术池和所述意图量，分别计算每个对话节点的回复准确率和兜底率，以及整个对话流的回复准确率和兜底率。4.根据权利要求3所述的自动化外呼测试方法，其特征在于，所述分别计算每个对话节点的回复准确率和兜底率，包括：从测试日志中获取所述对话节点的意图量、回复话术准确量和兜底量；所述回复准确率的计算表达式为：；式中，y为所述回复准确率，M为所述意图量，W为所述回复话术准确量；所述兜底率的计算表达式为：；式中，Z为所述兜底率，X为所述兜底量。5.根据权利要求3所述的自动化外呼测试方法，其特征在于，当处于所述测试阶段测试时，所述根据所述意图识别结果，得到测试结果，包括：将计算得到的回复准确率和兜底率分别与预设的对应目标值进行对比，以确定当前版本的所述外呼系统是否可以上线工作。6.根据权利要求1所述的自动...
【专利技术属性】
技术研发人员：陈烁隍，孔海明，王田丰，
申请(专利权)人：天津金城银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。