基于RASA聊天机器人的任务型多轮对话测试方法及系统技术方案

本发明专利技术提供了一种基于RASA聊天机器人的任务型多轮对话测试方法、系统及设备，该测试方法包括：构建用户目标库，并从所述用户目标库中随机采样获取模拟用户目标，根据所述模拟用户目标生成模拟用户动作；生成所述模拟用户动作对应的模拟用户自然语言回复；根据所述模拟用户自然语言回复生成模拟用户回复；根据所述模拟用户回复进行RASA聊天机器人的任务型多轮对话的功能测试。本发明专利技术提出的测试方法，采用用户模拟器生成用户数据，根据RASA聊天机器人的回复实时生成和上下文相匹配的测试数据，提高测试集的覆盖率，同时极大的降低测试集标注成本。集标注成本。集标注成本。

【技术实现步骤摘要】
基于RASA聊天机器人的任务型多轮对话测试方法及系统


[0001]本专利技术涉及计算机程序测试
，更具体地说，涉及一种基于RASA 聊天机器人的任务型多轮对话测试方法及系统。

技术介绍

[0002]用户模拟器是用于在多轮对话中，模拟用户的自然语言回复的一种方法。对话系统一般可以分成三个大类：任务型对话系统、闲聊型对话系统、问答型对话系统，本专利技术主要的研究对象是任务型对话系统。任务型对话通常情况下是为了满足带有明确目的的用户，例如查天气、打电话、订票、订餐等等。由于用户的需求较为复杂，通常情况下需分多轮互动，用户也可能在对话过程中不断修改与完善自己的需求，任务型机器人需要通过询问、澄清和确认来帮助用户明确目的。
[0003]多轮对话功能指标是用于评价多轮对话完成能力和完成效果的一些具体指标。常见的指标分为自然语言理解能力评价指标、自然语言回复能力评价指标和对话管理能力评价指标三大类。三大类的细分指标见下表：
[0004]表1、任务型多轮对话评价指标一览表
[0005][0006][0007]由于多轮对话的过程是多变和复杂的，面向任务的多轮对话任务收集和注释人机对话数据，需要大量的人力投入，因此基于这种方法来构建适当的数据集，非常昂贵、耗时。
[0008]目前传统的多轮对话测试方法主要有测试集测试、日志抽样分析和人工评测三种，这些方法都有较大弊端：
[0009](1)传统测试集测试方法，无法批量生成包含一个多轮对话任务所需的完整对话上下文的测试数据，为了得到较为完善的测试集，需要大量人工来进行标注，成本较高。
[0010](2)传统测试集方法，无法根据机器人的请求来自动生成测试数据，因此测试集难以覆盖多轮对话所有可能组合，测试的有效性较低。
[0011](3)日志抽样、人工评测都需要大量的人工标注，成本较高。

技术实现思路

[0012]本专利技术要解决的技术问题在于，针对上述传统多轮对话测试方法中存在的测试集
难以获取、测试集无法覆盖所有对话场景、测试成本较高等问题，提出一种基于RASA聊天机器人的任务型多轮对话测试方法及系统。
[0013]本专利技术实施例解决上述技术问题的技术方案是，提供一种基于RASA聊天机器人的任务型多轮对话测试方法，所述方法包括以下步骤：
[0014]构建用户目标库，并从所述用户目标库中随机采样获取模拟用户目标，根据所述模拟用户目标生成模拟用户动作；
[0015]生成所述模拟用户动作对应的模拟用户自然语言回复；
[0016]根据所述模拟用户自然语言回复生成模拟用户回复；
[0017]根据所述模拟用户回复进行RASA聊天机器人的任务型多轮对话的功能测试。
[0018]在上述基于RASA聊天机器人的任务型多轮对话测试方法中，所述构建用户目标库，并从所述用户目标库中随机采样获取用户目标包括：
[0019]采用人工标注的方法生成用户目标库；所述模拟用户目标包括用户提供槽值及用户请求槽值；
[0020]预设目标测试次数，其中，所述测试次数不小于所述目标测试次数。
[0021]在上述基于RASA聊天机器人的任务型多轮对话测试方法中，所述生成所述模拟用户动作对应的模拟用户自然语言回复还包括：
[0022]根据所述用户动作从用户话术模板库中检索对应的模拟用户自然语言回复；所述用户话术模板库由随机采样的模拟用户自然语言回复构成。
[0023]在上述基于RASA聊天机器人的任务型多轮对话测试方法中，根据所述模拟用户回复进行RASA聊天机器人的任务型多轮对话的功能测试包括：
[0024]解析所述模拟用户回复，获取用户语义解析结果及测试用户目标；
[0025]根据测试用户目标生成测试用户动作；
[0026]根据测试用户动作生成RASA聊天机器人动作，获取自然语言回复结果及多轮对话轮数；
[0027]根据所述用户语义解析结果、自然语言回复结果及对话轮次评估RASA聊天机器人的任务型多轮对话的功能。
[0028]在上述基于RASA聊天机器人的任务型多轮对话测试方法中，所述根据测试用户动作生成RASA聊天机器人动作，获取自然语言回复结果及测试次数包括：
[0029]在所述RASA聊天机器人动作包含请求词槽时，根据第二请求词槽生成模拟用户动作，并继续进行对话测试；
[0030]在所述RASA聊天机器人动作不包含请求词槽时，且在所述测试次数小于目标测试次数时，继续从所述用户目标库中随机采样获取模拟用户目标，并继续进行对话测试。
[0031]本专利技术实施例还提供了一种基于RASA聊天机器人的任务型多轮对话测试系统，用户模拟器及测试评估模块，所述用户模拟器包括用户目标库、模拟用户动作生成模块、模拟自然语言生成模块、模拟用户回复生成模块；其中，
[0032]所述用户目标库，用于通过随机采样获取模拟用户目标；
[0033]所述模拟用户动作生成模块，用于根据所述模拟用户目标生成模拟用户动作；
[0034]所述模拟自然语言生成模块，用于生成所述模拟用户动作对应的模拟用户自然语言回复；
[0035]所述模拟用户回复生成模块，根据所述模拟用户自然语言回复生成模拟用户回复；
[0036]所述测试评估模块，用于评估所述RASA聊天机器人根据所述模拟用户回复进行任务型多轮对话的功能测试结果。
[0037]在上述基于RASA聊天机器人的任务型多轮对话测试系统中，所述用户目标库采用人工标注的方法生成，所述模拟用户目标包括用户提供槽值及用户请求槽值；
[0038]所述用户模拟器还包括测试条件设置模块，所述测试条件设置模块用于预设目标测试次数，其中，所述测试次数不小于所述目标测试次数。
[0039]在上述基于RASA聊天机器人的任务型多轮对话测试系统中，所述用户模拟器话包括用户话术模板库，所述用户话术模板库用于根据所述用户动作从用户话术模板库中检索对应的模拟用户自然语言回复；其中，所述用户话术模板库由随机采样的模拟用户自然语言回复构成。
[0040]在上述基于RASA聊天机器人的任务型多轮对话测试系统中，所述RASA 聊天机器人，用于
[0041]解析所述模拟用户回复，获取用户语义解析结果及测试用户目标；
[0042]根据测试用户目标生成测试用户动作；
[0043]根据测试用户动作生成RASA聊天机器人动作，获取自然语言回复结果及多轮对话轮数。
[0044]在上述基于RASA聊天机器人的任务型多轮对话测试系统中，所述测试系统还包括判断模板，所述判断模板用于
[0045]在所述RASA聊天机器人动作包含请求词槽时，根据第二请求词槽生成模拟用户动作，并继续进行对话测试；
[0046]在所述RASA聊天机器人动作不包含请求词槽时，且在所述测试次数小于目标测试次数时，继续从所述用户目标库中随机采样获取模拟用户目标，并继续进行对话测试。
[0047]本发本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于RASA聊天机器人的任务型多轮对话测试方法，其特征在于，所述方法包括以下步骤：构建用户目标库，并从所述用户目标库中随机采样获取模拟用户目标，根据所述模拟用户目标生成模拟用户动作；生成所述模拟用户动作对应的模拟用户自然语言回复；根据所述模拟用户自然语言回复生成模拟用户回复；根据所述模拟用户回复进行RASA聊天机器人的任务型多轮对话的功能测试。2.根据权利要求1所述的基于RASA聊天机器人的任务型多轮对话测试方法，其特征在于，所述构建用户目标库，并从所述用户目标库中随机采样获取用户目标包括：采用人工标注的方法生成用户目标库；所述模拟用户目标包括用户提供槽值及用户请求槽值；预设目标测试次数，其中，所述测试次数不小于所述目标测试次数。3.根据权利要求1所述的基于RASA聊天机器人的任务型多轮对话测试方法，其特征在于，所述生成所述模拟用户动作对应的模拟用户自然语言回复还包括：根据所述用户动作从用户话术模板库中检索对应的模拟用户自然语言回复；所述用户话术模板库由随机采样的模拟用户自然语言回复构成。4.根据权利要求2所述的基于RASA聊天机器人的任务型多轮对话测试方法，其特征在于，根据所述模拟用户回复进行RASA聊天机器人的任务型多轮对话的功能测试包括：解析所述模拟用户回复，获取用户语义解析结果及测试用户目标；根据测试用户目标生成测试用户动作；根据测试用户动作生成RASA聊天机器人动作，获取自然语言回复结果及多轮对话轮数；根据所述用户语义解析结果、自然语言回复结果及对话轮次评估RASA聊天机器人的任务型多轮对话的功能。5.根据权利要求2
‑
4任一项所述的基于RASA聊天机器人的任务型多轮对话测试方法，其特征在于，所述根据测试用户动作生成RASA聊天机器人动作，获取自然语言回复结果及测试次数包括：在所述RASA聊天机器人动作包含请求词槽时，根据第二请求词槽生成模拟用户动作，并继续进行对话测试；在所述RASA聊天机器人动作不包含请求词槽时，且在所述测试次数小于目标测试次数时，继续从所述用户目标库中随机采样获取模拟用户目标，并继续进行对话测试。6.一种基于RASA聊天机器人的任务型...

【专利技术属性】
技术研发人员：严雨林，
申请(专利权)人：深圳联友科技有限公司，
类型：发明
国别省市：