本发明专利技术提供了一种智能客服系统测试方法及装置，可应用于金融领域或其他领域，在获取智能客服系统对应的多个方言测试案例之后，根据预先测试得到的每种方言中每个词的理解难度，确定每个方言测试案例的理解难度，从而按照方言测试案例的理解难度从高到低的顺序对智能客服系统进行测试，由于理解难度越高测试准确率一般越低，因此，在由难到易测试过程中，测试准确率大于阈值时能保证智能客服系统整体测试的准确率，且缩小了测试案例的数量，缩短了测试周期，降低了测试成本，有效提高了智能客服系统的测试效率。能客服系统的测试效率。能客服系统的测试效率。
【技术实现步骤摘要】
一种智能客服系统测试方法及装置
[0001]本专利技术涉及软件测试
，更具体的，涉及一种智能客服系统测试方法及装置。
技术介绍
[0002]为了降低人力成本，很多组织机构都在开发智能客服系统，通过智能客服系统识别客户语音来回答客户所咨询的问题。由于我国方言种类很多，为了提高智能客服系统的对语音识别的准确率，智能客服系统需要能识别不同方言。因此，在智能客服系统的测试过程中，也需要利用方言语音样本进行测试。
[0003]可以理解的是，在智能客服系统的测试过程中，方言语音样本越多测试效果越好，但是方言语音样本越多测试周期越长，并且还会增加测试成本。
技术实现思路
[0004]有鉴于此，本专利技术提供了一种智能客服系统测试方法及装置，在保证智能客服系统整体测试的准确率的同时，缩小了测试案例的数量，缩短了测试周期，降低了测试成本，有效提高了智能客服系统的测试效率。
[0005]为了实现上述专利技术目的，本专利技术提供的具体技术方案如下：
[0006]一种智能客服系统测试方法，包括：
[0007]获取智能客服系统对应的多个方言测试案例；
[0008]根据预先测试得到的每种方言中每个词的理解难度，确定每个所述方言测试案例的理解难度；
[0009]按照所述方言测试案例的理解难度从高到低的顺序，对所述智能客服系统进行测试，直到测试准确率大于阈值。
[0010]可选的，所述获取智能客服系统对应的多个方言测试案例，包括：
[0011]获取所述智能客服系统中待测试功能对应的问题信息；
[0012]将所述问题信息转换为多种方言对应的语音数据；
[0013]分别在多种方言对应的语音数据中叠加场景语音数据，得到多个所述方言测试案例。
[0014]可选的，所述测试得到的每种方言中每个词的理解难度，包括：
[0015]获取每种方言的语音数据；
[0016]将每种方言的语音数据转换成文字信息；
[0017]对所述文字信息进行分词处理以及无意义词筛除处理，得到每种方言的语音数据对应的多个词；
[0018]统计每种方言中每个词的准确率；
[0019]将每种方言中每个词的准确率的倒数，确定为每种方言中每个词的理解难度。
[0020]可选的，所述根据预先测试得到的每种方言中每个词的理解难度，确定每个所述
方言测试案例的理解难度，包括：
[0021]根据预先测试得到的每种方言中每个词的理解难度，确定每个所述方言测试案例中每个词的理解难度；
[0022]将所述方言测试案例中每个词的理解难度的和值确定为相应所述方言测试案例的理解难度。
[0023]可选的，按照所述方言测试案例的理解难度从高到低的顺序，对所述智能客服系统进行测试，直到测试准确率大于阈值，包括：
[0024]按照理解难度从高到低对所述方言测试案例进行排序；
[0025]按照所述排序对所述智能客服系统进行测试，并统计测试准确率；
[0026]在测试准确率大于阈值的情况下，结束测试。
[0027]可选的，按照所述方言测试案例的理解难度从高到低的顺序，对所述智能客服系统进行测试，直到测试准确率大于阈值，包括：
[0028]按照理解难度从高到低对所述方言测试案例进行排序；
[0029]按照所述排序对所述智能客服系统进行测试；
[0030]预测所述排序中第K+1个所述方言测试案例测试后准确率是否小于阈值，K为正整数，且K小于所述方言测试案例总数，历史测试数据中所述方言测试案例的数量达到K后所述方言测试案例的理解难度与测试准确率线性相关；
[0031]若是，结束测试；
[0032]若否，利用所述排序中第K+1个所述方言测试案例对所述智能客服系统进行测试，并预测所述排序中第K+2个所述方言测试案例测试后准确率是否小于阈值，直到预测到下一个所述方言测试案例的准确率小于阈值结束测试。
[0033]可选的，预测所述排序中第K+1个所述方言测试案例测试后准确率是否小于阈值，包括：
[0034]计算所述排序中前K个所述方言测试案例的平均理解难度；
[0035]将所述排序中前K个所述方言测试案例的的测试准确率与所述平均理解难度的比值，确定为单位理解难度准确率；
[0036]将所述排序中第K+1个所述方言测试案例的理解难度与所述单位理解难度准确率的乘积，确定为所述排序中第K+1个所述方言测试案例测试后准确率，并判断该准确率是否小于阈值。
[0037]一种智能客服系统测试装置，包括：
[0038]方言测试案例获取单元，用于获取智能客服系统对应的多个方言测试案例；
[0039]理解难度确定单元，用于根据预先测试得到的每种方言中每个词的理解难度，确定每个所述方言测试案例的理解难度；
[0040]系统测试单元，用于按照所述方言测试案例的理解难度从高到低的顺序，对所述智能客服系统进行测试，直到测试准确率大于阈值。
[0041]可选的，所述方言测试案例获取单元，具体用于：
[0042]获取所述智能客服系统中待测试功能对应的问题信息；
[0043]将所述问题信息转换为多种方言对应的语音数据；
[0044]分别在多种方言对应的语音数据中叠加场景语音数据，得到多个所述方言测试案
例。
[0045]可选的，所述装置还包括词理解难度确定单元，具体用于：
[0046]获取每种方言的语音数据；
[0047]将每种方言的语音数据转换成文字信息；
[0048]对所述文字信息进行分词处理以及无意义词筛除处理，得到每种方言的语音数据对应的多个词；
[0049]统计每种方言中每个词的准确率；
[0050]将每种方言中每个词的准确率的倒数，确定为每种方言中每个词的理解难度。
[0051]可选的，所述理解难度确定单元，具体用于：
[0052]根据预先测试得到的每种方言中每个词的理解难度，确定每个所述方言测试案例中每个词的理解难度；
[0053]将所述方言测试案例中每个词的理解难度的和值确定为相应所述方言测试案例的理解难度。
[0054]可选的，所述系统测试单元，具体用于：
[0055]按照理解难度从高到低对所述方言测试案例进行排序；
[0056]按照所述排序对所述智能客服系统进行测试，并统计测试准确率；
[0057]在测试准确率大于阈值的情况下，结束测试。
[0058]可选的，所述系统测试单元，包括：
[0059]排序子单元，用于按照理解难度从高到低对所述方言测试案例进行排序；
[0060]测试子单元，用于按照所述排序对所述智能客服系统进行测试；
[0061]准确率预测子单元，用于预测所述排序中第K+1个所述方言测试案例测试后准确率是否小于阈值，K为正整数，且K小于所述方言测试案例总数，历史测试数据中所述方言测试案例的数量达本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种智能客服系统测试方法，其特征在于，包括：获取智能客服系统对应的多个方言测试案例；根据预先测试得到的每种方言中每个词的理解难度，确定每个所述方言测试案例的理解难度；按照所述方言测试案例的理解难度从高到低的顺序，对所述智能客服系统进行测试，直到测试准确率大于阈值。2.根据权利要求1所述的方法，其特征在于，所述获取智能客服系统对应的多个方言测试案例，包括：获取所述智能客服系统中待测试功能对应的问题信息；将所述问题信息转换为多种方言对应的语音数据；分别在多种方言对应的语音数据中叠加场景语音数据，得到多个所述方言测试案例。3.根据权利要求1所述的方法，其特征在于，所述测试得到的每种方言中每个词的理解难度，包括：获取每种方言的语音数据；将每种方言的语音数据转换成文字信息；对所述文字信息进行分词处理以及无意义词筛除处理，得到每种方言的语音数据对应的多个词；统计每种方言中每个词的准确率；将每种方言中每个词的准确率的倒数，确定为每种方言中每个词的理解难度。4.根据权利要求1所述的方法，其特征在于，所述根据预先测试得到的每种方言中每个词的理解难度，确定每个所述方言测试案例的理解难度，包括：根据预先测试得到的每种方言中每个词的理解难度，确定每个所述方言测试案例中每个词的理解难度；将所述方言测试案例中每个词的理解难度的和值确定为相应所述方言测试案例的理解难度。5.根据权利要求1所述的方法，其特征在于，按照所述方言测试案例的理解难度从高到低的顺序，对所述智能客服系统进行测试，直到测试准确率大于阈值，包括：按照理解难度从高到低对所述方言测试案例进行排序；按照所述排序对所述智能客服系统进行测试，并统计测试准确率；在测试准确率大于阈值的情况下，结束测试。6.根据权利要求1所述的方法，其特征在于，按照所述方言测试案例的理解难度从高到低的顺序，对所述智能客服系统进行测试，直到测试准确率大于阈值，包括：按照理解难度从高到低对所述方言测试案例进行排序；按照所述排序对所述智能客服系统进行测试；预测所述排序中第K+1个所述方言测试案例测试后...
【专利技术属性】
技术研发人员：黄文强，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。