系统评估方法、智能评估系统及计算机可读存储介质技术方案

本发明专利技术公开了一种系统评估方法、智能评估系统及计算机可读存储介质，该系统评估方法包括：获取智能客服系统与客户沟通所产生的对话记录；统计分析对话记录中每个客户所咨询问题的语义等同概率、每个客户的对话轮数和客户转接人工客服的概率，以获得统计数据；根据统计数据综合评估智能客服系统的服务水平，以获取评估结果。本发明专利技术改变了人工评估智能客服系统的评估方式，采用自动化系统评估机制，从智能客服系统的整体出发，实现对智能客服系统客观全面的系统化评估，避免人工评估的主观性和曲线局限性，以获得智能客服系统服务水平真实有效的评估结果，从而提高到评估效果的准确率，反馈出智能客服系统真实的服务水平，从而提高评估效率。

System evaluation method, intelligent evaluation system and computer readable storage medium

The invention discloses a system evaluation method, intelligent evaluation system and computer readable storage medium, the system evaluation method comprises the following steps: acquiring intelligent customer service system and customer communication generated by the dialogue recording; statistical analysis of the probability of each customer record in the semantic dialogue consultation with probability, each customer dialogue and the number of customers turn round customer service, in order to obtain statistical data; according to the comprehensive evaluation of statistical data of intelligent customer service system service level, in order to obtain the results of the evaluation. The invention changes the manual evaluation of intelligent service system evaluation method, the automation system and evaluation mechanism, starting from the whole intelligent customer service system, the implementation of the system of evaluation of intelligent service system comprehensively and objectively, subjectivity and limitations to avoid the manual evaluation of the curve, in order to obtain the evaluation results of service level of intelligent service system so as to improve the real effective. To evaluate the accuracy of the feedback effect, service level of the real intelligent customer service system, so as to improve the efficiency of assessment.

【技术实现步骤摘要】
系统评估方法、智能评估系统及计算机可读存储介质
本专利技术涉及系统评估
，尤其涉及一种系统评估方法、智能评估系统及计算机可读存储介质。
技术介绍
目前智能客服系统依靠其智能化数据分析，在一定程度上缓解了人工客服的压力，而评估智能客服系统的服务水平，有利于我们提高该系统的智能化水平，进而提高智能客服系统的工作效率。但是，评估智能客服系统一般采用人工评估的方式，而人工评估通常会掺杂个人主观性和局限性，并且，人工评估的方式没有标准化的评估标准，无法系统客观化地从智能客服系统的整体出发，做到全面客观的正确评估，从而影响到评估效果的正确性，无法反馈出智能客服系统真实的服务水平，导致评估效率低下。
技术实现思路
本专利技术的主要目的在于提供一种系统评估方法、智能评估系统及计算机可读存储介质，旨在解决因人工评估智能客服系统中的不客观不全面因素导致排评估效率低下的技术问题。为实现上述目的，本专利技术实施例提供一种系统评估方法，所述系统评估方法包括：获取智能客服系统与客户沟通所产生的对话记录；统计分析对话记录中每个客户所咨询问题的语义等同概率、每个客户的对话轮数和客户转接人工客服的概率，以获得统计数据；根据统计数据综合评估智能客服系统的服务水平，以获取评估结果。优选地，所述统计分析对话记录中每个客户所咨询问题的语义等同概率的步骤包括：获取每个客户在多轮对话中所有的咨询问题；分析识别所有咨询问题各自的语义，并计算所有咨询问题的语义等同概率；当检测到语义等同概率小于第一预设阈值时，判定智能客服系统的服务效率为高效。优选地，所述统计分析所有客户的对话轮数的步骤包括：统计分析每个客户与智能客服系统沟通时对话记录中的对话轮数，并生成对话轮数的第一概率分布图；判断所述第一概率分布图与预设的第二概率分布图是否处于预设的差异范围之内，其中，所述第二概率分布图来源于每个客户与人工客服沟通时对话记录中的对话轮数；当检测到第一概率分布图与第二概率分布图处于预设的差异范围之内，判定该智能客服系统的服务效果等同于人工客服的服务效果。优选地，所述第一概率分布图的图表类型与第二概率分布图的图表类型一致。优选地，所述统计分析客户转接人工客服的概率的步骤包括：统计并计算所有对话记录中客户由智能客服系统转接人工客服系统的转接概率；当检测到转接概率小于第二预设阈值时，判定智能客服系统的服务质量为优质。优选地，所述根据统计数据综合评估智能客服系统的服务水平，以获取评估结果的步骤包括：根据统计数据获取的服务效率、服务效果和服务质量，建立数据评估模型；根据数据评估模型，综合评估智能客服系统的服务水平，以获取评估结果。优选地，所述系统评估方法还包括：根据预设的关键词数据库，获取对话记录中每个客户所咨询问题的关键字；获取关键字所关联的服务项目；统计智能客服系统基于关键字答复的关联服务项目的关联概率；当关联概率大于等于第三预设阈值时，判定智能客服系统的服务正确率高。优选地，所述系统评估方法还包括：当检测到所述关键字映射到关联产品时，统计对话记录中基于关键字推荐关联产品的推荐概率；当推荐概率大于等于第四预设阈值时，判定智能客服系统的产品推荐关联度强。本专利技术还提供一种智能评估系统，所述智能评估系统包括：存储器、处理器，通信总线以及存储在所述存储器上的系统评估程序，所述通信总线用于实现处理器与存储器间的通信连接；所述处理器用于执行所述系统评估程序，以实现以下步骤：获取智能客服系统与客户沟通所产生的对话记录；统计分析对话记录中每个客户所咨询问题的语义等同概率、每个客户的对话轮数和客户转接人工客服的概率，以获得统计数据；根据统计数据综合评估智能客服系统的服务水平，以获取评估结果。优选地，所述统计分析对话记录中每个客户所咨询问题的语义等同概率的步骤包括：获取每个客户在多轮对话中所有的咨询问题；分析识别所有咨询问题各自的语义，并计算所有咨询问题的语义等同概率；当检测到语义等同概率小于第一预设阈值时，判定智能客服系统的服务效率为高效。优选地，所述统计分析所有客户的对话轮数的步骤包括：统计分析每个客户与智能客服系统沟通时对话记录中的对话轮数，并生成对话轮数的第一概率分布图；判断所述第一概率分布图与预设的第二概率分布图是否处于预设的差异范围之内，其中，所述第二概率分布图来源于每个客户与人工客服沟通时对话记录中的对话轮数；当检测到第一概率分布图与第二概率分布图处于预设的差异范围之内，判定该智能客服系统的服务效果等同于人工客服的服务效果。优选地，所述第一概率分布图的图表类型与第二概率分布图的图表类型一致。优选地，所述统计分析客户转接人工客服的概率的步骤包括：统计并计算所有对话记录中客户由智能客服系统转接人工客服系统的转接概率；当检测到转接概率小于第二预设阈值时，判定智能客服系统的服务质量为优质。优选地，所述根据统计数据综合评估智能客服系统的服务水平，以获取评估结果的步骤包括：根据统计数据获取的服务效率、服务效果和服务质量，建立数据评估模型；根据数据评估模型，综合评估智能客服系统的服务水平，以获取评估结果。优选地，所述系统评估方法还包括：根据预设的关键词数据库，获取对话记录中每个客户所咨询问题的关键字；获取关键字所关联的服务项目；统计智能客服系统基于关键字答复的关联服务项目的关联概率；当关联概率大于等于第三预设阈值时，判定智能客服系统的服务正确率高。优选地，所述系统评估方法还包括：当检测到所述关键字映射到关联产品时，统计对话记录中基于关键字推荐关联产品的推荐概率；当推荐概率大于等于第四预设阈值时，判定智能客服系统的产品推荐关联度强。此外，为实现上述目的，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序可被一个或者一个以上的处理器执行以用于：获取智能客服系统与客户沟通所产生的对话记录；统计分析对话记录中每个客户所咨询问题的语义等同概率、每个客户的对话轮数和客户转接人工客服的概率，以获得统计数据；根据统计数据综合评估智能客服系统的服务水平，以获取评估结果。本专利技术首先获取智能客服系统与客户沟通所产生的对话记录；然后统计分析对话记录中每个客户所咨询问题的语义等同概率、每个客户的对话轮数和客户转接人工客服的概率，以获得统计数据；最后根据统计数据综合评估智能客服系统的服务水平，以获取评估结果。本专利技术改变了人工评估智能客服系统的评估方式，采用自动化系统评估机制，从智能客服系统的整体出发，实现对智能客服系统客观全面的系统化评估，避免人工评估的主观性和曲线局限性，以获得智能客服系统服务水平真实有效的评估结果，从而提高到评估效果的准确率，反馈出智能客服系统真实的服务水平，从而提高评估效率。附图说明图1为本专利技术系统评估方法第一实施例的流程示意图；图2为本专利技术系统评估方法第二实施例的流程示意图；图3为本专利技术系统评估方法第三实施例的流程示意图；图4为本专利技术系统评估方法第五实施例的流程示意图；图5为本专利技术系统评估方法第六实施例的流程示意图；图6为本专利技术系统评估方法第七实施例的流程示意图；图7为本专利技术系统评估方法第八实施例的流程示意图；图8为本专利技术实施例方法涉及的硬件运行环境的设备结构示意图。本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明本文档来自技高网...

【技术保护点】
一种系统评估方法，其特征在于，所述系统评估方法包括：获取智能客服系统与客户沟通所产生的对话记录；统计分析对话记录中每个客户所咨询问题的语义等同概率、每个客户的对话轮数和客户转接人工客服的概率，以获得统计数据；根据统计数据综合评估智能客服系统的服务水平，以获取评估结果。

【技术特征摘要】
1.一种系统评估方法，其特征在于，所述系统评估方法包括：获取智能客服系统与客户沟通所产生的对话记录；统计分析对话记录中每个客户所咨询问题的语义等同概率、每个客户的对话轮数和客户转接人工客服的概率，以获得统计数据；根据统计数据综合评估智能客服系统的服务水平，以获取评估结果。2.如权利要求1所述的系统评估方法，其特征在于，所述统计分析对话记录中每个客户所咨询问题的语义等同概率的步骤包括：获取每个客户在多轮对话中所有的咨询问题；分析识别所有咨询问题各自的语义，并计算所有咨询问题的语义等同概率；当检测到语义等同概率小于第一预设阈值时，判定智能客服系统的服务效率为高效。3.如权利要求2所述的系统评估方法，其特征在于，所述统计分析所有客户的对话轮数的步骤包括：统计分析每个客户与智能客服系统沟通时对话记录中的对话轮数，并生成对话轮数的第一概率分布图；判断所述第一概率分布图与预设的第二概率分布图是否处于预设的差异范围之内，其中，所述第二概率分布图来源于每个客户与人工客服沟通时对话记录中的对话轮数；当检测到第一概率分布图与第二概率分布图处于预设的差异范围之内，判定该智能客服系统的服务效果等同于人工客服的服务效果。4.如权利要求3所述的系统评估方法，其特征在于，所述第一概率分布图的图表类型与第二概率分布图的图表类型一致。5.如权利要求4所述的系统评估方法，其特征在于，所述统计分析客户转接人工客服的概率的步骤包括：统计并计算所有对话记录中客户由智能客服系统转接人工客服系统的转接概率...

【专利技术属性】
技术研发人员：方宁，
申请(专利权)人：陆金所上海科技服务有限公司，
类型：发明
国别省市：上海,31