基于AI检验的咨询师质量评估系统及评估方法技术方案

本发明专利技术公开了基于AI检验的咨询师质量评估系统，包括咨询控制服务器(1)、咨询案例存储库(2)、咨询师端(3)、咨询者端(4)和报警和求助端(5)，所述咨询控制服务器(1)分别咨询案例存储库(2)、咨询师端(3)、咨询者端(4)和报警和求助端(5)数据连接，实现数据通信和控制。本申请提供一种基于AI辅助咨询的分析方法，基于先进的人工智能技术，能够智能获取咨询者的表情，判断咨询者的状态是否适合咨询，并给出咨询的打分，确定咨询的质量，为咨询者提供更好的服务，同时及时让咨询者调整自己的情绪和心理，以提高咨询时候的质量，同时加快咨询者的咨询进度。

【技术实现步骤摘要】
基于AI检验的咨询师质量评估系统及评估方法
本专利技术涉及咨询评估
，具体为一种基于AI检验的咨询师质量评估系统及评估方法。
技术介绍
咨询，通常是采用面对面的方式，或其他方式，如语音模式、视频模式和文字模式进行，但是这种咨询方式，不仅形式单调，而需要让咨询者和被咨询者面对面进行，而咨询者由于存在某种目的，容易隐藏一些表情等。这会导致咨询存在不准确的接哦股。专利CN111476083A提供了一种电力员工安全帽佩戴自动识别方法，涉及模式识别与智能视频分析
，建立以行人训练样本为输入的行人检测模型，通过网络参数微调，实现测试样本行人区域检测；建立以安全帽训练样本集为输入的SSD安全帽检测模型，将行人检测模型得到的行人上半身区域图像输入训练好的SSD安全帽检测模型，通过SSD网络参数微调，实现了实时的、高准确度的安全帽佩戴自动识别。本专利技术电力员工安全帽佩戴自动识别方法，利用高效的机器学习算法直接对目标实现检测，避免了外界环境变化导致颜色和边缘特征变化而影响检测精度，同时采用两种检测模型级联应用的方式，提升检测精度和效率。本专利技术提供的电力员工安全帽佩戴自动识别方法，利用高效的机器学习算法直接对目标实现检测，不依赖于行人的肤色信息和安全帽的颜色信息，避免了光照变化对检测精度的影响；不依赖于人脸区域的检测结果，克服了因人脸遮挡和行人背对摄像头而导致的漏检问题。本专利技术建立两个机器学习模型并级联使用，分别发挥了各自的优势，既能克服直接检测安全帽时的小目标检测困难，又能获得较好的实时性。专利CN111881106A公开一种基于AI检验的数据标注和处理方法，本专利技术提出基于AI检验的数据标注和处理方法。所述方法包括获取待标注数据、将所述业务数据存储至业务数据存储系统中、所述业务数据存储系统广播所述业务数据并基于反馈结果进行标注任务分配、接收标注后的数据并进行AI检验处理等步骤。本专利技术的技术方案能基于AI模型确定人工标注的准确性，减少标注任务分配的人数，降低企业成本；同时标注人员可以用过微信小程序、h5网页、APP、PC网页等多种渠道来标注，手机端可以把标注人员的碎片时间利用起来，提高标注的效率。本专利技术还公开实现所述方法的计算机可读存储介质。专利CN111881105A公开了一种业务数据的标注模型及其模型训练方法，本专利技术提出业务数据的标注模型及其模型训练方法。所述标注系统包括至少一个标注模型，所述标注模型包括数据标注AI检验模型。所述标注系统包括分布式文件系统(hdfs)、数据仓库工具(hive)、对象-关系型数据库管理系统(postgresql)以及远程字典服务模块(redis)。所述模型训练方法用于训练所述的业务数据的标注系统中所述的数据标注AI检验模型，该方法包括将判定数据标注有效的数据用json的格式发送到kafka中，通过kafka中的数据，重新自动训练所述数据标注AI检验模型。本专利技术的技术方案能够确保数据标注的准确性以及实现大规模数据准确标注。1.前往咨询者可能存在隐瞒，这样导致咨询并未真实反映咨询者的真实表情，那么如果仅仅依据咨询师的咨询内容作为咨询的结果，必然存在差异，导致咨询并不准确。2.前来咨询的人往往会出现言行不一的表情，针对一些不希望的表情容易会隐藏，但是表情往往是不会骗人的，因此如果能获取咨询者情绪，从而提高咨询者的咨询过程的体验，而咨询师通常并无依据咨询者的情绪实时调整咨询者咨询进程，对咨询师的要求也比较高，但现有技术中并无这种技术手段。3.咨询师往往没有完全注意咨询者的表情、语音等数据，仅通过调查问卷和直接面对面的形式进行，咨询形式单一，不符合现今的多元化咨询方式。4.现今，人工智能技术已经在很多领域得到了较好的应用，如人脸识别，各种智能机器人等，但是在咨询方面并未有效的应用。面对上述技术问题，人们希望提供一种能够智能识别咨询者的情绪和面部表情的系统，能够避免咨询者的作假，真实反映咨询者的信息，提高准确的系统；另外一方面，能提供咨询师一个相应的咨询建议，以降低咨询师的要求。但到目前为止，现有技术中并无有效办法解决上述技术难题。而随着AI技术和人脸识别和语音识别技术的出现，人们寄往于借助先进的识别技术和AI智能化技术，解决上述技术问题，使其能提供更加准确的智能化识别技术以提高咨询的准确性。
技术实现思路
本专利技术的目的在于提供一种基于AI检验的咨询师质量评估系统及评估方法，以解决上述
技术介绍
中提出的问题。为实现上述目的，本专利技术提供如下技术方案：一种基于AI检验的咨询师质量评估系统，包括咨询控制服务器1、咨询案例存储库2、咨询师端3、咨询者端4、和报警和求助端5；所述咨询控制服务器1分别咨询案例存储库2、咨询师端3、咨询者端4和报警和求助端5数据连接，实现数据通信和控制；其中，所述咨询师端3包括咨询师视频显示端6、音频播放端7、播放控制模块8、咨询提醒单元9和AI分析器；其配置成，所述咨询师视频显示端6采用WebRTC协议显示在咨询时播放咨询者的实时视频图像，所述音频播放端7用于播放在咨询时咨询者的实时音频语音信息，以供咨询师判断是否需要调整咨询形式或者中断咨询；所述播放控制模块8用控制所述视频图像和音频图像的播放，或者调起相应的视频图像和音频图像的播放；所述AI分析器15根据获取的实时视频图像、音频语音信息进行分析以判断当前的咨询模式是否适合继续进行咨询；所述咨询提醒单元9可以根据咨询者的情况提醒咨询师确定是否继续进行当前咨询，或者转换咨询方式；所述咨询者端4包括视频播放模块10、摄像头11、耳麦12、本地服务器13和音响14；其中所述视频播放模块10用于根据咨询控制服务器或咨询师端的控制播放规定的视频，所述音响用于同步根据咨询控制服务器或咨询师端的控制播放规定的音频；所述耳麦12用于将咨询者的声音转换为电信号并进行传输；所述摄像头11用于获取所述咨询者的面部表情视频，并通过RTMP协议将所述面部表情视频实时传输给所述咨询控制服务器，所述咨询控制服务器将音频和视频实时传输给所述咨询师视频显示端；所述本地服务器13用于在咨询者端进行分析和控制，用于控制本地的音频、视频播放和声音、视频的传感；所述咨询案例存储库2存储有咨询者表情模型库，所述咨询者表情模型库存储大量的咨询者的咨询信息和对应的状态和应对信息。优选的，所述咨询者表情模型库包括以人脸表情、视频数据、语音数据、文本数据为维度，并对应相应的实际情绪、是否出现异常，是否需要报警，危险级别，对应于的安抚方式。优选的，在开始进行咨询时，所述咨询控制服务器根据所述咨询者端的所述摄像头(11)获取的人脸表情或视频数据，在所述咨询者表情模型库利用AI智能查询的方式，查询并匹配最接近的咨询者表情模型，当检查到出现异常、并需要报警时，发送报警信息给所述报警和求助模块，所述报警和求助模块发送给110紧急处紧急报警信息和发送给120相应的求助信息。优选的，所述摄像头(11)获取实时视频图像后，提取实时视频帧图像，所述本地处理器13结合大数据和图像定位YOLOV3本文档来自技高网...

【技术保护点】
1.一种基于AI检验的咨询师质量评估系统，包括咨询控制服务器(1)、咨询案例存储库(2)、咨询师端(3)、咨询者端(4)和报警和求助端(5)，所述咨询控制服务器(1)分别咨询案例存储库(2)、咨询师端(3)、咨询者端(4)和报警和求助端(5)数据连接，实现数据通信和控制；其特征在于：/n其中，所述咨询师端(3)包括咨询师视频显示端(6)、音频播放端(7)、播放控制模块(8)、咨询提醒单元(9)和AI分析器(15)；其配置成，所述咨询师视频显示端(6)采用WebRTC协议显示在咨询时播放咨询者的实时视频图像，所述音频播放端(7)用于播放在咨询时咨询者的实时音频语音信息，以供咨询师判断是否需要调整咨询形式或者中断咨询；所述播放控制模块(8)用控制所述视频图像和音频图像的播放，或者调起相应的视频图像和音频图像的播放；所述AI分析器(15)根据获取的实时视频图像、音频语音信息进行分析以判断当前的咨询模式是否适合继续进行咨询；所述咨询提醒单元(9)可以根据咨询者的情况提醒咨询师确定是否继续进行当前咨询，或者转换咨询方式；/n所述咨询者端(4)包括视频播放模块(10)、摄像头(11)、耳麦(12)、本地服务器(13)和音响(14)；其中所述视频播放模块(10)用于根据咨询控制服务器或咨询师端的控制播放规定的视频，所述音响用于同步根据咨询控制服务器或咨询师端的控制播放规定的音频；所述耳麦(12)用于将咨询者的声音转换为电信号并进行传输；所述摄像头(11)用于获取所述咨询者的面部表情视频，并通过RTMP协议将所述面部表情视频实时传输给所述咨询控制服务器，所述咨询控制服务器将音频和视频实时传输给所述咨询师视频显示端；所述本地服务器(13)用于在咨询者端进行分析和操纵，用于控制本地的音频、视频播放和声音、视频的传感；/n所述咨询案例存储库(2)存储有咨询者表情模型库，所述咨询者表情模型库存储大量的咨询者的咨询信息和对应的状态和应对信息；所述咨询者表情模型库包括以人脸表情、视频数据、语音数据、文本数据为维度，并对应相应的实际情绪、是否出现异常，是否需要报警，危险级别，对应于的安抚方式；在开始进行咨询时，所述咨询控制服务器根据所述咨询者端的所述摄像头(11)获取的人脸表情或视频数据，在所述咨询者表情模型库利用AI智能查询的方式，查询并匹配最接近的咨询者表情模型，当检查到出现异常、并需要报警时，发送报警信息给所述报警和求助模块，所述报警和求助模块发送给110紧急处紧急报警信息和发送给120相应的求助信息。/n...

【技术特征摘要】
1.一种基于AI检验的咨询师质量评估系统，包括咨询控制服务器(1)、咨询案例存储库(2)、咨询师端(3)、咨询者端(4)和报警和求助端(5)，所述咨询控制服务器(1)分别咨询案例存储库(2)、咨询师端(3)、咨询者端(4)和报警和求助端(5)数据连接，实现数据通信和控制；其特征在于：
其中，所述咨询师端(3)包括咨询师视频显示端(6)、音频播放端(7)、播放控制模块(8)、咨询提醒单元(9)和AI分析器(15)；其配置成，所述咨询师视频显示端(6)采用WebRTC协议显示在咨询时播放咨询者的实时视频图像，所述音频播放端(7)用于播放在咨询时咨询者的实时音频语音信息，以供咨询师判断是否需要调整咨询形式或者中断咨询；所述播放控制模块(8)用控制所述视频图像和音频图像的播放，或者调起相应的视频图像和音频图像的播放；所述AI分析器(15)根据获取的实时视频图像、音频语音信息进行分析以判断当前的咨询模式是否适合继续进行咨询；所述咨询提醒单元(9)可以根据咨询者的情况提醒咨询师确定是否继续进行当前咨询，或者转换咨询方式；
所述咨询者端(4)包括视频播放模块(10)、摄像头(11)、耳麦(12)、本地服务器(13)和音响(14)；其中所述视频播放模块(10)用于根据咨询控制服务器或咨询师端的控制播放规定的视频，所述音响用于同步根据咨询控制服务器或咨询师端的控制播放规定的音频；所述耳麦(12)用于将咨询者的声音转换为电信号并进行传输；所述摄像头(11)用于获取所述咨询者的面部表情视频，并通过RTMP协议将所述面部表情视频实时传输给所述咨询控制服务器，所述咨询控制服务器将音频和视频实时传输给所述咨询师视频显示端；所述本地服务器(13)用于在咨询者端进行分析和操纵，用于控制本地的音频、视频播放和声音、视频的传感；
所述咨询案例存储库(2)存储有咨询者表情模型库，所述咨询者表情模型库存储大量的咨询者的咨询信息和对应的状态和应对信息；所述咨询者表情模型库包括以人脸表情、视频数据、语音数据、文本数据为维度，并对应相应的实际情绪、是否出现异常，是否需要报警，危险级别，对应于的安抚方式；在开始进行咨询时，所述咨询控制服务器根据所述咨询者端的所述摄像头(11)获取的人脸表情或视频数据，在所述咨询者表情模型库利用AI智能查询的方式，查询并匹配最接近的咨询者表情模型，当检查到出现异常、并需要报警时，发送报警信息给所述报警和求助模块，所述报警和求助模块发送给110紧急处紧急报警信息和发送给120相应的求助信息。


2.根据权利要求1所述的一种基于AI检验的咨询师质量评估系统，其特征在于：所述摄像头(11)获取实时视频图像后，提取实时视频帧图像，所述本地处理器(13)结合大数据和图像定位YOLOV3算法，实时定位视频中的人脸五官，检测并截取视频中的人脸得出最近的视频图像流，并将处理后的视频图像流发送给咨询控制服务器和发送给咨询师端进行播放。


3.根据权利要求1所述的一种基于AI检验的咨询师质量评估系统，其特征在于：所述AI分析器根...

【专利技术属性】
技术研发人员：贺同路，李嘉懿，李玲，任永亮，龚有三，
申请(专利权)人：北京智能工场科技有限公司，
类型：发明
国别省市：北京;11