一种用于客服坐席的音视频在线巡检方法及系统技术方案

本发明专利技术公开了一种用于客服坐席的音视频在线巡检方法及系统，包括获取各客服坐席的视频流及对应的音频流；基于音频检测规则对音频流进行语音自动巡检并实时输出语音巡检结果，基于语音巡检结果判断是否检测到减分项，若检测到减分项，则自动触发联动视频巡检对违规音频流对应的视频流进行存储或抓帧，以获得联动巡检结果；基于视频检测规则对视频流进行自定义时间巡检得到自定义视频巡检结果；基于语音巡检结果、联动巡检结果和自定义视频巡检结果获得各客服坐席的加分项分值和减分项分值并分别进行排序，将排序结果发送给人工点检员以进行在线手动点检；该方法实现了音视频线上自动巡检和手动双重复查机制，大大缩减了考核成本和人力资源。本和人力资源。本和人力资源。

【技术实现步骤摘要】
一种用于客服坐席的音视频在线巡检方法及系统


[0001]本专利技术涉及音视频检测
，具体涉及一种用于客服坐席的音视频在线巡检方法及系统。

技术介绍

[0002]随着服务行业不断提升人工客服的服务质量，推广企业优惠力度及完善投诉机制，考核客服人员实施工作的质量成为一项必不可少的工作；传统的考核方式包括远程视频监控和由点检员线下去检查各服务厅秩序以及客服的办理业务流程是否合规。
[0003]通过远程视频监控的考核方式无法关联具体的某一柜台的音频数据，当遇到问题时，无法追溯还原当时的音频数据；由点检员线下去检查各服务厅的考核方式是各个点检人员在各个客服服务厅及客户部来回奔波，通过手动统计哪些考核指标项是通过，哪些是违规项；由于客服服务厅多，点检人员数量有限，导致人力成本高、点检效率低且考核不全面不客观；当遇到有客户投诉事件时，难以找到当时办理业务的视频和录音或文本记录进行回溯；对各门店坐席进行人工评估考核时，缺乏客观性的点检数据分析、智能加减分，容易出现问题遗漏，不能正确及时的反应出一个服务厅所需整改的地方，从而不利于客户满意度的提升。
[0004]而且传统的考核方式中还存在音视频无关联、拾音设备不带角色分离以及无法清晰识别到柜台营业员的办理规范流程等问题。

技术实现思路

[0005]针对上述问题，本专利技术的一个目的是提供一种用于客服坐席的音视频在线巡检方法，该方法利用线上视频点检（视频在线巡检）和智能语音识别（语音自动巡检）技术相结合，将客服办理业务的音视频信号转换为可被计算机程序所识别的信息，从而识别说话人的内容以及提取关键术语；实现了服务行业音视频线上自动巡检和手动双重复查机制，大大缩减了考核成本和人力资源。
[0006]本专利技术的第二个目的是提供一种用于客服坐席的音视频在线巡检系统，该系统提供智能音视频设备接入、设置关键术语模板（音频检测规则）、实时监看监听、历史业务办理的场景记录复查、业务办理中的加减分项统计、视频点检统计、音频点检等统计信息；使管理员可后台查看各个柜台办理业务时的实时谈话动态，实时查看语音转写结果；对各服务厅的历史办理业务谈话及视频数据进行统一管理和大数据分析，实时了解各客服坐席的工作状态，对潜存在的违规进行预防和处理，便于针对性开展考核工作。
[0007]本专利技术所采用的第一个技术方案是：一种用于客服坐席的音视频在线巡检方法，包括以下步骤：S100：获取各客服坐席的视频流及对应的音频流；S200：基于音频检测规则对所述音频流进行语音自动巡检并实时输出语音巡检结果，基于所述语音巡检结果判断是否检测到减分项，若检测到减分项，则自动触发联动视频
巡检对违规音频流对应的视频流进行存储或抓帧，以获得联动巡检结果；S300：基于视频检测规则对视频流进行自定义时间巡检得到自定义视频巡检结果；S400：基于所述语音巡检结果、联动巡检结果和自定义视频巡检结果获得各客服坐席的加分项分值和减分项分值并分别进行排序，将排序结果发送给人工点检员以进行在线手动点检。
[0008]优选地，所述步骤S200中基于音频检测规则对所述音频流进行语音自动巡检具体为：S210：将音频流实时转写成文字；S220：基于所述音频检测规则对所述文字进行语义分析，基于所述音频检测规则判断是否存在加分项或减分项，并实时输出语音巡检结果。
[0009]优选地，所述音频流采用分发机制获得，具体为：音频流采用UDP协议搭载控制信令，将音频流分发云网关；云网关分发出pcm格式的音频流和blob格式的音频流；将所述pcm格式的音频流通过ws协议发送到语音识别引擎进行转写，同时通过faad库将pcm编码成AAC格式的音频流数据，AAC格式的音频流数据通过ws协议传输至前端进行播放；将所述blob格式的音频流通过ws协议发送到前端进行播放。
[0010]优选地，还包括步骤S500：根据所述排序结果和人工巡检规则，先对排序在前的客服坐席对应的视频采集设备和音频采集设备进行实时监控；当实时监控到视频流或/和音频流中有减分项时，对该减分项对应的违规视频或/和违规音频进行保存。
[0011]优选地，所述步骤S400中的排序包括以下子步骤：S410：基于语音巡检结果中的加分项进行计算得到每个客服坐席的音频加分项分值；基于语音巡检结果中的减分项进行计算得到每个客服坐席的音频减分项分值；S420：基于联动巡检结果中的减分项和自定义视频巡检结果中的减分项进行计算得到每个客服坐席的视频减分项分值；基于自定义巡检结果中的加分项进行计算得到视频加分项分值；S430：基于每个客服坐席的视频减分项分值和音频减分项分值获得每个客服坐席的音视频违规总分，基于每个客服坐席的视频加分项分值和音频加分项分值获得每个客服坐席的音视频加分总分；S440：将每个所述客服坐席的音视频违规总分依据由高到低的顺序进行排序得到第一排序，将只有加分项而没有减分项的客服坐席的音视频加分总分依据由低到高的顺序进行排序得到第二排序，将所述第一排序置于所述第二排序之前获得最终排序结果。
[0012]优选地，所述步骤S200中还包括：当监测到视频流中有减分项时，保存对应的违规视频流及其音频流；当监测到音频流中有减分项时，保存对应的违规音频流及其视频流；将保存的视频流和音频流进行合成以生成新视频流。
[0013]优选地，所述步骤S500中还包括：
当监测到视频流中有减分项时，保存对应的违规视频流及其音频流；当监测到音频流中有减分项时，保存对应的违规音频流及其视频流；将保存的视频流和音频流进行合成以生成新视频流。
[0014]优选地，所述新视频流通过以下子步骤合成：（1）将所述保存的视频流中的音频数据按帧类型进行过滤以生成双声道静音帧，基于所述双声道静音帧生成静音视频流；（2）对所述保存的音频流进行双声道重采样生成重采样音频流；（3）基于时间戳将所述静音视频流和所述重采样音频流进行合成以生成新视频流。
[0015]本专利技术所采用的第二个技术方案是：一种用于客服坐席的音视频在线巡检系统，包括采集模块、联动巡检模块、自定义时间巡检模块和排序模块；所述采集模块用于获取各客服坐席的视频流及对应的音频流；所述联动巡检模块用于基于音频检测规则对所述音频流进行语音自动巡检并实时输出语音巡检结果，基于所述语音巡检结果判断是否检测到减分项，若检测到减分项，则自动触发联动视频巡检对违规音频流对应的视频流进行存储或抓帧，以获得联动巡检结果；所述自定义时间巡检模块用于基于视频检测规则对视频流进行自定义时间巡检得到自定义视频巡检结果；所述排序模块用于基于所述语音巡检结果、联动巡检结果和自定义视频巡检结果获得各客服坐席的加分项分值和减分项分值并分别进行排序，将排序结果发送给人工点检员以进行在线手动点检。
[0016]优选地，还包括在线手动点检模块，所述在线手动点检模块用于执行以下操作：根据所述排序结果和人工巡检规则，先对排序在前的客服坐席对应的视频采集设备和音频采集设备进行实时监控；当实时监控到视频流或/和音频流中有减分项时，对该减分项对应的违规视频或/本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于客服坐席的音视频在线巡检方法，其特征在于，包括以下步骤：S100：获取各客服坐席的视频流及对应的音频流；S200：基于音频检测规则对所述音频流进行语音自动巡检并实时输出语音巡检结果，基于所述语音巡检结果判断是否检测到减分项，若检测到减分项，则自动触发联动视频巡检对违规音频流对应的视频流进行存储或抓帧，以获得联动巡检结果；S300：基于视频检测规则对视频流进行自定义时间巡检得到自定义视频巡检结果；S400：基于所述语音巡检结果、联动巡检结果和自定义视频巡检结果获得各客服坐席的加分项分值和减分项分值并分别进行排序，将排序结果发送给人工点检员以进行在线手动点检。2.根据权利要求1所述的音视频在线巡检方法，其特征在于，所述步骤S200中基于音频检测规则对所述音频流进行语音自动巡检具体为：S210：将音频流实时转写成文字；S220：基于所述音频检测规则对所述文字进行语义分析，基于所述音频检测规则判断是否存在加分项或减分项，并实时输出语音巡检结果。3.根据权利要求1所述的音视频在线巡检方法，其特征在于，所述音频流采用分发机制获得，具体为：音频流采用UDP协议搭载控制信令，将音频流分发云网关；云网关分发出pcm格式的音频流和blob格式的音频流；将所述pcm格式的音频流通过ws协议发送到语音识别引擎进行转写，同时通过faad库将pcm编码成AAC格式的音频流数据，AAC格式的音频流数据通过ws协议传输至前端进行播放；将所述blob格式的音频流通过ws协议发送到前端进行播放。4.根据权利要求1所述的音视频在线巡检方法，其特征在于，还包括步骤S500：根据所述排序结果和人工巡检规则，先对排序在前的客服坐席对应的视频采集设备和音频采集设备进行实时监控；当实时监控到视频流或/和音频流中有减分项时，对该减分项对应的违规视频或/和违规音频进行保存。5.根据权利要求1所述的音视频在线巡检方法，其特征在于，所述步骤S400中的排序包括以下子步骤：S410：基于语音巡检结果中的加分项进行计算得到每个客服坐席的音频加分项分值；基于语音巡检结果中的减分项进行计算得到每个客服坐席的音频减分项分值；S420：基于联动巡检结果中的减分项和自定义视频巡检结果中的减分项进行计算得到每个客服坐席的视频减分项分值；基于自定义巡检结果中的加分项进行计算得到视频加分项分值；S430：基于每个客服坐席的视频减分项分值和音频减分项分值获得每个客服坐席的音视频违规总分，基于每个客服坐席的视频加分项分值和音...

【专利技术属性】
技术研发人员：李国超，杨旭，赵克勇，武哲，宋明强，杨益焜，
申请(专利权)人：北京快鱼电子股份公司，
类型：发明
国别省市：