【技术实现步骤摘要】
本申请属于人工智能，尤其涉及一种基于多模态的客服质检方法、装置、设备及存储介质。
技术介绍
1、随着生活水平的提高，高质量的客户服务是企业提高自身服务质量、增强竞争优势的重要途径。运用人工智能技术对客服工作进行质检，可以提高客服工作的服务质量。
2、现有技术中，多采用匹配通话模板来指导客服工作，对客服人员通话内容的模板匹配普遍使用经过语音转写的文本内容进行语义匹配计算相似度的方式，少数利用文字及语音信号表达的情绪进行质检。
3、然而，现有技术中没有考虑客服在视频场景下具有的语音、视频图像等多模态信息，导致质检的评估结果不全面的缺陷。
技术实现思路
1、本申请提供一种基于多模态的客服质检方法、装置、设备及存储介质，用以解决现有技术中评估结果不全面的缺陷。
2、第一方面，本申请提供一种基于多模态的客服质检方法，该方法包括：
3、获取真实视频通话数据以及通话标准数据，所述真实视频通话数据为多个客服人员执行客服任务时得到的数据，所述通话标准数据为预先设置的通话标准模板；
4、对所述真实视频通话数据以及通话标准数据分别进行预处理，得到所述真实视频通话数据以及通话标准数据的多模态基础特征；
5、采用多模态神经网络模型对所述真实视频通话数据以及通话标准数据的多模态基础特征进行分析，得到所述真实视频通话数据和通话标准数据的多模态特征分析结果；
6、根据所述真实视频通话数据和通话标准数据的多模态特征分析结果，对客服服
7、可选的，所述多模态基础特征包括：文本特征和图像特征，所述对所述真实视频通话数据以及通话标准数据分别进行预处理，得到所述真实视频通话数据以及通话标准数据的多模态基础特征，包括：
8、将真实视频通话数据以及通话标准数据分别输入视频数据处理通道，得到所述真实视频通话数据以及通话标准数据的图像特征；
9、将目标时段的真实视频通话数据以及通话标准数据分别输入文本数据处理通道，得到所述真实视频通话数据以及通话标准数据的文本特征。
10、可选的，所述将真实视频通话数据以及通话标准数据分别输入视频数据处理通道，得到所述真实视频通话数据以及通话标准数据的图像特征，包括：
11、视频数据处理通道对所述真实视频通话数据以及通话标准数据按照时序做分割处理，获取目标时段的真实视频通话数据以及通话标准数据；
12、对所述目标时段的真实视频通话数据以及通话标准数据进行图像处理，得到所述目标时段的图像特征。
13、可选的，所述将目标时段的真实视频通话数据以及通话标准数据分别输入文本数据处理通道，得到所述真实视频通话数据以及通话标准数据的文本特征，包括：
14、采用音频数据处理通道对所述目标时段的真实视频通话数据以及通话标准数据的音频信息进行格式转换处理，并提取所述目标时段的真实视频通话数据以及通话标准数据对应的音频特征；
15、采用语音识别模型对所述音频特征进行语音识别处理，得到与所述音频特征对应的文本信息；
16、采用文本数据处理通道对所述文本信息进行文本数值化处理，得到所述文本信息对应的文本特征。
17、可选的，所述采用多模态神经网络模型对所述真实视频通话数据以及通话标准数据的多模态基础特征进行分析，得到真实视频通话数据和通话标准数据的多模态特征分析结果，包括：
18、采用多模态神经网络模型对所述真实视频通话数据以及通话标准数据的多模态基础特征进行特征提取，得到多模态特征提取结果，并对所述多模态特征提取结果进行分析处理，得到分析结果，所述分析结果为所述真实视频通话数据以及通话标准数据的多模态特征分析结果。
19、可选的，所述采用多模态神经网络模型对所述真实视频通话数据以及通话标准数据的多模态基础特征进行特征提取，得到多模态特征提取结果，包括：
20、对所述图像特征、音频特征、文本特征分别进行特征提取，分别得到第一特征提取结果、第二特征提取结果、第三特征提取结果；
21、对所述第一特征提取结果、第二特征提取结果、第三特征提取结果进行融合，得到多模态特征提取结果。
22、可选的，所述根据所述真实视频通话数据和通话标准数据的多模态特征分析结果，对客服服务质量进行评估，包括：
23、根据所述真实视频通话数据和通话标准数据的多模态特征分析结果，确定所述真实视频通话数据和通话标准数据的相似度；
24、根据所述相似度及相似度阈值，对客服服务质量进行评估。
25、第二方面，本申请提供一种基于多模态的客服质检装置，所述装置包括：
26、获取模块，用于获取真实视频通话数据以及通话标准数据，所述真实视频通话数据为多个客服人员执行客服任务时得到的数据，所述通话标准数据为预先设置的通话标准模板；
27、处理模块，用于对所述真实视频通话数据以及通话标准数据分别进行预处理，得到所述真实视频通话数据以及通话标准数据的多模态基础特征；
28、分析模块，用于采用多模态神经网络模型对所述真实视频通话数据以及通话标准数据的多模态基础特征进行分析，得到真实视频通话数据和通话标准数据的多模态特征分析结果；
29、评估模块，用于根据所述真实视频通话数据和通话标准数据的多模态特征分析结果，对客服服务质量进行评估。
30、可选的，所述处理模块，用于将真实视频通话数据以及通话标准数据分别输入视频数据处理通道，得到所述真实视频通话数据以及通话标准数据的图像特征；
31、所述处理模块，还用于将目标时段的真实视频通话数据以及通话标准数据分别输入文本数据处理通道，得到所述真实视频通话数据以及通话标准数据的文本特征。
32、可选的，所述处理模块，用于视频数据处理通道对所述真实视频通话数据以及通话标准数据按照时序做分割处理，获取目标时段的真实视频通话数据以及通话标准数据；
33、所述处理模块，还用于对所述目标时段的真实视频通话数据以及通话标准数据进行图像处理，得到所述目标时段的图像特征。
34、可选的，所述处理模块，用于采用音频数据处理通道对所述目标时段的真实视频通话数据以及通话标准数据的音频信息进行格式转换处理，并提取所述目标时段的真实视频通话数据以及通话标准数据对应的音频特征；
35、所述处理模块，还用于采用语音识别模型对所述音频特征进行语音识别处理，得到与所述音频特征对应的文本信息；
36、所述处理模块，还用于采用文本数据处理通道对所述文本信息进行文本数值化处理，得到所述文本信息对应的文本特征。
37、可选的，所述处理模块，用于采用多模态神经网络模型对所述真实视频通话数据以及通话标准数据的多模态基础特征进行特征提取，得到多模态特征提取结果；
38、所述分析模块，用于对所述多模态特征提取结果进行分析处理，得到分析结果，所本文档来自技高网...
【技术保护点】
1.一种基于多模态的客服质检方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述多模态基础特征包括：文本特征和图像特征，所述对所述真实视频通话数据以及通话标准数据分别进行预处理，得到所述真实视频通话数据以及通话标准数据的多模态基础特征，包括：
3.根据权利要求2所述的方法，其特征在于，所述将真实视频通话数据以及通话标准数据分别输入视频数据处理通道，得到所述真实视频通话数据以及通话标准数据的图像特征，包括：
4.根据权利要求2所述的方法，其特征在于，所述将目标时段的真实视频通话数据以及通话标准数据分别输入文本数据处理通道，得到所述真实视频通话数据以及通话标准数据的文本特征，包括：
5.根据权利要求2所述的方法，其特征在于，所述采用多模态神经网络模型对所述真实视频通话数据以及通话标准数据的多模态基础特征进行分析，得到真实视频通话数据和通话标准数据的多模态特征分析结果，包括：
6.根据权利要求5所述的方法，其特征在于，所述采用多模态神经网络模型对所述真实视频通话数据以及通话标准数据的多模态基础特征进
7.根据权利要求1所述的方法，其特征在于，所述根据所述真实视频通话数据和通话标准数据的多模态特征分析结果，对客服服务质量进行评估，包括：
8.一种基于多模态的客服质检装置，其特征在于，所述装置包括：
9.一种基于多模态的客服质检设备，其特征在于，包括：
10.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-7中任一项所述的基于多模态的客服质检方法。
...【技术特征摘要】
1.一种基于多模态的客服质检方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述多模态基础特征包括：文本特征和图像特征，所述对所述真实视频通话数据以及通话标准数据分别进行预处理，得到所述真实视频通话数据以及通话标准数据的多模态基础特征，包括：
3.根据权利要求2所述的方法，其特征在于，所述将真实视频通话数据以及通话标准数据分别输入视频数据处理通道，得到所述真实视频通话数据以及通话标准数据的图像特征，包括：
4.根据权利要求2所述的方法，其特征在于，所述将目标时段的真实视频通话数据以及通话标准数据分别输入文本数据处理通道，得到所述真实视频通话数据以及通话标准数据的文本特征，包括：
5.根据权利要求2所述的方法，其特征在于，所述采用多模态神经网络模型对所述真实视频通话数据以及通...
【专利技术属性】
技术研发人员：肖思琪，桑海岩，刘文，蒋亚伟，黄洁云，孙泽明，
申请(专利权)人：中国联合网络通信集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。