智能交互方法和装置、系统、电子设备、计算机可读介质制造方法及图纸

本公开提供了一种智能交互方法和装置，涉及计算机视觉、语音技术等技术领域。具体实现方案为：获取同步的音频信息和视频信息，音频信息包括服务方和客户方的语音交互数据，视频信息包括服务方和客户方的交互画面；基于视频信息，确定交互画面中的服务方和客户方；基于视频信息，从音频信息中选取并分析服务方的语音交互数据；响应于确定服务方的语音交互数据不符合服务引导规则，对服务方进行规范化提示。该实施方式提高了智能交互的效率。该实施方式提高了智能交互的效率。该实施方式提高了智能交互的效率。

【技术实现步骤摘要】
智能交互方法和装置、系统、电子设备、计算机可读介质


[0001]本公开涉及计算机
，具体涉及计算机视觉、语音技术等
，尤其涉及一种智能交互方法和装置、系统、电子设备、计算机可读介质以及计算机程序产品。

技术介绍

[0002]在金融行业，如银行开户、信贷调查及保险产品售卖，金融线上直播等业务场景中，国家监管机构会要求金融机构对视频展示过程中进行合规性审查，查看在过程中是否存在不合规的情况，如果存在不合规情况，相关企业将会被处于罚款或者吊销执照等。

技术实现思路

[0003]提供了一种智能交互方法和装置、系统、电子设备、计算机可读介质以及计算机程序产品。
[0004]根据第一方面，提供了一种智能交互方法，该方法包括：获取同步的音频信息和视频信息，音频信息包括服务方和客户方的语音交互数据，视频信息包括服务方和客户方的交互画面；基于视频信息，确定交互画面中的服务方和客户方；基于视频信息，从音频信息中选取并分析服务方的语音交互数据；响应于确定服务方的语音交互数据不符合服务引导规则，对服务方进行规范化提示。
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种智能交互方法，所述方法包括：获取同步的音频信息和视频信息，所述音频信息包括服务方和客户方的语音交互数据，所述视频信息包括所述服务方和所述客户方的交互画面；基于所述视频信息，确定所述交互画面中的服务方和客户方；基于所述视频信息，从所述音频信息中选取并分析所述服务方的语音交互数据；响应于确定所述服务方的语音交互数据不符合服务引导规则，对所述服务方进行规范化提示。2.根据权利要求1所述的方法，其中，所述响应于确定所述服务方的语音交互数据不符合服务引导规则，对所述服务方进行规范化提示，包括：检测所述服务方的语音交互数据中是否包括业务关键词；响应于当前时刻所述服务方的语音交互数据中包括业务关键词，检测自当前时刻至预设时间范围内所述服务方的语音交互数据中是否包括风险关键词；响应于自当前时刻至预设时间范围内所述服务方的语音交互数据中不包括风险关键词，确定所述服务方的语音交互数据不符合服务引导规则，输出所述风险关键词，以对所述服务方进行规范化提示。3.根据权利要求1所述的方法，所述方法还包括：基于所述视频信息，从所述音频信息中选取并分析所述客户方的语音交互数据；响应于确定所述客户方的语音交互数据符合方言规则，对所述客户方的语音交互数据进行纠正，得到纠正文本；基于所述纠正文本，提示所述服务方，以使所述服务方对所述纠正文本进行回复。4.根据权利要求3所述的方法，所述方法还包括：将所述服务方的语音交互数据转化为与所述客户方的语音交互数据相同的语言；输出转化后的语言。5.根据权利要求1
‑
4之一所述的方法，所述方法还包括：基于所述视频信息，对所述交互画面中的所述服务方和所述客户方进行实时追踪；响应于所述服务方和/或所述客户方未在所述交互画面内，调整摄像装置的视野范围，以使所述服务方和所述客户方均在所述交互画面内，所述摄像装置用于拍摄所述服务方和所述客户方。6.根据权利要求1
‑
4之一所述的方法，其中，所述基于所述视频信息，确定所述交互画面中的服务方和客户方，包括：基于所述视频信息，获取所述交互画面中的至少一个人脸图像；响应于所述至少一个人脸图像中的任意一个人脸图像与客户方的预设身份图像一致，确定所述交互画面中与客户方的预设身份图像一致的人脸图像为客户方；针对所述至少一个人脸图像中除客户方之外的人脸图像，获取该人脸图像中的唇读图像，基于所述唇读图像确定服务方。7.一种智能交互装置，所述装置包括：获取单元，被配置成获取同步的音频信息和视频信息，所述音频信息包括服务方和客户方的语音交互数据，所述视频信息包括所述服务方和所述客户方的交互画面；确定单元，被配置成基于所述视频信息，确定所述交互画面中的服务方和客户方；
第一选取单元，被配置成基于所述视频信息，从所述音频信息中选取并分析所述服务方的语音交互数据；第一提示单元，被配置成响应于确定所述服务方的语音交互数据不符合服务引导规则，对所述服务方进行规范化提示。8.根据权利要求7所述的装置，其中，所述第一提示单元包括：第一检测模块，被配置成检测所述服务方的语音交互数据中是否包括业务关键词；第二检测模块，被配置成响应于当前时刻所述服务方的语音交互数据中包括业务关键词，检测自当前时刻至预设时间范围内所述服务方的语音交互数据中是否包括风险关键词；输出模块，被配置成响应于自当前时刻至预设时间范围内所述服务方的语音交互数据中不包括风险关键词，确定所述服务方的语音交互数据不符合服务引导规则，输出所述风险关键词，以对所述服务方进行规范化提示。9.根据权利要求7所述的装置，所述装置还包括：第二选取单元，被配置成基于所述视频信息，从所述音频信息中选取并分析所述客户方的语音交互数据；纠正单元，被配置成响应于确定所述客户方的语音交互数据符合方言规则，对所述客户方的语音交互数据进行纠正，得到纠...

【专利技术属性】
技术研发人员：李硕，刘启丽，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：