一种银行虚拟员工的问答交互方法及设备技术

技术编号:42067920 阅读:26 留言:0更新日期:2024-07-19 16:50
本说明书实施例公开了一种银行虚拟员工的问答交互方法及设备,方法包括:基于预置唤醒词触发预置身份识别单元进行识别,从而锁定当前监控图像中的当前操作用户;通过当前操作用户的唇部区域视频采集唇语特征,根据预置视觉识别模型确定唇语特征所对应的第一文本数据;基于预置唤醒词提取声纹特征,以根据唇部特征的起始采集时间与声纹特征提取当前操作用户的语音数据,并基于预置语音转换程序将语音数据转换为第一文本数据;提取第一文本数据与第二文本数据的问题关键词,将问题关键词输入基于文本语料训练获得的ChatGPT模型中输出回答文本;根据预置语音特征库将输出回答文本映射为语音结果,以将语音结果进行输出。

【技术实现步骤摘要】

本说明书涉及通信,尤其涉及一种银行虚拟员工的问答交互方法及设备


技术介绍

1、近年来,各个银行都面临业务量不断扩展、员工老龄化严重的问题,而新员工又不能在短时间内熟悉大量的业务,造成银行服务质量不佳、客户投诉多的现象。因此银行企业在协同运营、赋能增效以及数字化转型等领域不断进行开发与改进,提升服务效率,减轻员工工作量。因此,对于降低员工工作量提高交互服务质量的智能问答机器也就是银行虚拟员工,成为了银行服务厅在日常运营使用中一个重要的组成部分。

2、传统的银行虚拟员工在银行大厅进行运营时,一般是基于各个业务所对应的固定规则或预定义的回答模板来提供服务的,这些规则和模板是事先设计和编写好的,用于回答常见问题和处理常见场景。然后银行虚拟员工通过监控操作人员的屏幕点击过程中,或者获取操作人员的语音,来确定操作人员当前所需业务,进而通过和当前所需业务相对应的固定回答模板生成相应的回答。这种基于固定规则或预定义的回答模板进行交互的方式,限制了灵活性和个性化交互能力,难以适应于复杂的用户查询,缺乏语音理解与生成能力,难以处理多语言或模糊的问题,且需要手动编本文档来自技高网...

【技术保护点】

1.一种银行虚拟员工的问答交互方法,其特征在于,所述方法包括:

2.根据权利要求1所述的一种银行虚拟员工的问答交互方法,其特征在于,基于所述身份识别单元采集当前监控影像与身份读卡信息,锁定当前监控图像中的当前操作用户,具体包括:

3.根据权利要求1所述的一种银行虚拟员工的问答交互方法,其特征在于,通过所述当前操作用户的唇部区域视频,采集所述当前操作用户的唇语特征,以根据预置视觉识别模型确定所述唇语特征所对应的第一文本数据,具体包括:

4.根据权利要求1所述的一种银行虚拟员工的问答交互方法,其特征在于,基于所述预置唤醒词提取所述当前操作用户的声纹特征,以...

【技术特征摘要】

1.一种银行虚拟员工的问答交互方法,其特征在于,所述方法包括:

2.根据权利要求1所述的一种银行虚拟员工的问答交互方法,其特征在于,基于所述身份识别单元采集当前监控影像与身份读卡信息,锁定当前监控图像中的当前操作用户,具体包括:

3.根据权利要求1所述的一种银行虚拟员工的问答交互方法,其特征在于,通过所述当前操作用户的唇部区域视频,采集所述当前操作用户的唇语特征,以根据预置视觉识别模型确定所述唇语特征所对应的第一文本数据,具体包括:

4.根据权利要求1所述的一种银行虚拟员工的问答交互方法,其特征在于,基于所述预置唤醒词提取所述当前操作用户的声纹特征,以根据所述唇部特征的起始采集时间与所述声纹特征,提取所述银行虚拟员工所在环境中当前操作用户的语音数据,具体包括:

5.根据权利要求1所述的一种银行虚拟员工的问答交互方法,其特征在于,提取所述第一文本数据与所述第二...

【专利技术属性】
技术研发人员:房光参张金泽王琳琳
申请(专利权)人:中国农业银行股份有限公司山东省分行
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1