人机交互方法、服务端、客户端及存储介质技术

本发明专利技术提供一种用于服务端的人机交互方法、服务端与用于客户端的人机交互方法、客户端及存储介质。方法包括：接收客户端发送的与当前用户的咨询问题相关的咨询信息，咨询信息包括用户文本信息和/或用户语音信息；将咨询信息以文本形式输出；接收专家客服输入的与咨询问题对应的专家回复信息，专家回复信息包括专家文本信息和/或专家语音信息；将专家反馈信息输出至客户端，以由客户端输出虚拟形象信息，专家反馈信息包括专家回复信息、虚拟语音信息或虚拟形象信息，虚拟语音信息通过将专家回复信息转换为与虚拟专家形象相对应的语音信息生成，虚拟形象信息通过至少将虚拟语音信息与虚拟专家形象叠加生成。可提升人效及用户体验。

【技术实现步骤摘要】
人机交互方法、服务端、客户端及存储介质
本专利技术涉及人机交互
，具体地，涉及一种用于服务端的人机交互方法、服务端及存储介质与一种用于客户端的人机交互方法、客户端及存储介质。
技术介绍
目前在金融和银行领域，有大量的专业问题咨询服务，需要专业人员参与。现有的客户服务方法主要有以下三种：1.客户到服务网点进行线下咨询，需要专业的客服人员进行面对面的沟通解答。这种方式需要客户投入时间成本，缺少隐私保护，有时还有排队的时间投入。金融服务行业也需要投入固定人力成本，且受到地域条件限制，资源无法有效共享和调配；2.通过拨打电话的方式，与呼叫中心的客服人员进行语音沟通。该方法虽然不用到店咨询，但只有语音交互，缺少人和人当面沟通的自然感，表达方式也比较受限；3.在终端网页或者手机端，通过在线客服入口和后台客服人员进行交流。该方法减少了用户投入的时间成本，但依然存在由于沟通方式简单、缺少可视化等因素导致的信息交流效率低、潜在投入成本高的问题。
技术实现思路
为了至少部分地解决现有技术中存在的问题，提供一种用于服务端的人机交互方法、服务端及存储介质与一种用于客户端的人机交互方法、客户端及存储介质。根据本专利技术一个方面，提供一种用于服务端的人机交互方法，包括：接收客户端发送的与当前用户的咨询问题相关的咨询信息，咨询信息包括用户文本信息和/或用户语音信息；将咨询信息以文本形式输出，以供专家客服查看；接收专家客服输入的与咨询问题对应的专家回复信息，专家回复信息包括专家文本信息和/或专家语音信息；将专家反馈信息输出至客户端，以由客户端输出虚拟形象信息，其中，专家反馈信息包括专家回复信息、基于专家回复信息生成的虚拟语音信息或基于虚拟语音信息生成的虚拟形象信息，其中，虚拟语音信息通过将专家回复信息转换为与虚拟专家形象相对应的语音信息生成，虚拟形象信息通过至少将虚拟语音信息与虚拟专家形象叠加生成。示例性地，专家回复信息包括专家文本信息，专家反馈信息包括虚拟语音信息或虚拟形象信息，在将专家反馈信息输出至客户端，以由客户端输出虚拟形象信息之前，人机交互方法还包括：对专家文本信息进行语音合成，以获得虚拟语音信息。示例性地，专家回复信息包括专家语音信息，专家反馈信息包括虚拟语音信息或虚拟形象信息，在将专家反馈信息输出至客户端，以由客户端输出虚拟形象信息之前，人机交互方法还包括：对专家语音信息进行音色转换，以转换为虚拟语音信息。示例性地，专家回复信息包括专家语音信息，专家反馈信息包括虚拟语音信息或虚拟形象信息，在将专家反馈信息输出至客户端，以由客户端输出虚拟形象信息之前，人机交互方法还包括：对专家语音信息进行语音识别，以获得对应的识别文字信息；以及对识别文字信息进行语音合成，以获得虚拟语音信息。示例性地，在将咨询信息以文本形式输出，以供专家客服查看之前，人机交互方法还包括：基于咨询信息在预设知识库中进行检索，预设知识库用于存储预设问题和与预设问题对应的预设回复信息；以及在检索到与咨询问题相匹配的特定预设问题时，将知识库反馈信息输出至客户端，以由客户端输出特定虚拟形象信息，其中，知识库反馈信息包括与特定预设问题相对应的特定预设回复信息、基于特定预设回复信息生成的特定虚拟语音信息或基于特定虚拟语音信息生成的特定虚拟形象信息，其中，特定虚拟语音信息通过将特定预设回复信息转换为与虚拟专家形象相对应的语音信息生成，特定虚拟形象信息通过至少将特定虚拟语音信息与虚拟专家形象叠加生成；其中，将咨询信息以文本形式输出，以供专家客服查看的步骤在未检索到与咨询问题相匹配的特定预设问题的情况下执行。示例性地，在将咨询信息以文本形式输出，以供专家客服查看之前，人机交互方法还包括：基于咨询问题的类型确定咨询问题的问题等级；其中，将咨询信息以文本形式输出，以供专家客服查看的步骤在咨询问题的问题等级高于预设问题等级的情况下执行。示例性地，在将咨询信息以文本形式输出，以供专家客服查看之前，人机交互方法还包括：接收客户端发送的与当前用户的身份相关的身份相关信息；基于身份相关信息确定用户的身份信息；以及基于身份信息确定当前用户的客户等级；其中，将咨询信息以文本形式输出，以供专家客服查看的步骤在当前用户的客户等级高于预设客户等级的情况下执行。示例性地，人机交互方法还包括：接收客户端发送的与当前用户的身份相关的身份相关信息；基于身份相关信息确定用户的身份信息；将身份信息、咨询信息与专家回复信息关联在一起，并将关联后的信息存储在预设数据库中。示例性地，身份相关信息包括人脸图像，基于身份相关信息确定用户的身份信息包括：对人脸图像进行人脸识别，以确定身份信息。示例性地，咨询信息包括用户语音信息，将咨询信息以文本形式输出，以供专家客服查看包括：对用户语音信息进行语音识别，以将用户语音信息转写成对应文本信息；以及将对应文本信息输出，以供专家客服查看。示例性地，对用户语音信息进行语音识别，以将用户语音信息转写成对应文本信息包括：对用户语音信息进行语音识别，以获得至少一组候选文本以及与至少一组候选文本一一对应的至少一个整体得分，每个整体得分用于指示对应候选文本的置信度；确定对应文本信息包括至少一组候选文本中的选定候选文本，选定候选文本包括至少一组候选文本中整体得分超过预设阈值的候选文本或者整体得分最高的预设数目的候选文本。示例性地，对用户语音信息进行语音识别，以获得至少一组候选文本以及与至少一组候选文本一一对应的至少一个整体得分包括：对语音信息进行语音识别，以获得至少一组候选文本、至少一个整体得分以及至少一组候选文本中的每个候选文本的每个字的字得分，每个字得分用于指示对应字的置信度；确定对应文本信息包括至少一组候选文本中的选定候选文本包括：确定对应文本信息包括选定候选文本以及选定候选文本中的每个字的字得分。示例性地，在将咨询信息以文本形式输出，以供专家客服查看之后，人机交互方法还包括：接收专家客服对对应文本信息中的目标字的选择指令；输出用户语音信息中在目标语音之后的预设时长内的语音信息，以供专家客服查看，其中，目标语音是与目标字对应的语音。示例性地，在将咨询信息以文本形式输出，以供专家客服查看之后，人机交互方法还包括：接收专家客服对对应文本信息中的目标片段的选择指令；输出用户语音信息中与目标片段对应的语音片段，以供专家客服查看。示例性地，专家反馈信息包括虚拟语音信息或虚拟形象信息，在将专家反馈信息输出至客户端，以由客户端输出虚拟形象信息之前，人机交互方法还包括：接收专家客服输入的风格选择指令；以及将专家回复信息转换为与虚拟专家形象相对应且具有风格选择指令指示的语音风格的虚拟语音信息。示例性地，专家反馈信息包括虚拟形象信息，在将专家反馈信息输出至客户端，以由客户端输出虚拟形象信息之前，人机交互方法还包括：基于专家回复信息生成虚拟语音信息；基于专家客服的人脸图像生成虚拟专家形象的人物特征；基于虚拟语音信息和人物特征生成包含具有与虚拟语音信息相匹配的发音动作的虚拟专家形象的虚拟视频本文档来自技高网...

【技术保护点】
1.一种用于服务端的人机交互方法，包括：/n接收客户端发送的与当前用户的咨询问题相关的咨询信息，所述咨询信息包括用户文本信息和/或用户语音信息；/n将所述咨询信息以文本形式输出，以供专家客服查看；/n接收所述专家客服输入的与所述咨询问题对应的专家回复信息，所述专家回复信息包括专家文本信息和/或专家语音信息；/n将专家反馈信息输出至所述客户端，以由所述客户端输出虚拟形象信息，其中，所述专家反馈信息包括所述专家回复信息、基于所述专家回复信息生成的虚拟语音信息或基于所述虚拟语音信息生成的所述虚拟形象信息，其中，所述虚拟语音信息通过将所述专家回复信息转换为与虚拟专家形象相对应的语音信息生成，所述虚拟形象信息通过至少将所述虚拟语音信息与所述虚拟专家形象叠加生成。/n

【技术特征摘要】
1.一种用于服务端的人机交互方法，包括：
接收客户端发送的与当前用户的咨询问题相关的咨询信息，所述咨询信息包括用户文本信息和/或用户语音信息；
将所述咨询信息以文本形式输出，以供专家客服查看；
接收所述专家客服输入的与所述咨询问题对应的专家回复信息，所述专家回复信息包括专家文本信息和/或专家语音信息；
将专家反馈信息输出至所述客户端，以由所述客户端输出虚拟形象信息，其中，所述专家反馈信息包括所述专家回复信息、基于所述专家回复信息生成的虚拟语音信息或基于所述虚拟语音信息生成的所述虚拟形象信息，其中，所述虚拟语音信息通过将所述专家回复信息转换为与虚拟专家形象相对应的语音信息生成，所述虚拟形象信息通过至少将所述虚拟语音信息与所述虚拟专家形象叠加生成。


2.根据权利要求1所述的人机交互方法，其中，所述专家回复信息包括所述专家文本信息，所述专家反馈信息包括所述虚拟语音信息或所述虚拟形象信息，在所述将专家反馈信息输出至所述客户端，以由所述客户端输出虚拟形象信息之前，所述人机交互方法还包括：
对所述专家文本信息进行语音合成，以获得所述虚拟语音信息。


3.根据权利要求1所述的人机交互方法，其中，所述专家回复信息包括所述专家语音信息，所述专家反馈信息包括所述虚拟语音信息或所述虚拟形象信息，在所述将专家反馈信息输出至所述客户端，以由所述客户端输出虚拟形象信息之前，所述人机交互方法还包括：
对所述专家语音信息进行音色转换，以转换为所述虚拟语音信息。


4.一种用于客户端的人机交互方法，包括：
接收当前用户输入的与咨询问题相关的咨询信息，所述咨询信息包括用户文本信息和/或用户语音信息；
将所述咨询信息输出至服务端；
接收所述服务端发送的专家反馈信息，其中，所述专家反馈信息包括专家回复信息、基于所述专家回复信息生成的虚拟语音信息或基于所述虚拟语音信息生成的虚拟形象信息，其中，所述专家回复信息为专家客服输入的与所述咨询问题对应的回复信息，所述专家回复信息包括专家文本信息和/或专家语音信息，所述虚拟语音信息通过将所述专家回复信息转换为与虚拟专家形象相对应的语音信息生成，所述虚拟形象信息通过至少将所述虚拟语音信息与所述虚拟专家形象叠加生成；
基于所述专家反馈信息获得所述虚拟形象信息；以及
输出所述虚拟形象信息，以供所述当前用户查看。


5.一种服务端，包括：
第一接收模块，用于接收客户端发送的与当...

【专利技术属性】
技术研发人员：穆向禹，李秀林，胡帅君，
申请(专利权)人：标贝北京科技有限公司，
类型：发明
国别省市：北京;11