一种实现人机协同的语音通讯系统及方法技术方案

本发明专利技术涉及智能通讯领域，公开了一种实现人机协同的语音通讯系统及方法，解决了现有人机协同通话切换差别大，切换后浪费客户时间，导致客户体验差的问题，其技术方案要点包括通讯模块；接听与外呼模块，分配一个人工坐席；音意理解模块，用于理解通话过程中的意图；声音克隆模块，将回复文本合成为对应话务员声音；人机交互模块，由语音机器人与客户通话；介入提示模块，对通话内容监测得到介入意向率，根据预定义规则提示人工坐席；人工介入模块，人工介入回复客户，并在通话中进行通话意图展示和通话提词，能够在通话时，人工坐席和语音机器人通话无差别切换，人工介入后，话务员能快速了解通话意图，介入通话，保证客户的通话体验良好。

A voice communication system and method for man-machine cooperation

【技术实现步骤摘要】
一种实现人机协同的语音通讯系统及方法
本专利技术涉及智能通讯领域，更具体地说，它涉及一种实现人机协同的语音通讯系统及方法。
技术介绍
随着AI和通信科技的快速发展，语音机器人已广泛应用各行各业。例如当企业需要和潜在客户进行沟通时，语音机器人能够大幅度降低人工外呼成本，提高外呼效率，增加对潜在客户的覆盖；例如客户有问题需要对接企业客服时，语音机器人能够快速回答已有模板的问题，效率高，减轻人工成本。但是纯语音机器人存在外呼信息传达效率不高的问题，或是客户的问题问的复杂，超出模板外，语音机器人就会处理不了，达不成客户需求；并且鉴于对现有市场上语音机器人不够智能的认知，一般客户对于和语音机器人沟通这件事是排斥的，所以纯语音机器人很难独立工作。相比于语音机器人，纯人工劳动力的优势在于常识积累和情绪识别，能够灵活应对更加复杂的状况，但工作量有限，情绪波动大，专业水平参差不齐。例如在人工坐席话务员进行电话销售时，真正的挑战往往不是专业度不足，而是不愿面对被客户拒绝和被挂电话的那份挫败感。所以目前市场上更倾向于是人机协同的方式来运作，也就是先使用语音机器人对接客户，语音机器人不能解决了，再切换到人工。但是在人机切换后，话务员需要一定的时间去获取语音机器人和客户之间的通话信息，尤其是在客户面对语音机器人信息获取效率低时，还要给予话务员梳理通话内容的时间，就会造成客户体验差的不良后果，客户可能会产生反感甚至是厌恶的情绪，导致通话目的难以达成的问题的出现。
技术实现思路
本专利技术的目的是提供一种实现人机协同的语音通讯系统及方法，能够在通话时，人工坐席和语音机器人通话无差别切换，人工介入后，话务员能快速了解通话意图，保证客户的通话体验良好。本专利技术的上述技术目的是通过以下技术方案得以实现的：一种实现人机协同的语音通讯系统，包括通讯模块，还包括：接听与外呼模块，通话接通后，分配一个人工坐席；音意理解模块，包含音意理解模型，用于理解通话过程中的意图；声音克隆模块，包含声音克隆模型，用于将回复文本合成为对应话务员声音；人机交互模块，由语音机器人调用音意理解模块得到客户意图并按照预先编好的话术，再调用声音克隆模块使用对应话务员声音与客户通话；介入提示模块，包含量化分析子模块，对人机交互时的通话内容进行实时监测得到介入意向率，并根据预定义规则提示人工坐席；人工介入模块，采用对应话务员语音回复客户和/或调用所述声音克隆模块将任一话务员的回复内容处理为对应话务员声音回复客户，还包含能够调用所述音意理解模块的检索提词子模块为任一话务员进行通话意图展示和通话提词。一种实现人机协同的语音通讯方法，包括以下步骤：通话接通后，使用接听与外呼模块分配一个人工坐席；由人机交互模块中的语音机器人调用音意理解模块得到客户意图并按照预先编好的话术，再调用声音克隆模块使用对应话务员声音与客户通话；由介入提示模块的量化分析子模块对人机交互时的通话内容进行实时监测，得到介入意向率，并根据预定义规则提示人工坐席；当人工坐席接收到介入提示时，由人工介入模块介入通话，采用检索提词子模块展示人机交互通话过程中的意图，采用对应话务员语音回复客户和/或调用所述声音克隆模块将任一话务员的回复内容处理为对应话务员声音回复客户，在通话过程中使用检索提词子模块为任一话务员进行通话提词。优选的，所述量化分析子模块用于根据历史通话大数据和当前人工交互过程的对比分析，得到当前客户需要人工介入的介入意向率。优选的，所述检索提词子模块在任一话务员选择人工介入时直接调用音意理解模块展示人机交互通话意图；所述检索提词子模块在人工介入通话过程中调用音意理解模块，得到最新通话意图，并从数据库中检索出参考信息生成回复文本并展示。优选的，人工坐席介入的方式包括：对应话务员直接语音回复客户；任一话务员选择检索提词子模块生成的提词文本，由声音克隆模块生成语音回复客户；任一话务员手动输入文本，由声音克隆模块生成语音回复客户；任一话务员语音，使用声音克隆模块中的语音识别子模块将语音转换为文本，再由其中声音克隆模型生成语音回复客户。优选的，所述音意理解模块中音意理解模型的生成和应用包括以下步骤：S1、使用大量带有意图标注的语音数据对基于深度学习的音意理解模型进行训练；S2、把训练后的音意理解模型部署到音意理解服务器；S3、对话过程中收到语音数据，并输入到音意理解服务器中调用音意理解服务，返回识别出的意图。优选的，所述声音克隆模型的生成和应用的步骤为：S1、采集人工坐席对应话务员的声音语料，对初始声音克隆模型进行训练；S2、把训练后的声音克隆模型部署到声音克隆服务器；S3、将人工介入的回复文本合成为对应话务员声音播放给客户。优选的，所述人工介入模块中还包含有质检模块，用于对任一话务员说话的语速、内容进行质检，并把质检结果实时反馈到人工坐席。综上所述，本专利技术具有以下有益效果：1、利用介入提示模块能够智能的给人工坐席提示，在最合适的时机提示话务员介入，避免因语音机器人不能很好回复客户，而人工没有及时介入，使得客户通话差的问题的发生；2、本申请中的意图理解不是通过传统的ASR识别文本再用NLP识别意图，而是通过音意理解模型，直接从语音识别出用户意图，从效果、效率和成本上明显优于传统方法；3、人工介入模块能够在通话时，有检索提词子模块来展示介入前的通话意图，无需话务员再去理解所有通话内容，直接了解客户意图，节省理解时间，使得客户的通话体验不受人机切换影响；在通话过程中，智能的识别客户意图并检索出相应的回复内容提示话务员，使得话务员在相关问题上响应更快，提高服务效率，保证客户通话体验；4、利用声音克隆模块处理生成的人工坐席对应话务员声音，让客户感觉到自己是一直在与人工坐席话务员通话，能实现人工和语音机器人的无差别切换，从而能够提供给客户更好的通话感受；5、人工介入的方式不局限于特定的话务员语音回复，可以采用多人、换人的方式来服务客户，能够提供给客户更好的通话体验。附图说明图1是本专利技术的系统框图。具体实施方式以下结合附图对本专利技术作进一步详细说明。如图1所示，本专利技术提供一种实现人机协同的语音通讯系统，包括通讯模块，接听与外呼模块，通话接通后，分配一个人工坐席；音意理解模块，包含音意理解模型，用于理解通话过程中的意图；声音克隆模块，包含声音克隆模型，用于将回复文本合成为对应话务员声音；人机交互模块，由语音机器人调用音意理解模块得到客户意图并按照预先编好的话术，再调用声音克隆模块使用对应话务员声音与客户通话；介入提示模块，包含量化分析子模块，对人机交互时的通话内容进行实时监测得到介入意向率，并根据预定义规则提示人工坐席；人工介入模块，采用对应话务员语音回复客户和/或调用声音克隆模块将任一话务员本文档来自技高网...

【技术保护点】
1.一种实现人机协同的语音通讯系统，包括通讯模块，其特征是，还包括：/n接听与外呼模块，通话接通后，分配一个人工坐席；/n音意理解模块，包含音意理解模型，用于理解通话过程中的意图；/n声音克隆模块，包含声音克隆模型，用于将回复文本合成为对应话务员声音；/n人机交互模块，由语音机器人调用音意理解模块得到客户意图并按照预先编好的话术，再调用声音克隆模块使用对应话务员声音与客户通话；/n介入提示模块，包含量化分析子模块，对人机交互时的通话内容进行实时监测得到介入意向率，并根据预定义规则提示人工坐席；/n人工介入模块，采用对应话务员语音回复客户和/或调用所述声音克隆模块将任一话务员的回复内容处理为对应话务员声音回复客户，还包含能够调用所述音意理解模块的检索提词子模块为任一话务员进行通话意图展示和通话提词。/n

【技术特征摘要】
1.一种实现人机协同的语音通讯系统，包括通讯模块，其特征是，还包括：
接听与外呼模块，通话接通后，分配一个人工坐席；
音意理解模块，包含音意理解模型，用于理解通话过程中的意图；
声音克隆模块，包含声音克隆模型，用于将回复文本合成为对应话务员声音；
人机交互模块，由语音机器人调用音意理解模块得到客户意图并按照预先编好的话术，再调用声音克隆模块使用对应话务员声音与客户通话；
介入提示模块，包含量化分析子模块，对人机交互时的通话内容进行实时监测得到介入意向率，并根据预定义规则提示人工坐席；
人工介入模块，采用对应话务员语音回复客户和/或调用所述声音克隆模块将任一话务员的回复内容处理为对应话务员声音回复客户，还包含能够调用所述音意理解模块的检索提词子模块为任一话务员进行通话意图展示和通话提词。


2.一种实现人机协同的语音通讯方法，其特征是，包括以下步骤：通话接通后，使用接听与外呼模块分配一个人工坐席；
由人机交互模块中的语音机器人调用音意理解模块得到客户意图并按照预先编好的话术，再调用声音克隆模块使用对应话务员声音与客户通话；
由介入提示模块的量化分析子模块对人机交互时的通话内容进行实时监测，得到介入意向率，并根据预定义规则提示人工坐席；
当人工坐席接收到介入提示时，由人工介入模块介入通话，采用检索提词子模块展示人机交互通话过程中的意图，采用对应话务员语音回复客户和/或调用所述声音克隆模块将任一话务员的回复内容处理为对应话务员声音回复客户，在通话过程中使用检索提词子模块为任一话务员进行通话提词。


3.根据权利要求2所述的一种实现人机协同的语音通讯方法，其特征是，所述量化分析子模块用于根据历史通话大数据和当前人工交互过程的对比分析，得到当前客户需要人工介入的介入意向率。

<...

【专利技术属性】
技术研发人员：司马华鹏，
申请(专利权)人：南京硅基智能科技有限公司，
类型：发明
国别省市：江苏;32