一种机器人模仿、学习讲话的方法与系统技术方案

本发明专利技术公开一种机器人模仿、学习讲话的方法与系统，属于智能机器人的技术领域。包括以下步骤：机器人终端将所述提问语音转换成提问文字回传给云端服务器；所述云端服务器将所述提问文字与题库中的问题相匹配；所述云端服务器通过机器人终端将匹配不成功的提问文字发送给指定的真人客服服务端，客服人员接收到提问文字后以回答文字的形式作答；云端服务器接收到回答文字后，将回答文字转换成基于虚拟机器人的回答语音，并将基于虚拟机器人的回答语音和合成视频在虚拟机器人上播放；将提问文字、回答语音和和合成视频存入到题库中去。本发明专利技术既让机器人及时回答客户的提问，又让机器人学到了以前无法回答客户的新问题及答案。

【技术实现步骤摘要】
一种机器人模仿、学习讲话的方法与系统本专利为分案申请，原申请的信息如下，名称：一种机器人模仿及学习讲话的方法与系统，申请号：2019107584088，申请日：2019.8.16。
本专利技术属于智能机器人的
，特别是涉及一种机器人模仿、学习讲话的方法与系统。
技术介绍
为了加强与客户及准客户的沟通和交流，为客户提供更好的产品和技术服务，很多商家或机构都专门设置了自己的客服及售后技术服务部门，这些部门的工作人员每天在线下或线上跟客户沟通服务的工作量很大，需要进行重复、繁琐的问题回答与指导，而且不能每天24小时都在线或在岗服务用户，商户需要为此付出巨大的人力成本。因此，传统单一人工客服形式已经无法适应用户的需求和企业控制成本的需要。随着移动互联网、通信及人工智能技术的不断发展，人们开始将目光转向人机智能交互的客服及沟通形式。客服机器人是一种很好的服务客户的形式，但是，客服机器人若要能灵活自如应对广大客户的各种问题，需要在其后台题库中事先准备好海量的题库及答案，这几乎是不可能完成的工作。
技术实现思路
本专利技术的目的在于针对现有机器人因题库内容不够丰富而无法回答客户提问、需要人工添加题库的缺陷或问题，提供一种真人在线帮助机器人，并让机器人从此便能回答同样问题的方法及系统。本专利技术通过以下技术方案来解决：一种问答机器人的自学习方法，具体包括以下步骤：步骤1、机器人终端接收到客户的提问语音，将所述提问语音转换成提问文字回传给云端服务器；步骤2、所述云端服务器将所述提问文字与题库中的问题相匹配，若匹配成功则执行步骤3；若匹配不成功则执行步骤4；步骤3、播放答案语音和/或答案视频，并退出系统；步骤4、所述云端服务器通过机器人终端将匹配不成功的提问文字发送给指定的真人客服服务端，客服人员接收到提问文字后以回答文字的形式作答，机器人终端将回答文字发送给所述云端服务器；若所述云端服务器设置在实体机器人上，则执行步骤5；若所述云端服务器设置在虚拟机器人上，则执行步骤6；步骤5、云端服务器将回答文字发往语音转换模块转换成基于实体机器人的回答语音，并将基于实体机器人的回答语音发往给机器人终端，然后执行步骤7；步骤6、云端服务器接收到回答文字后，将回答文字转换成基于虚拟机器人的回答语音，同时对所述回答文字进行文字断句、匹配唇形和合成视频，并将基于虚拟机器人的回答语音和合成视频在虚拟机器人上播放；步骤7、将步骤1产生的提问文字、步骤5产生的基于实体机器人的回答语音或步骤6产生的基于虚拟机器人的回答语音和合成视频存入到题库中去；步骤8、给步骤7产生的新增问题按照主谓宾语设置三级关键词，退出系统；所述云端服务器针对客户的提问设有题库，所述题库中存有适合虚拟机器人使用的各种唇形组合的原型视频文件，对应每句文字不同唇形的排列组合，并赋予每个原型视频文件不同的唇形排列组合码。在进一步的实施例中，在步骤1中具体包括以下步骤：步骤101、所述机器人终端将客户的提问语音传送到云端服务器；步骤102、所述云端服务器将客户的提问语音传送到语音转换模块，所述语音转换模块将所述客户的提问语音转换成提问文字传回所述云端服务器。在进一步的实施例中，在步骤6中具体包括以下步骤：步骤601、所述云端服务器接收到回答文字后，按照标点符号将回答文字拆分成若干个句子；步骤602、所述云服务端对拆分后的句子与题库中的原型视频库中的唇形进行匹配；步骤603、将匹配成功的每一句原型视频进行拼接，形成合成视频；步骤604、计算出步骤603形成的合成视频所需的播放时间；步骤605、云端服务器将所述回答文字，按步骤604的时间设定语速，确保发音时长等于文字演播时长，并将所述回答文字发往语音转换模块，语音转换模块将文所述字转换成基于虚拟机器人的回答语音传回所述云端服务器；步骤606、将步骤603产生的合成视频与步骤605产生的基于虚拟机器人的回答语音进行合成，形成最终合成视频；步骤607、将步骤606产生的合成视频通过指定的机器人终端进行播放。在进一步的实施例中，在步骤602中具体包括以下步骤：步骤6021、将句子中的每一个汉字转化成拼音，根据拼音的元音发音不闭唇时，辅音发音时唇形微张则唇形码设为1，唇形大张则唇形码设为2，根据元音发音闭唇时，辅音发音时唇形微张则唇形码设为3，唇形大张则唇形码设为4，根据元音发音咬唇时，辅音发音时唇形微张则唇形码设为5，唇形大张则唇形码设为6，由此得出该句子的一串唇形排列码；步骤6022、在原型视频库中寻找并获取唇形排列码等同或相近的原型视频，句子最后一个字的唇形码必须相等；步骤6023、若找到相配的原型视频则执行步骤603；步骤6024、若原型视频库中没有唇形相近的唇形排列码，则将该句唇形排列码进行有限拆分，直至拆分后每段都找到唇形等同或相近的原型视频，句子最后一个字的唇形码必须相等，并将这些原型视频拼接成句子视频，转步骤603；步骤6025、若进行有限拆分后仍然找不到唇形等同或相近的原型视频，则报告系统添加补充该唇形排列码的原型视频，匹配失败，报告并退出系统。一种基于上述的一种问答机器人的自学习方法的自学习系统，包括：机器人终端，用于接收客户的提问语音，并发送回答语音或/和合成视频；云端服务器，用于通过互联网接收所述机器人终端发送的提问语音，并根据所述提问语音通过互联网向所述机器人终端反馈相对应的回答语音或/和合成视频，所述机器人终端播放回答语音或/和合成视频；真人客服服务端，用于接收匹配不成功的提问文字，并安排客服人员以回答文字的形式作答。在进一步的实施例中，所述云端服务器包括：处理器、录音单元、触控显示单元和通信单元，所述处理器分别与所述录音单元、所述触控显示单元和通信单元连接；所述录音单元用于获取客户的提问语音；所述触控显示单元用于客户操作以及播放视频；所述通信单元用于与所述云端服务器进行数据传输。在进一步的实施例中，所述云端服务器包括：接收推送模块，用于接收所述机器人终端发送的数据、及向所述机器人终端发送数据；语音转换模块，用于将通过互联网接收到所述云端服务器上的提问语音转换成提问文字并反馈给所述云端服务器；同时将通过互联网接收到所述云端服务器上的回答文字会转换成回答语音，并通过互联网反馈给所述云端服务；匹配模块，用于将所述提问文字从云端服务器中的题库中匹配对应的答案语音或答案视频；存储模块，用于存储客户的提问语音、回答语音、回答文字、合成视频和关键词。本专利技术的有益效果：真人客服人员在机器人无法回答客户提问时帮助机器人在线回答客户的提问，机器人再按照真人客服人员的答案复述给客户听，同时系统将客户的提问和真人客服人员的回答存入题库中，并为其设置好关键词，这样既让机器人及时回答客户的提问，又让机器人学到了以前无法回答客户的新问题及答案，在客户面前展现一个越来越博学聪明的机器人；并在对此实践与操作的过程中，能够丰富机器人的储备，进而实现每天24小时都在线或在岗服务用户，提高服务质量。附图说明图1为本专利技术的问答机器人的自学习方法的流程图。图2为问本文档来自技高网...

【技术保护点】
1.一种机器人模仿、学习讲话的方法，其特征在于，具体包括以下步骤：/n步骤1、机器人终端接收到客户的提问语音，将所述提问语音转换成提问文字回传给云端服务器；/n步骤2、所述云端服务器将所述提问文字与题库中的问题相匹配，若匹配成功则执行步骤3；若匹配不成功则执行步骤4；/n步骤3、播放答案语音和/或答案视频，并退出系统；/n步骤4、所述云端服务器通过机器人终端将匹配不成功的提问文字发送给指定的真人客服服务端，客服人员接收到提问文字后以回答文字的形式作答，机器人终端将回答文字发送给所述云端服务器；若所述云端服务器设置在实体机器人上，则执行步骤5；若所述云端服务器设置在虚拟机器人上，则执行步骤6；/n步骤5、云端服务器将回答文字发往语音转换模块转换成基于实体机器人的回答语音，并将基于实体机器人的回答语音发往给机器人终端，然后执行步骤7；/n步骤6、云端服务器接收到回答文字后，将回答文字转换成基于虚拟机器人的回答语音，同时对所述回答文字进行文字断句、匹配唇形和合成视频，并将基于虚拟机器人的回答语音和合成视频在虚拟机器人上播放；/n步骤7、将步骤1产生的提问文字、步骤5产生的基于实体机器人的回答语音或步骤6产生的基于虚拟机器人的回答语音和合成视频存入到题库中去；/n步骤8、给步骤7产生的新增问题按照主谓宾语设置三级关键词，退出系统；/n所述云端服务器针对客户的提问设有题库，所述题库中存有适合虚拟机器人使用的各种唇形组合的原型视频文件，对应每句文字不同唇形的排列组合，并赋予每个原型视频文件不同的唇形排列组合码一种机器人模仿、学习讲话；在步骤1中具体包括以下步骤：/n步骤101、所述机器人终端将客户的提问语音传送到云端服务器；/n步骤102、所述云端服务器将客户的提问语音传送到语音转换模块，所述语音转换模块将所述客户的提问语音转换成提问文字传回所述云端服务器一种机器人模仿、学习讲话；在步骤6中具体包括以下步骤：/n步骤601、所述云端服务器接收到回答文字后，按照标点符号将回答文字拆分成若干个句子；/n步骤602、所述云端服务器对拆分后的句子与题库中的原型视频库中的唇形进行匹配；/n步骤603、将匹配成功的每一句原型视频进行拼接，形成合成视频；/n步骤604、计算出步骤603形成的合成视频所需的播放时间；/n步骤605、云端服务器将所述回答文字，按步骤604的时间设定语速，确保发音时长等于文字演播时长，并将所述回答文字发往语音转换模块，语音转换模块将文所述字转换成基于虚拟机器人的回答语音传回所述云端服务器；/n步骤606、将步骤603产生的合成视频与步骤605产生的基于虚拟机器人的回答语音进行合成，形成最终合成视频；/n步骤607、将步骤606产生的合成视频通过指定的机器人终端进行播放。/n...

【技术特征摘要】
1.一种机器人模仿、学习讲话的方法，其特征在于，具体包括以下步骤：
步骤1、机器人终端接收到客户的提问语音，将所述提问语音转换成提问文字回传给云端服务器；
步骤2、所述云端服务器将所述提问文字与题库中的问题相匹配，若匹配成功则执行步骤3；若匹配不成功则执行步骤4；
步骤3、播放答案语音和/或答案视频，并退出系统；
步骤4、所述云端服务器通过机器人终端将匹配不成功的提问文字发送给指定的真人客服服务端，客服人员接收到提问文字后以回答文字的形式作答，机器人终端将回答文字发送给所述云端服务器；若所述云端服务器设置在实体机器人上，则执行步骤5；若所述云端服务器设置在虚拟机器人上，则执行步骤6；
步骤5、云端服务器将回答文字发往语音转换模块转换成基于实体机器人的回答语音，并将基于实体机器人的回答语音发往给机器人终端，然后执行步骤7；
步骤6、云端服务器接收到回答文字后，将回答文字转换成基于虚拟机器人的回答语音，同时对所述回答文字进行文字断句、匹配唇形和合成视频，并将基于虚拟机器人的回答语音和合成视频在虚拟机器人上播放；
步骤7、将步骤1产生的提问文字、步骤5产生的基于实体机器人的回答语音或步骤6产生的基于虚拟机器人的回答语音和合成视频存入到题库中去；
步骤8、给步骤7产生的新增问题按照主谓宾语设置三级关键词，退出系统；
所述云端服务器针对客户的提问设有题库，所述题库中存有适合虚拟机器人使用的各种唇形组合的原型视频文件，对应每句文字不同唇形的排列组合，并赋予每个原型视频文件不同的唇形排列组合码一种机器人模仿、学习讲话；在步骤1中具体包括以下步骤：
步骤101、所述机器人终端将客户的提问语音传送到云端服务器；
步骤102、所述云端服务器将客户的提问语音传送到语音转换模块，所述语音转换模块将所述客户的提问语音转换成提问文字传回所述云端服务器一种机器人模仿、学习讲话；在步骤6中具体包括以下步骤：
步骤601、所述云端服务器接收到回答文字后，按照标点符号将回答文字拆分成若干个句子；
步骤602、所述云端服务器对拆分后的句子与题库中的原型视频库中的唇形进行匹配；
步骤603、将匹配成功的每一句原型视频进行拼接，形成合成视频；
步骤604、计算出步骤603形成的合成视频所需的播放时间；
步骤605、云端服务器将所述回答文字，按步骤604的时间设定语速，确保发音时长等于文字演播时长，并将所述回答文字发往语音转换模块，语音转换模块将文所述字转换成基于虚拟机器人的回答语音传回所述云端服务器；
步骤606、将步骤603产生的合成视频与步骤605产生的基于虚拟机器人的回答语音进行合成，形成最终合成视频；
步骤607、将步骤606产生的合成视频通过指定的机器人终端进...

【专利技术属性】
技术研发人员：郭志扬，乔健，吴鹏程，陈起航，朱西锋，丁航，陈宇轩，陆佳莉，程显达，
申请(专利权)人：江苏遨信科技有限公司，
类型：发明
国别省市：江苏;32