本申请公开了一种音频处理的方法、装置、存储介质和设备，基于人工坐席的原声音频，获得嘴型动画视频，对所述原声音频进行变声处理，得到变声音频，基于所述嘴型动画视频和所述变声音频，合成数字人视频。利用本申请所示方案，基于原声音频的嘴型动画视频与变声音频合成得到数字人视频，能够使数字人的嘴型与视频中播放的客服语音准确匹配。频中播放的客服语音准确匹配。频中播放的客服语音准确匹配。
【技术实现步骤摘要】
一种音频处理的方法、装置、存储介质和设备
[0001]本申请涉及智能客服领域，尤其涉及一种音频处理的方法、装置、存储介质和设备。
技术介绍
[0002]当前客户通过坐席系统与人工坐席进行沟通时，单纯进行语音交互会显得较为无趣，为了丰富客户体验，智能客户领域推出了一种面向客户面对面沟通的数字人客服，即根据人工坐席的原声音频，虚拟得出数字人视频，并在客户端的界面中同步播放数字人视频。
[0003]然而，现有方式虚拟得出的数字人视频中，嘴型动作显得不够逼真，即数字人的嘴型与视频中播放的客服语音不匹配，给客户带来较为差劲的观感。
技术实现思路
[0004]本申请提供了一种音频处理的方法、装置、存储介质和设备，目的在于使数字人的嘴型与视频中播放的客服语音准确匹配。
[0005]为了实现上述目的，本申请提供了以下技术方案：
[0006]一种音频处理的方法，包括：
[0007]基于人工坐席的原声音频，获得嘴型动画视频；
[0008]对所述原声音频进行变声处理，得到变声音频；
[0009]基于所述嘴型动画视频和所述变声音频，合成数字人视频。
[0010]可选的，所述基于人工坐席的原声音频进行基音检测，获得嘴型动画视频，包括：
[0011]对人工坐席的原声音频进行基音检测，得到基音轨迹信息；所述基音轨迹信息包括各个基音，以及每个所述基音的时间戳和持续时间；所述时间戳表征所述基音在所述原声音频中的出现时间点；
[0012]对于每个所述基音，获取与所述基音对应的嘴型图像；
[0013]对n张所述嘴型图像进行动画合成，得到所述基音的嘴型动画；n代表所述嘴型图像的动画帧数；所述动画帧数为所述基音的持续时间与预设数值的乘积；
[0014]按照所述基音的出现时间点由早到晚的顺序，对各个所述基音的嘴型动画进行排列组合，得到嘴型动画视频。
[0015]可选的，所述基于所述嘴型动画视频和所述变声音频，合成数字人视频，包括：
[0016]将所述变声音频划分为m个子音频；m为大于1的正整数；每个所述子音频的播放时长均相同；
[0017]按照所述子音频的播放时序由早到晚的顺序，将各个所述子音频进行排序，得到子音频序列；
[0018]将所述嘴型动画视频划分为m个子视频；每个所述子视频的播放时长均相同；
[0019]按照所述子视频的播放时序由早到晚的顺序，将各个所述子视频进行排序，得到子视频序列；
[0020]将所述子音频序列中的每个子音频，与所述子视频序列中的每个子视频进行配对，得到组合序列；所述组合序列包括m个组合；每个所述组合均包括一个所述子音频和一个所述子视频，且所述组合的序号、所述子音频的序号和所述子视频的序号均相同；
[0021]对于每个所述组合，将所述组合中的子音频和子视频进行合成处理，得到与所述组合对应的短视频；
[0022]按照序号由前到后的顺序，将与每个所述组合对应的短视频进行排列组合，得到数字人视频。
[0023]可选的，所述对所述原声音频进行变声处理，得到变声音频，包括：
[0024]将原声音频划分为m个子音频；m为大于1的正整数；每个所述子音频的播放时长均相同；
[0025]对于每个所述子音频，判断所述子音频是否为无声音频；
[0026]在所述子音频不为所述无声音频的情况下，将所述子音频标识为有效音频；
[0027]对各个所述有效音频进行变声处理，得到各个有效变声音频；
[0028]按照所述有效变声音频的播放时序由早到晚的顺序，将各个所述有效变声音频进行排列组合，得到变声音频。
[0029]可选的，所述对于每个所述子音频，判断所述子音频是否为无声音频之后，还包括：
[0030]在所述子音频为所述无声音频的情况下，将所述子音频标识为无效音频，并对所述无效音频进行删除。
[0031]可选的，所述对所述原声音频进行变声处理，得到变声音频，包括：
[0032]预先获取与所述人工坐席进行沟通的用户的个人信息；
[0033]对所述个人信息进行分析，得到所述用户的偏好声音；
[0034]按照所述偏好声音，对所述原声音频进行变声处理，得到变声音频。
[0035]可选的，所述对所述原声音频进行变声处理，得到变声音频，包括：
[0036]判断所述人工坐席的业务范围中是否包含变声沟通业务；
[0037]在确定所述人工坐席的业务范围中包含所述变声沟通业务的情况下，对所述原声音频进行变声处理，得到变声音频。
[0038]可选的，还包括：
[0039]在确定所述人工坐席的业务范围中不包含所述变声沟通业务的情况下，禁止对所述原声音频进行变声处理；
[0040]所述基于所述嘴型动画视频和所述变声音频，合成数字人视频，包括：
[0041]基于所述嘴型动画视频和所述原声音频，合成数字人视频。
[0042]可选的，还包括：
[0043]将所述数字人视频发送给客户端，使得所述客户端调用多媒体界面播放所述数字人视频。
[0044]一种音频处理的装置，包括：
[0045]嘴型视频获得单元，用于基于人工坐席的原声音频，获得嘴型动画视频；
[0046]变声音频获得单元，用于对所述原声音频进行变声处理，得到变声音频；
[0047]数字人视频合成单元，用于基于所述嘴型动画视频和所述变声音频，合成数字人
视频。
[0048]可选的，所述嘴型视频获得单元具体用于：
[0049]对人工坐席的原声音频进行基音检测，得到基音轨迹信息；所述基音轨迹信息包括各个基音，以及每个所述基音的时间戳和持续时间；所述时间戳表征所述基音在所述原声音频中的出现时间点；
[0050]对于每个所述基音，获取与所述基音对应的嘴型图像；
[0051]对n张所述嘴型图像进行动画合成，得到所述基音的嘴型动画；n代表所述嘴型图像的动画帧数；所述动画帧数为所述基音的持续时间与预设数值的乘积；
[0052]按照所述基音的出现时间点由早到晚的顺序，对各个所述基音的嘴型动画进行排列组合，得到嘴型动画视频。
[0053]可选的，所述数字人视频合成单元具体用于：
[0054]将所述变声音频划分为m个子音频；m为大于1的正整数；每个所述子音频的播放时长均相同；
[0055]按照所述子音频的播放时序由早到晚的顺序，将各个所述子音频进行排序，得到子音频序列；
[0056]将所述嘴型动画视频划分为m个子视频；每个所述子视频的播放时长均相同；
[0057]按照所述子视频的播放时序由早到晚的顺序，将各个所述子视频进行排序，得到子视频序列；
[0058]将所述子音频序列中的每个子音频，与所述子视频序列中的每个子视频进行配对，得到组合序列；所述组合序列包括m个组合；每个所述组合均包括一个所述子音频和一个所述子视频，且所述组合的序号、本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种音频处理的方法，其特征在于，包括：基于人工坐席的原声音频，获得嘴型动画视频；对所述原声音频进行变声处理，得到变声音频；基于所述嘴型动画视频和所述变声音频，合成数字人视频。2.根据权利要求1所述的方法，其特征在于，所述基于人工坐席的原声音频进行基音检测，获得嘴型动画视频，包括：对人工坐席的原声音频进行基音检测，得到基音轨迹信息；所述基音轨迹信息包括各个基音，以及每个所述基音的时间戳和持续时间；所述时间戳表征所述基音在所述原声音频中的出现时间点；对于每个所述基音，获取与所述基音对应的嘴型图像；对n张所述嘴型图像进行动画合成，得到所述基音的嘴型动画；n代表所述嘴型图像的动画帧数；所述动画帧数为所述基音的持续时间与预设数值的乘积；按照所述基音的出现时间点由早到晚的顺序，对各个所述基音的嘴型动画进行排列组合，得到嘴型动画视频。3.根据权利要求1所述的方法，其特征在于，所述基于所述嘴型动画视频和所述变声音频，合成数字人视频，包括：将所述变声音频划分为m个子音频；m为大于1的正整数；每个所述子音频的播放时长均相同；按照所述子音频的播放时序由早到晚的顺序，将各个所述子音频进行排序，得到子音频序列；将所述嘴型动画视频划分为m个子视频；每个所述子视频的播放时长均相同；按照所述子视频的播放时序由早到晚的顺序，将各个所述子视频进行排序，得到子视频序列；将所述子音频序列中的每个子音频，与所述子视频序列中的每个子视频进行配对，得到组合序列；所述组合序列包括m个组合；每个所述组合均包括一个所述子音频和一个所述子视频，且所述组合的序号、所述子音频的序号和所述子视频的序号均相同；对于每个所述组合，将所述组合中的子音频和子视频进行合成处理，得到与所述组合对应的短视频；按照序号由前到后的顺序，将与每个所述组合对应的短视频进行排列组合，得到数字人视频。4.根据权利要求1所述的方法，其特征在于，所述对所述原声音频进行变声处理，得到变声音频，包括：将原声音频划分为m个子音频；m为大于1的正整数；每个所述子音频的播放时长均相同；对于每个所述子音频，判断所述子音频是否为无声音频；在所述子音频不为所述无声音频的情况下，将所述子音频标识为有效音频；对各个所述有效音频进行变声处理，得到各个...
【专利技术属性】
技术研发人员：李锦焕，田升，穆少垒，
申请(专利权)人：深圳追一科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。