System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于5G新通话的数字人视频外呼系统、方法及装置制造方法及图纸_技高网

一种基于5G新通话的数字人视频外呼系统、方法及装置制造方法及图纸

技术编号:41239803 阅读:2 留言:0更新日期:2024-05-09 23:52
本发明专利技术涉及人工智能技术领域,公开了一种基于5G新通话的数字人视频外呼系统、方法及装置,本发明专利技术在第一终端制作流程脚本文件,进而在第二终端配置视频外呼任务并与流程脚本文件关联。进一步,当服务端接收到第二终端发送的视频外呼请求时,通过服务端向IMS核心网发起视频外呼请求,并与手机终端建立视频通信连接,最后以数字人视频互动的形式与手机终端完成交互,可以使得服务端与手机终端在进行视频外呼的同时实现媒体信息交互,解决了现有的语音外呼无法呈现视频播放、数字人互动等多媒体信息的问题,解决了原有通过互联网视频通信所无法实现的无守护进程情况下的单向发起的实时视频通信。

【技术实现步骤摘要】

本专利技术涉及人工智能,具体涉及一种基于5g新通话的数字人视频外呼系统、方法及装置。


技术介绍

1、现有视频通信主要通过互联网ott方式(over-the-top,一种新型的网络传输技术)承载,通信双方基于webrtc协议栈进行通信,所以要求双方在相同的应用层程序中进行交互,通信质量依赖于双方终端的网络质量以及应用程序对抗弱网优化的能力。当通信双方需要完成一次视频通信并传输内容时,需要通信的被叫方长期启动守护进程,才可以看到主叫方随时可能发起的通信连接请求,同意连接后接收传输内容。当拥有守护进程的应用程序出现问题或网络环境较弱时都有可能影响一次通话的内容传输质量。而现有的语音外呼虽然具备主叫方随时发起呼叫的能力,却无法呈现视频播放、数字人互动等多媒体信息。


技术实现思路

1、有鉴于此,本专利技术提供了一种基于5g新通话的数字人视频外呼系统、方法及装置,以解决现有的语音外呼无法呈现视频播放、数字人互动等多媒体信息的问题。

2、第一方面,本专利技术提供了一种基于5g新通话的数字人视频外呼系统,该系统包括:

3、第一终端、第二终端、服务端、手机终端、机器人模块、ims核心网和媒体通信模块;第一终端,用于获取数字人模板库和预设文本数据集,并基于数字人模板库和预设文本数据集生成流程脚本文件,以及将流程脚本文件发送至第二终端;第二终端,用于配置视频外呼任务,并将视频外呼任务与流程脚本文件进行关联,以及发送视频外呼请求至服务端;服务端,用于当接收到视频外呼请求,通过ims核心网发送视频通信连接请求至手机终端,并当接收到手机终端发送的视频通信连接同意指令,读取流程脚本文件,并将流程脚本文件发送至机器人模块;机器人模块,用于将流程脚本文件进行解析,得到解析脚本内容,并基于解析脚本内容发送调用指令至媒体通信模块;媒体通信模块,用于当接收到调用指令,调用流程脚本文件对应的视频媒体文件,以及将视频媒体文件处理为流媒体,并通过rtp协议将流媒体传输至ims核心网;ims核心网,用于通过rtp协议和5g新通话方式将流媒体传输至手机终端。

4、本专利技术提供的基于5g新通话的数字人视频外呼系统,在第一终端制作流程脚本文件,进而在第二终端配置视频外呼任务并与流程脚本文件关联。进一步,当服务端接收到第二终端发送的视频外呼请求时,通过服务端向ims核心网发起视频外呼请求,并与手机终端建立视频通信连接,最后以数字人视频互动的形式与手机终端完成交互,可以使得服务端与手机终端在进行视频外呼的同时实现媒体信息交互,解决了现有的语音外呼无法呈现视频播放、数字人互动等多媒体信息的问题,解决了原有通过互联网视频通信所无法实现的无守护进程情况下的单向发起的实时视频通信。

5、在一种可选的实施方式中,第一终端,包括:获取模块、生成模块、第一处理模块和第二处理模块;

6、获取模块,用于获取数字人模板库和预设文本数据集,并将数字人模板库和预设文本数据集发送至生成模块;生成模块,用于基于数字人模板库和预设文本数据集生成数字人播报视频文件,并将数字人播报视频文件发送至第一处理模块;第一处理模块,用于对数字人播报视频文件进行重新编码和处理,得到视频媒体文件,并将视频媒体文件发送至第二处理模块;第二处理模块,用于按照预设业务流程对视频媒体文件进行编排处理,得到流程脚本文件。

7、本专利技术首先通过数字人模板库和预设文本数据集制作数字人播报视频文件,并对视频内容进行重新编码和处理得到视频媒体文件,最后通过对视频媒体文件进行编排处理可以得到对应的流程脚本文件,为后续在服务端与手机终端在进行视频外呼的同时实现媒体信息交互提供了支持。

8、在一种可选的实施方式中,生成模块,包括:

9、第一获取子模块、确定子模块和第一处理子模块;第一获取子模块,用于获取预设第一参数数据集,并将第一参数数据集发送至确定子模块;确定子模块,用于基于数字人模板库和预设第一参数数据集确定目标数字人,并将目标数字人发送至第一处理子模块;第一处理子模块,用于基于预设文本数据集和目标数字人,经过预设处理方法,得到数字人播报视频文件。

10、本专利技术通过数字人模板库和预设第一参数数据集可以选择出对应的目标数字人,进一步,结合预设文本数据集进行处理,可以得到对应的数字人播报视频文件,为后续数字人视频外呼提供了支持。

11、在一种可选的实施方式中,第一处理子模块,包括:获取单元、转换单元、处理单元和生成单元;

12、获取单元,用于获取预设音乐音轨,并将预设音乐音轨发送至转换单元;转换单元,用于对预设文本数据集进行语音转换,得到语音音轨,并将语音音轨发送至处理单元;处理单元,用于基于目标数字人和预设文本数据集,经过预设驱动方法处理,得到多个数字人播报视频图层,并将多个数字人播报视频图层发送至生成单元;生成单元,用于基于预设音乐音轨和多个数字人播报视频图层,生成数字人播报视频文件。

13、本专利技术通过语音转换和预设驱动方法处理,可以得到多个数字人播报视频图层,进一步通过结合预设音乐音轨可以生成对应的数字人播报视频文件,为后续数字人视频外呼提供了支持。

14、在一种可选的实施方式中,第一处理模块,包括:第二获取子模块、第二处理子模块和第三处理子模块;

15、第二获取子模块,用于获取预设第二参数数据集,并将预设第二参数数据集发送至第二处理子模块;第二处理子模块,用于基于预设第二参数数据集和数字人播报视频文件,经过预设编码批处理方法处理,得到多个视频文件,并将多个视频文件发送至第三处理子模块;第三处理子模块,用于对多个视频文件进行剪辑和拼接处理,得到视频媒体文件。

16、本专利技术通过对数字人播报视频文件进行编码批处理、剪辑和拼接处理,可以生成对应的视频媒体文件,为后续进行视频外呼的同时实现媒体信息交互提供了支持。

17、在一种可选的实施方式中,第二处理模块,包括:第三获取子模块、第四处理子模块和第五处理子模块;

18、第三获取子模块,用于获取用户语音输入数据集、按键数据集和视频画面交互数据集,并将用户语音输入数据集发送至第四处理子模块,以及将按键数据集和视频画面交互数据集发送至第五处理子模块;第四处理子模块,用于基于用户语音输入数据集,经过自然语言处理和识别,得到用户意图,并将用户意图发送至第三处理子模块;第五处理子模块,用于基于用户意图、按键数据集和视频画面交互数据集,对视频媒体文件进行编排处理,得到流程脚本文件。

19、本专利技术通过结合用户意图、按键数据集和视频画面交互数据集,可以实现视频媒体文件的编排处理,进而得到流程脚本文件以用于后续的媒体信息交互。

20、在一种可选的实施方式中,第二终端,包括:配置与建立模块、配置模块、关联与发送模块;

21、配置与建立模块,用于根据预设配置需求配置任务参数集,并基于配置任务参数集建立视频外呼任务,以及将视频外呼任务发送至配置模块和关联与发送模块;配置模块,用于基于视频外呼任务本文档来自技高网...

【技术保护点】

1.一种基于5G新通话的数字人视频外呼系统,其特征在于,所述系统包括:第一终端、第二终端、服务端、手机终端、机器人模块、IMS核心网和媒体通信模块;

2.根据权利要求1所述的系统,其特征在于,所述第一终端,包括:获取模块、生成模块、第一处理模块和第二处理模块;

3.根据权利要求2所述的系统,其特征在于,所述生成模块,包括:第一获取子模块、确定子模块和第一处理子模块;

4.根据权利要求3所述的系统,其特征在于,所述第一处理子模块,包括:获取单元、转换单元、处理单元和生成单元;

5.根据权利要求2所述的系统,其特征在于,所述第一处理模块,包括:第二获取子模块、第二处理子模块和第三处理子模块;

6.根据权利要求2所述的系统,其特征在于,所述第二处理模块,包括:第三获取子模块、第四处理子模块和第五处理子模块;

7.根据权利要求1所述的系统,其特征在于,所述第二终端,包括:配置与建立模块、配置模块、关联与发送模块;

8.一种基于5G新通话的数字人视频外呼方法,其特征在于,用于如权利要求1至7任一项所述的基于5G新通话的数字人视频外呼系统内服务端,所述服务端分别与第一终端、第二终端和手机终端通信连接;所述方法包括:

9.一种基于5G新通话的数字人视频外呼装置,其特征在于,用于如权利要求1至7任一项所述的基于5G新通话的数字人视频外呼系统内服务端,所述服务端分别与第一终端、第二终端和手机终端通信连接;所述装置包括:

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机指令,所述计算机指令用于使计算机执行权利要求8所述的基于5G新通话的数字人视频外呼方法。

...

【技术特征摘要】

1.一种基于5g新通话的数字人视频外呼系统,其特征在于,所述系统包括:第一终端、第二终端、服务端、手机终端、机器人模块、ims核心网和媒体通信模块;

2.根据权利要求1所述的系统,其特征在于,所述第一终端,包括:获取模块、生成模块、第一处理模块和第二处理模块;

3.根据权利要求2所述的系统,其特征在于,所述生成模块,包括:第一获取子模块、确定子模块和第一处理子模块;

4.根据权利要求3所述的系统,其特征在于,所述第一处理子模块,包括:获取单元、转换单元、处理单元和生成单元;

5.根据权利要求2所述的系统,其特征在于,所述第一处理模块,包括:第二获取子模块、第二处理子模块和第三处理子模块;

6.根据权利要求2所述的系统,其特征在于,所述第二处理模块,包括:第三获取子模块、第四处理子...

【专利技术属性】
技术研发人员:何沺
申请(专利权)人:中电科东方通信集团有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1