【技术实现步骤摘要】
本专利技术涉及人工智能，尤其涉及一种数字人驱动方法、装置、设备及存储介质。
技术介绍
1、随着互联网与数字媒体技术的发展，虚拟数字人技术在各行各业的应用开始涌现。在客服机器人、数字员工、虚拟主播、智能助手等应用领域，虚拟数字人正在发挥着日益重要的交互媒介作用。
2、目前，数字人较多应用在直播或主持播报中，其驱动方式可以包括真人表演驱动。真人表演驱动方式首先需完成数字人形象建模和关键点绑定，然后经过摄像头以及动作捕捉设备，实现真人模特的动作表情到数字人形象的再现。然而，该方式在建模和驱动的过程通常需要形象模特、原画师、建模师、动画师和动作捕捉技术人员的支持，导致通过该方式驱动数字人通常需要耗费大量的人力资源，成本较高。
3、上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。
技术实现思路
1、本专利技术的主要目的在于提供了一种数字人驱动方法、装置、设备及存储介质，旨在解决现有技术中通过真人表演驱动方式驱动数字人需要耗费大量的人力资源，成本较高的技术问题。
2、为实现上述目的，本专利技术提供了一种数字人驱动方法，所述数字人驱动方法包括：
3、根据待播报语言生成待驱动数字人对应的数字人音频和音素序列信息；
4、基于所述音素序列信息和动作状态机确定所述待驱动数字人对应的数字人肢体语言；
5、根据所述数字人肢体语言生成数字人图像序列；
6、基于所述数字人音频和所述数字人图像序列生成数
7、通过所述待驱动数字人呈现所述数字人视频。
8、可选地，所述基于所述音素序列信息和动作状态机确定所述待驱动数字人对应的数字人肢体语言的步骤，包括：
9、基于所述音素序列信息和预设数字人视素映射表确定人脸关键点序列，所述人脸关键点序列为由所述待驱动数字人的面部关键特征点组成的序列；
10、基于数字人行为描述信息和动作状态机确定身体关键点序列，所述身体关键点序列为由所述待驱动数字人的身体关键特征点组成的序列；
11、根据所述人脸关键点序列和所述身体关键点序列获取整体关键点序列；
12、根据所述整体关键点序列确定所述待驱动数字人对应的数字人肢体语言。
13、可选地，所述基于所述音素序列信息和预设数字人视素映射表确定人脸关键点序列的步骤，包括：
14、基于所述音素序列信息和预设数字人视素映射表确定人脸关键点偏移序列；
15、对所述人脸关键点偏移序列进行时序平滑处理，获得平滑后的人脸关键点偏移序列；
16、基于所述平滑后的人脸关键点偏移序列和数字人中性人脸关键点确定人脸关键点序列。
17、可选地，所述基于数字人行为描述信息和动作状态机确定身体关键点序列的步骤，包括：
18、基于数字人行为描述信息和动作状态机确定身体关键点偏移序列；
19、对所述身体关键点偏移序列进行时序平滑处理，获得平滑后的身体关键点偏移序列；
20、基于所述身体关键点偏移序列和数字人中性身体关键点确定身体关键点序列。
21、可选地，所述通过所述待驱动数字人呈现所述数字人视频的步骤，包括：
22、通过目标推流器分别将所述数字人音频和所述数字人视频转换为音频流和视频流；
23、根据目标时间戳对所述音频流和所述视频流进行同步处理，获得同步后的音视频流；
24、将所述同步后的音视频流推送至目标服务器，并通过所述目标服务器和所述待驱动数字人对所述同步后的音视频流进行呈现。
25、可选地，所述通过目标推流器分别将所述数字人音频和所述数字人视频转换为音频流和视频流的步骤之前，还包括：
26、对所述数字人视频进行分段处理，确定所述数字人视频中的静态视频片段；
27、基于所述静态视频片段构建目标语料库；
28、在接收到推理请求时，基于动态视频片段和所述目标语料库中的所述静态视频片段生成融合数字人视频；
29、所述通过目标推流器分别将所述数字人音频和所述数字人视频转换为音频流和视频流的步骤，包括：
30、通过目标推流器分别将所述数字人音频和所述融合数字人视频转换为音频流和视频流。
31、可选地，所述根据待播报语言生成待驱动数字人对应的数字人音频和音素序列信息的步骤之前，还包括：
32、通过人体姿态估计方法构建动作状态机对应的状态节点动作行为，所述动作状态机为用于对待驱动数字人的动作进行控制的模型；
33、构建所述动作状态机对应的节点间过渡动作行为；
34、基于所述状态节点动作行为和所述节点间过渡动作行为对所述待驱动数字人进行行为建模。
35、此外，为实现上述目的，本专利技术还提出一种数字人驱动装置，所述装置包括：
36、语音生成模块，用于根据待播报语言生成待驱动数字人对应的数字人音频和音素序列信息；
37、肢体语言确定模块，用于基于所述音素序列信息和动作状态机确定所述待驱动数字人对应的数字人肢体语言；
38、图像序列生成模块，用于根据所述数字人肢体语言生成数字人图像序列；
39、视频生成模块，用于基于所述数字人音频和所述数字人图像序列生成数字人视频；
40、视频呈现模块，用于通过所述待驱动数字人呈现所述数字人视频。
41、此外，为实现上述目的，本专利技术还提出一种数字人驱动设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数字人驱动程序，所述数字人驱动程序配置为实现如上文所述的数字人驱动方法的步骤。
42、此外，为实现上述目的，本专利技术还提出一种存储介质，所述存储介质上存储有数字人驱动程序，所述数字人驱动程序被处理器执行时实现如上文所述的数字人驱动方法的步骤。
43、在本专利技术中，公开了根据待播报语言生成待驱动数字人对应的数字人音频和音素序列信息；基于音素序列信息和动作状态机确定待驱动数字人对应的数字人肢体语言；根据数字人肢体语言生成数字人图像序列；基于数字人音频和数字人图像序列生成数字人视频；通过待驱动数字人呈现数字人视频；相较于现有技术中通过真人表演驱动方式进行数字人驱动时，在建模和驱动的过程通常需要大量技术人员的支持，成本较高，由于本专利技术基于待驱动数字人对应的数字人音频和数字人肢体语言生成数字人视频，并通过待驱动数字人查询数字人视频，从而解决了现有技术中通过真人表演驱动方式驱动数字人需要耗费大量的人力资源，成本较高的技术问题。
本文档来自技高网...【技术保护点】
1.一种数字人驱动方法，其特征在于，所述数字人驱动方法包括：
2.如权利要求1所述的数字人驱动方法，其特征在于，所述基于所述音素序列信息和动作状态机确定所述待驱动数字人对应的数字人肢体语言的步骤，包括：
3.如权利要求2所述的数字人驱动方法，其特征在于，所述基于所述音素序列信息和预设数字人视素映射表确定人脸关键点序列的步骤，包括：
4.如权利要求2所述的数字人驱动方法，其特征在于，所述基于数字人行为描述信息和动作状态机确定身体关键点序列的步骤，包括：
5.如权利要求1所述的数字人驱动方法，其特征在于，所述通过所述待驱动数字人呈现所述数字人视频的步骤，包括：
6.如权利要求5所述的数字人驱动方法，其特征在于，所述通过目标推流器分别将所述数字人音频和所述数字人视频转换为音频流和视频流的步骤之前，还包括：
7.如权利要求1至6中任一项所述的数字人驱动方法，其特征在于，所述根据待播报语言生成待驱动数字人对应的数字人音频和音素序列信息的步骤之前，还包括：
8.一种数字人驱动装置，其特征在于，所述装置包括：<...
【技术特征摘要】
1.一种数字人驱动方法，其特征在于，所述数字人驱动方法包括：
2.如权利要求1所述的数字人驱动方法，其特征在于，所述基于所述音素序列信息和动作状态机确定所述待驱动数字人对应的数字人肢体语言的步骤，包括：
3.如权利要求2所述的数字人驱动方法，其特征在于，所述基于所述音素序列信息和预设数字人视素映射表确定人脸关键点序列的步骤，包括：
4.如权利要求2所述的数字人驱动方法，其特征在于，所述基于数字人行为描述信息和动作状态机确定身体关键点序列的步骤，包括：
5.如权利要求1所述的数字人驱动方法，其特征在于，所述通过所述待驱动数字人呈现所述数字人视频的步骤，包括：
6.如权利要求5所述的数字人驱动方法，其特征在于，所述通过目标推流...
【专利技术属性】
技术研发人员：朱威，耿卫东，鲁天逸，林陈健，陈盛福，刘海龙，
申请(专利权)人：中邮消费金融有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。