System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种数字人驱动方法、设备和存储介质技术_技高网

一种数字人驱动方法、设备和存储介质技术

技术编号:40874406 阅读:2 留言:0更新日期:2024-04-08 16:42
本申请提供了一种数字人驱动方法、设备和存储介质,涉及人机交互技术领域。该数字人驱动方法包括获取待驱动文本,并确定资源占用率;在确定资源占用率小于或者等于占用率阈值,且根据待驱动文本在第一方案库中,匹配到初级驱动方案时,使用初级驱动方案驱动数字人;在确定资源占用率小于或者等于占用率阈值,且根据待驱动文本在第一方案库中,未匹配到初级驱动方案时,发送驱动申请;在接收到目标驱动方案时,使用目标驱动方案驱动数字人。本申请用于解决终端在运行数字人的过程中,可能会因为资源、网络、以及并发等因素出现卡顿、无法运行,导致用户体验较差的问题。

【技术实现步骤摘要】

本申请涉及人机交互,尤其涉及一种数字人驱动方法、设备和存储介质


技术介绍

1、三维数字人物,即3d数字人(digital human/meta human)是指通过计算机技术和3d建模技术创建的虚拟人物。它们可以在屏幕上以三维形式展现,并具有逼真的外观和动作。并且,3d数字人可以被用于电影、视频游戏、虚拟现实和增强现实应用等领域,为用户提供更加沉浸式和交互式的体验。

2、在实际应用中,终端在运行数字人的过程中可能会因为资源、网络、以及并发等因素导致出现卡顿、无法运行等问题。例如,终端在运行数字人的过程中可能会同时播放高清视频、实时远程聊天等,这些任务对终端资源的占用很大,会导致终端运行数字人时出现卡顿、无法运行等问题,从而影响到用户与数字人交互时,数字人的及时性和稳定性,用户体验较差。


技术实现思路

1、为了解决上述技术问题,本申请提供了一种数字人驱动方法、设备和存储介质,能够解决终端在运行数字人的过程中,可能会因为资源、网络、以及并发等因素出现卡顿、无法运行,导致用户体验较差的问题。

2、第一方面,本申请提供了一种数字人驱动设备,应用于终端,包括:通信器,被配置为获取待驱动文本,并确定资源占用率;待驱动文本由待驱动数据转换得到;处理器,被配置为在确定资源占用率小于或者等于占用率阈值,且根据待驱动文本在第一方案库中,匹配到初级驱动方案时,使用初级驱动方案驱动数字人;第一方案库中包括驱动文本和驱动方案,一个驱动文本对应一个驱动方案;通信器,还被配置为在根据待驱动文本在第一方案库中,未匹配到初级驱动方案时,发送驱动申请;驱动申请中包括期望等级和待驱动数据,用于指示实时驱动数字人;通信器,还被配置为在接收到目标驱动方案时,使用目标驱动方案驱动数字人。

3、可选的,处理器,还被配置为在确定资源占用率大于占用率阈值时,使用图形交换格式动态图驱动数字人。

4、可选的,通信器,还被配置为接收申请结果,并确定实际耗时;申请结果包括实际等级和驱动耗时,实际耗时为发送驱动申请至接收到申请结果之间的时长;处理器,还被配置为根据驱动耗时、实际耗时、以及实际等级确定下次期望等级;下次期望等级用于指示实时驱动数字人。

5、可选的,处理器,具体被配置为:根据驱动耗时和实际耗时计算网络耗时;在网络耗时大于第一时间阈值时,确定下次期望等级为实际等级减一;在网络耗时大于第二时间阈值,且小于或者等于第一时间阈值时,确定下次期望等级为实际等级;第二时间阈值小于第一时间阈值;在网络耗时小于或者等于第二时间阈值时,确定下次期望等级为实际等级加一。

6、可选的,初级驱动方案中包括至少一个blendshape分量,且一个blendshape分量对应一个权重值。

7、第二方面,本申请提供了一种数字人驱动设备,应用于服务器,包括:通信器,被配置为接收驱动申请,并获取当前并发数;驱动申请中包括期望等级和待驱动数据;处理器,被配置为根据当前并发数确定云端等级;处理器,还被配置为根据期望等级和云端等级确定实际等级;处理器,还被配置为根据实际等级和待驱动数据确定目标驱动方案,并发送目标驱动方案,以指示使用目标驱动方案驱动数字人。

8、可选的,处理器,具体被配置为获取初始云端等级;在当前并发数小于或者等于并发阈值时,确定云端等级为初始云端等级;在当前并发数大于并发阈值时,确定云端等级为初始云端等级减去预设阈值。

9、可选的,处理器,具体被配置为将期望等级和云端等级中值最小的确定为实际等级。

10、可选的,处理器,具体被配置将所述待驱动数据和所述实际等级输入驱动网络模型进行方案提取处理,得到目标驱动方案;所述驱动网络模型由预设驱动数据和预设驱动等级作为输入,预设驱动方案作为输出训练得到。

11、可选的,处理器,还被配置获取预设驱动数据、预设驱动等级、以及预设驱动方案,并对驱动数据进行特征提取,得到驱动特征;根据预设规则确定驱动网络模型中驱动子网络的个数,并固定每个驱动子网络的等级;对每个驱动子网络执行以下训练操作,得到预设个数的驱动子网络模型,并由该预设个数的子网络模型组成驱动网络模型;其中,训练操作包括:针对目标驱动子网络,将与目标驱动子网络的驱动等级相同的预设驱动等级,对应的驱动特征作为目标驱动子网络的输入,对应的预设驱动方案作为输出,对目标驱动子网络进行n次训练,直至目标驱动子网络的损失函数收敛,得到目标驱动子网络对应的驱动子网络模型,其中,目标驱动子网络为任一驱动子网络。

12、可选的,通信器,还被配置为返回申请结果;申请结果包括实际等级和驱动耗时,用于指示确定下次期望等级。

13、可选的,目标驱动方案中包括至少一个blendshape分量,且一个blendshape分量对应一个权重值。

14、第三方面,本申请提供了一种数字人驱动方法,应用于终端,包括:获取待驱动文本,并确定资源占用率;待驱动文本由待驱动数据转换得到;在确定资源占用率小于或者等于占用率阈值,且根据待驱动文本在第一方案库中,匹配到初级驱动方案时,使用初级驱动方案驱动数字人;第一方案库中包括驱动文本和驱动方案,一个驱动文本对应一个驱动方案;在根据待驱动文本在第一方案库中,未匹配到初级驱动方案时,发送驱动申请;驱动申请中包括期望等级和待驱动数据,用于指示实时驱动数字人;在接收到目标驱动方案时,使用目标驱动方案驱动数字人。

15、第四方面,本申请提供了一种数字人驱动方法,应用于服务器,包括:接收驱动申请,并获取当前并发数;驱动申请中包括期望等级和待驱动数据;根据当前并发数确定云端等级;根据期望等级和云端等级确定实际等级;根据实际等级和待驱动数据确定目标驱动方案,并发送目标驱动方案,以指示使用目标驱动方案驱动数字人。

16、第五方面,本申请提供了一种电子设备,包括:存储器和处理器,存储器用于存储计算机程序;处理器用于在执行计算机程序时,使得电子设备实现如第三方面提供的任一项的数字人驱动方法。

17、第六方面,本申请提供了一种电子设备,包括:存储器和处理器,存储器用于存储计算机程序;处理器用于在执行计算机程序时,使得电子设备实现如第四方面提供的任一项的数字人驱动方法。

18、第七方面,本申请提供一种计算机可读存储介质,包括:计算机可读存储介质上存储计算机程序,当计算机程序被计算设备执行时,使得计算设备执行如第三方面提供的任一项的数字人驱动方法。

19、第八方面,本申请提供一种计算机可读存储介质,包括:计算机可读存储介质上存储计算机程序,当计算机程序被计算设备执行时,使得计算设备执行如第四方面提供的任一项的数字人驱动方法。

20、第九方面,本申请提供一种计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行如第三方面提供的任一项的数字人驱动方法。

21、第十方面,本申请提供一种计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行如第四方面提本文档来自技高网...

【技术保护点】

1.一种数字人驱动设备,应用于终端,其特征在于,包括:

2.根据权利要求1所述的数字人驱动设备,其特征在于,

3.根据权利要求1所述的数字人驱动设备,其特征在于,

4.根据权利要求3所述的数字人驱动设备,其特征在于,

5.一种数字人驱动设备,应用于服务器,其特征在于,包括:

6.根据权利要求5所述的数字人驱动设备,其特征在于,

7.一种数字人驱动方法,应用于终端,其特征在于,包括:

8.一种数字人驱动方法,应用于服务器,其特征在于,包括:

9.一种电子设备,其特征在于,包括:存储器和处理器,所述存储器用于存储计算机程序;所述处理器用于在执行计算机程序时,使得所述电子设备实现权利要求7或者权利要求8所述的数字人驱动方法。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,当所述计算机程序被计算设备执行时,使得所述计算设备实现权利要求7或者权利要求8所述的数字人驱动方法。

【技术特征摘要】

1.一种数字人驱动设备,应用于终端,其特征在于,包括:

2.根据权利要求1所述的数字人驱动设备,其特征在于,

3.根据权利要求1所述的数字人驱动设备,其特征在于,

4.根据权利要求3所述的数字人驱动设备,其特征在于,

5.一种数字人驱动设备,应用于服务器,其特征在于,包括:

6.根据权利要求5所述的数字人驱动设备,其特征在于,

7.一种数字人驱动方法,应用于终端,其特征在于,包括:

【专利技术属性】
技术研发人员:刘韶鲁翔王冰
申请(专利权)人:海信视像科技股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1