【技术实现步骤摘要】
一种资源合成方法、装置、设备及存储介质
[0001]本公开涉及计算机
,尤其涉及一种资源合成方法、装置、设备及存储介质。
技术介绍
[0002]具备类真人行为的数字虚拟人是元宇宙、游戏、虚拟直播、虚拟现实等技术的重要组成部分。在虚拟人直播中,如果虚拟人能够拥有类似真人的才艺,比如给定音乐附和音乐进行自动编舞,将会为虚拟人带来巨大的吸引力。
[0003]目前在多数关于虚拟人跳舞动作的场景中,往往需要会舞蹈的动捕演员根据音乐进行编舞,然后通过光学捕捉设备进行动作捕捉,最后还要人工修复动捕数据,才能应用到虚拟人上。这种方式虽然舞蹈动作准确生动但是消耗了大量的人工成本、时间成本和经济成本,降低了舞蹈与音乐的合成效率。
技术实现思路
[0004]本公开提供一种资源合成方法、装置、设备及存储介质,可以提高舞蹈与音乐的合成效率。
[0005]本公开实施例的技术方案如下:
[0006]根据本公开实施例的第一方面,提供一种资源合成方法,该方法可以应用于电子设备。该方法可以包括:
[0007 ...
【技术保护点】
【技术特征摘要】
1.一种资源合成方法,其特征在于,包括:获取待合成的音乐资源;所述待合成的音乐资源包括至少一个音乐片段;确定与所述至少一个音乐片段一一对应的至少一个特征信息;将所述至少一个特征信息输入到预设模型中,以得到与所述至少一个特征信息一一对应的至少一个舞蹈资源;所述预设模型为根据多个样本资源对训练至满足第一预设条件,用于确定输入的特征信息对应的舞蹈资源的模型;一个样本资源对包括一个音乐样本资源和一个舞蹈样本资源;根据所述至少一个舞蹈资源和所述至少一个音乐片段,生成合成资源;所述合成资源包括所述待合成的音乐资源和与所述待合成的音乐资源对应的舞蹈资源。2.根据权利要求1所述的资源合成方法,其特征在于,所述特征信息包括:音乐类型特征信息和音乐节奏特征信息;所述确定与所述至少一个音乐片段一一对应的至少一个特征信息,包括:将所述至少一个音乐片段输入到音乐类型特征提取模型中,以得到与所述至少一个音乐片段一一对应的至少一个音乐类型特征信息;所述音乐类型特征提取模型为根据第一样本资源训练得到的;所述第一样本资源为所述多个样本资源对中,包括音乐类型特征的样本资源;将所述至少一个音乐片段输入到音乐节奏特征提取模型中,以得到与所述至少一个音乐片段一一对应的至少一个音乐节奏特征信息;所述音乐节奏特征提取模型为根据第二样本资源训练得到的;所述第二样本资源为所述多个样本资源对中,包括音乐节奏特征的样本资源。3.根据权利要求1所述的资源合成方法,其特征在于,所述至少一个音乐片段包括:第一音乐片段和与所述第一音乐片段连续的第二音乐片段;所述至少一个舞蹈资源包括:与所述第一音乐片段对应的第一舞蹈资源和与所述第二音乐片段对应的第二舞蹈资源;所述第一舞蹈资源包括:按照所述第一舞蹈资源的舞蹈动作的先后顺序划分的结尾动作;所述第二舞蹈资源包括:按照所述第二舞蹈资源的舞蹈动作的先后顺序划分的起始动作;当所述结尾动作和所述起始动作为非连续的舞蹈动作时,所述根据所述至少一个舞蹈资源和所述至少一个音乐片段,生成合成资源,包括:将所述结尾动作和所述起始动作输入到动作补全模型中,以得到与所述结尾动作对应的第一动作和与所述起始动作对应的第二动作;所述动作补全模型为根据第三样本资源训练得到的;所述第三样本资源为所述多个样本资源对中,包括舞蹈动作特征的样本资源;所述第一动作和所述第二动作为连续的舞蹈动作;将所述结尾动作更新为所述第一动作,以得到更新后的第一舞蹈资源;将所述起始动作更新为所述第二动作,以得到更新后的第二舞蹈资源;根据所述第一音乐片段、所述第二音乐片段、所述更新后的第一舞蹈资源和所述更新后的第二舞蹈资源,生成所述合成资源。4.根据权利要求1所述的资源合成方法...
【专利技术属性】
技术研发人员:王鹏睿,
申请(专利权)人:北京达佳互联信息技术有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。