【技术实现步骤摘要】
虚拟形象处理方法、装置、电子设备和存储介质
[0001]本公开涉及人工智能
,尤其涉及增强现实、虚拟现实、计算机视觉、深度学习等
,可应用于虚拟数字人和元宇宙等场景下。更具体地,本公开提供了一种虚拟形象处理方法、装置、电子设备和存储介质。
技术介绍
[0002]随着人工智能技术的发展,虚拟形象广泛地应用社交、直播或游戏等各种场景。可以利用一个或几个纹理基底和形状基底,生成虚拟形象。再为虚拟形象配置驱动参数,使得虚拟形象执行配置的动作。
技术实现思路
[0003]本公开提供了一种虚拟形象处理方法、装置、设备以及存储介质。
[0004]根据本公开的一方面,提供了一种虚拟形象处理方法,该方法包括:根据目标图像和第一拓扑,得到与目标图像对应的第一中间拓扑,其中,第一中间拓扑包括多个第一关键点;将第二拓扑的多个第二关键点与第一中间拓扑的多个第一关键点对齐,得到目标拓扑;根据第一中间拓扑的至少一个第一纹理基底和目标拓扑,得到目标虚拟形象;以及根据第二拓扑的预设驱动参数,控制目标虚拟形象执行第一动作。
[0005]根据本公开的另一方面,提供了一种虚拟形象处理装置,该装置包括:第一获得模块,用于根据目标图像和第一拓扑,得到与目标图像对应的第一中间拓扑,其中,第一中间拓扑包括多个第一关键点;对齐模块,用于将第二拓扑的多个第二关键点与第一中间拓扑的多个第一关键点对齐,得到目标拓扑;第二获得模块,用于根据第一中间拓扑的至少一个第一纹理基底和目标拓扑,得到目标虚拟形象;以及控制模块,用于根据第二拓 ...
【技术保护点】
【技术特征摘要】
1.一种虚拟形象处理方法,包括:根据目标图像和第一拓扑,得到与所述目标图像对应的第一中间拓扑,其中,所述第一中间拓扑包括多个第一关键点;将第二拓扑的多个第二关键点与所述第一中间拓扑的多个所述第一关键点对齐,得到目标拓扑;根据所述第一中间拓扑的至少一个第一纹理基底和所述目标拓扑,得到目标虚拟形象;以及根据所述第二拓扑的预设驱动参数,控制所述目标虚拟形象执行第一动作。2.根据权利要求1所述的方法,其中,所述根据目标图像和第一拓扑,得到与所述目标图像对应的第一中间拓扑包括:确定所述第一拓扑的多个初始基底,其中,多个所述初始基底包括至少一个初始形状基底和至少一个初始纹理基底;将所述第一拓扑映射至所述目标图像所处的目标坐标系,得到映射图像;确定所述映射图像和所述目标图像之间的差异值;以及调整多个所述初始基底中的至少一个所述初始基底,使得所述差异值收敛,得到所述第一中间拓扑,其中,所述第一中间拓扑包括至少一个第一形状基底和至少一个所述第一纹理基底。3.根据权利要求2所述的方法,其中,所述调整多个所述初始基底中的至少一个初始基底包括:调整多个所述初始基底中至少一个所述初始基底的参数,以降低所述差异值。4.根据权利要求2所述的方法,其中,所述调整多个所述初始基底中的至少一个所述初始基底包括:利用来自于多个预设基底中至少一个所述预设基底替换多个所述初始基底中至少一个所述初始基底,以降低所述差异值。5.根据权利要求2所述的方法,其中,所述差异值包括多个第一差异值,所述映射图像包括多个第三关键点,所述目标图像包括多个目标关键点,所述第三关键点对应一个所述目标关键点,所述确定所述映射图像和所述目标图像之间的差异值包括:将所述第三关键点对应的目标关键点和所述第三关键点之间的距离值确定为所述第一差异值。6.根据权利要求2所述的方法,其中,所述差异值包括第二差异值,所述确定所述映射图像和所述目标图像之间的差异值包括:根据预设损失函数,确定所述映射图像和所述目标图像之间的所述第二差异值。7.根据权利要求2所述的方法,其中,所述调整多个所述初始基底中的至少一个所述初始基底,使得所述差异值收敛,得到所述第一中间拓扑包括:响应于确定所述差异值收敛,将与收敛的差异值对应的调整后第一拓扑确定为待处理拓扑;以及根据来自于预设虚拟形象的预设轮廓信息,对所述待处理拓扑的轮廓信息进行插值,得到所述第一中间拓扑。
8.根据权利要求1所述的方法,其中,所述根据所述第一中间拓扑的至少一个第一纹理基底和所述目标拓扑,得到目标虚拟形象包括:利用纹理生成模型处理至少一个所述第一纹理基底,得到至少一个第二纹理基底;以及将至少一个所述第二纹理基底与所述目标拓扑融合,得到所述目标虚拟形象。9.根据权利要求1所述的方法,其中,所述根据所述第一中间拓扑的至少一个第一纹理基底和所述目标拓扑,得到目标虚拟形象包括:从多个预设纹理基底中确定出至少一个第三纹理基底,其中,所述第三纹理基底的类别与一个所述第一纹理基底的类别一致;以及将至少一个所述第三纹理基底与所述目标拓扑融合,得到所述目标虚拟形象。10.根据权利要求1所述的方法,其中,所述第一关键点对应一个所述第二关键点,所述将第二拓扑的多个第二关键点与所述第一中间拓扑的多个所述第一关键点对齐,得到目标拓扑包括:将所述第一关键点对应的第二关键点和所述第一关键点对齐,使得所述第二拓扑转换为第二中间拓扑;以及对所述第二中间拓扑进行平滑处理,得到所述目标拓扑。11.根据权利要求1所述的方法,其中,所述根据所述第二拓扑的预设驱动参数,控制所述目标虚拟形象执行第一动作包括:确定所述第二拓扑的多个三角面片与所述目标拓扑的多个三角面片之间的映射关系;根据所述映射关系,将所述预设驱动参数转换为所述目标虚拟形象的第一驱动参数;以及利用所述第一驱动参数控制所述目标虚拟形象执行所述第一动作。12.根据权利要求11所述的方法,其中,所述根据所述第二拓扑的预设驱动参数,控制所述目标虚拟形象执行第一动作还包括:根据所述目标图像中目标对象的第一附属元素,从多个预设附属元素中确定所述目标虚拟形象的第二附属元素;以及根据所述第二附属元素的位置信息和所述第一驱动参数,确定所述第二附属元素的第二驱动参数,其中,所述第二驱动参数用于控制所述第二附属元素执行与所述第一动作相应的第二动作。13.根据权利要求11所述的方法,还包括:获取输入的第三驱动参数;以及利用所述第三驱动参数调整所述第一驱动参数,以便控制所述目标虚拟形象执行调整后的第一动作。14.根据权利要求1所述的方法,其中,所述第一拓扑的多个三角面片与所述第二拓扑的多个三角面片一一对齐。15.根据权利要求1所述的方法,其中,所述目标图像包括目标对象的面部。16.一种虚拟形象处理装置,包括:第一获得模块,用于根据目标图像和第一拓扑,得到与所述目标图像对应的第一中间拓扑,其中,所述第一中间拓扑包括多个第一关键点;
对齐模...
【专利技术属性】
技术研发人员:徐志良,梁柏荣,周航,陈睿智,何栋梁,刘经拓,
申请(专利权)人:北京百度网讯科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。