虚拟形象生成方法、装置、电子设备以及存储介质制造方法及图纸

本公开提供了虚拟形象生成方法、装置、电子设备以及存储介质，涉及人工智能技术领域，尤其涉及计算机视觉、增强现实、虚拟现实、深度学习等技术领域，可应用于元宇宙、虚拟数字人等场景。具体实现方案为：根据初始服饰状态信息和骨骼状态信息，得到深度特征图，初始服饰状态信息与初始图像序列相对应，骨骼状态信息与目标图像序列相对应；对深度特征图进行卷积回归，得到与目标图像序列相对应的目标服饰状态信息；以及根据目标服饰状态信息和骨骼状态信息，生成虚拟形象。生成虚拟形象。生成虚拟形象。

【技术实现步骤摘要】
虚拟形象生成方法、装置、电子设备以及存储介质


[0001]本公开涉及人工智能
，尤其涉及计算机视觉、增强现实、虚拟现实、深度学习等
，可应用于元宇宙、虚拟数字人等场景，具体地，涉及一种虚拟形象生成方法、装置、电子设备以及存储介质。

技术介绍

[0002]虚拟数字人是创建元宇宙虚拟世界的关键元素之一。根据数字人的业务需求不同，数字人可分为2维、3维、卡通、写实、超写实等。在实际场景中，需要针对虚拟数字人构建适配业务需求的虚拟形象。

技术实现思路

[0003]本公开提供了一种虚拟形象生成方法、装置、电子设备以及存储介质。
[0004]根据本公开的一方面，提供了一种虚拟形象生成方法，包括：根据初始服饰状态信息和骨骼状态信息，得到深度特征图，所述初始服饰状态信息与初始图像序列相对应，所述骨骼状态信息与目标图像序列相对应；对所述深度特征图进行卷积回归，得到与所述目标图像序列相对应的目标服饰状态信息；以及根据所述目标服饰状态信息和所述骨骼状态信息，生成虚拟形象。
[0005]根据本公开的另一方面，提供了一种虚拟形本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟形象生成方法，包括：根据初始服饰状态信息和骨骼状态信息，得到深度特征图，所述初始服饰状态信息与初始图像序列相对应，所述骨骼状态信息与目标图像序列相对应；对所述深度特征图进行卷积回归，得到与所述目标图像序列相对应的目标服饰状态信息；以及根据所述目标服饰状态信息和所述骨骼状态信息，生成虚拟形象。2.根据权利要求1所述的方法，其中，所述初始服饰状态信息包括初始服饰几何形变信息和初始服饰顶点移动速度信息；所述根据初始服饰状态信息和骨骼状态信息，得到深度特征图包括：根据基准服饰几何形变信息和所述初始服饰几何形变信息，确定初始服饰几何偏差信息；根据所述初始服饰几何偏差信息、所述初始服饰顶点移动速度信息和所述骨骼状态信息，得到身体部位与虚拟服饰之间的接触状态信息；以及根据所述初始服饰几何偏差信息、所述初始服饰顶点移动速度信息和所述接触状态信息，得到所述深度特征图。3.根据权利要求1或2所述的方法，其中，所述深度特征图包括初始服饰几何偏差特征、初始服饰顶点移动速度特征和接触状态特征；所述对所述深度特征图进行卷积回归，得到与所述目标图像序列相对应的目标服饰状态信息包括：根据所述初始服饰几何偏差特征、所述初始服饰顶点移动速度特征和所述接触状态特征，得到所述目标图像序列的位移偏移量信息，所述位移偏移量信息表征目标服饰几何形变信息相对于基准服饰几何形变信息的几何形变偏移量，所述目标服饰几何形变信息与所述目标图像序列相对应；以及根据所述位移偏移量信息，确定所述目标服饰状态信息。4.根据权利要求3所述的方法，其中，所述根据所述位移偏移量信息，确定所述目标服饰状态信息包括：根据所述基准服饰几何形变信息，确定基准服饰多边形面片几何信息；以及根据所述基准服饰多边形面片几何信息和所述位移偏移量信息，确定所述目标服饰运动状态信息。5.根据权利要求1
‑
4中任一项所述的方法，还包括：获取与所述初始图像序列相对应的初始骨骼状态信息；以及对所述初始骨骼状态信息进行渲染，得到所述初始服饰状态信息。6.根据权利要求5所述的方法，其中，所述初始骨骼状态信息包括多帧初始骨骼状态信息；所述对所述初始骨骼状态信息进行渲染，得到所述初始服饰状态信息包括：利用动态物理引擎，对所述初始骨骼状态信息进行渲染，得到与所述初始骨骼状态信息相对应的初始服饰几何形变信息；根据多帧初始服饰几何形变信息，确定与所述多帧初始服饰几何形变信息相对应的初始服饰顶点移动速度信息；以及
根据所述初始服饰几何形变信息和所述初始服饰顶点移动速度信息，确定所述初始服饰状态信息。7.根据权利要求1
‑
6中任一项所述的方法，还包括：获取针对运动对象的M帧目标图像；从所述M帧图像中获取第m帧至第m+i帧目标图像，作为所述初始图像序列；以及从所述M帧图像中获取第m+i+1帧目标图像，作为所述目标图像序列，M为正整数，i为整数，m+i+1大于1且小于等于M。8.根据权利要求1
‑
7中任一项所述的方法，其中，所述骨骼状态信息包括：身体部位以及与所述身体部位相对应的虚拟服饰多边形面片之间的关联关系以及骨骼点位置信息。9.一种虚拟形象生成装置，包括：第一获得模块，用于根据初始服饰状态信息和骨骼状态信息，得到深度特征图，所述初始服饰状态信息与初始图像序列相对应，所述骨骼状态信息与目标图像序列相对应；第二获得模块，用于对所述深度特征图进行卷积回归，得到与所述目标图像序列相对应的目标服饰状态信息；以及生成模块，用于根据所述目标服饰状态信息和所述骨骼状态信息，生成虚拟形象。10.根据权利要求9所述的装置，其中，所述初始服...

【专利技术属性】
技术研发人员：李杰，
申请(专利权)人：百度时代网络技术北京有限公司，
类型：发明
国别省市：