三维虚拟形象生成方法、装置、设备以及存储介质制造方法及图纸

本公开提供了一种三维虚拟形象生成方法、装置、设备以及存储介质，涉及人工智能领域，具体涉及计算机视觉、深度学习等技术领域。具体实现方案为：获取第一模型、第二模型和参考虚拟形象，其中，所述第一模型为根据目标对象的图像信息进行三维重建得到的所述目标对象的三维模型，所述第二模型为参考对象的三维模型，所述参考虚拟形象为根据所述参考对象构建的三维虚拟形象；计算所述第一模型和所述第二模型的差异信息；根据所述差异信息对所述参考虚拟形象的三维坐标进行调整，得到所述目标对象的三维虚拟形象。本公开能缩短数字项目在上线准备阶段的耗时，提升数字项目的上线效率。提升数字项目的上线效率。提升数字项目的上线效率。

【技术实现步骤摘要】
三维虚拟形象生成方法、装置、设备以及存储介质


[0001]本公开涉及计算机视觉、深度学习等人工智能
，尤其涉及三维虚拟形象生成方法、装置、设备以及存储介质。

技术介绍

[0002]在项目上线后，用户可通过项目对应的程序或应用上传个人的面部图像，以获得携带有用户的面部特征的三维虚拟形象。
[0003]相关技术中，在进行用户的三维虚拟模型构建时，会先构建不包括用户的面部特征的三维虚拟形象，并根据三维虚拟形象对应的脸型基底和表情基底，采用三维可变形人脸模型(Three
‑
dimensional Morphable Model，3DMM)算法对该三维虚拟形象的面部进行重建，以得到包括有用户的面部特征的三维虚拟形象。

技术实现思路

[0004]本公开提供了一种三维虚拟形象生成方法、装置、设备以及存储介质。
[0005]根据本公开的一方面，提供了一种三维虚拟形象生成方法，包括：
[0006]获取第一模型、第二模型和参考虚拟形象，其中，所述第一模型为根据目标对象的图像信息进行三维重建得到的所述目标对象的三维模型，所述第二模型为参考对象的三维模型，所述参考虚拟形象为根据所述参考对象构建的三维虚拟形象；
[0007]计算所述第一模型和所述第二模型的差异信息；
[0008]根据所述差异信息对所述参考虚拟形象的三维坐标进行调整，得到所述目标对象的三维虚拟形象。
[0009]根据本公开的另一方面，提供了一种三维虚拟形象生成装置，包括：
[0010]获取模块，用于获取第一模型、第二模型和参考虚拟形象，其中，所述第一模型为根据目标对象的图像信息进行三维重建得到的所述目标对象的三维模型，所述第二模型为参考对象的三维模型，所述参考虚拟形象为根据所述参考对象构建的三维虚拟形象；
[0011]计算模块，用于计算所述第一模型和所述第二模型的差异信息；
[0012]调整模块，用于根据所述差异信息对所述参考虚拟形象的三维坐标进行调整，得到所述目标对象的三维虚拟形象。
[0013]根据本公开的另一方面，提供了一种电子设备，包括：
[0014]至少一个处理器；以及
[0015]与所述至少一个处理器通信连接的存储器；其中，
[0016]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开提供的三维虚拟形象生成方法。
[0017]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行本公开提供的三维虚拟形象生成方法。
[0018]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算
机程序在被处理器执行时实现本公开提供的三维虚拟形象生成方法。
[0019]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0020]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0021]图1是本公开提供的一种三维虚拟形象生成方法的流程图；
[0022]图2是本公开提供的另一种三维虚拟形象生成方法的流程图；
[0023]图3a至图3c是本公开提供的三维虚拟形象生成装置的结构图；
[0024]图4是用来实现本公开实施例的三维虚拟形象生成方法的电子设备的框图。
具体实施方式
[0025]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0026]请参见图1，图1是本公开提供的一种三维虚拟形象生成方法的流程图，如图1所示，包括以下步骤：
[0027]步骤S101、获取第一模型、第二模型和参考虚拟形象。
[0028]其中，所述第一模型为根据目标对象的图像信息进行三维重建得到的所述目标对象的三维模型，所述第二模型为参考对象的三维模型，所述参考虚拟形象为根据所述参考对象构建的三维虚拟形象。
[0029]上述目标对象可以为人脸；上述目标对象的图像信息可以通过摄像头、相机、智能手机等设备采集得到；上述参考对象为泛化的标准人脸，参考对象可通过综合或汇总多个自然人的人脸特征(如：鼻特征、嘴特征、眼特征等)的公共部分来得到。
[0030]举例来说，上述第一模型可以为根据用户A的面部图像进行三维重建得到的用户A的面部三维模型，上述第二模型可以为泛化的标准人脸的面部三维模型，上述参考虚拟形象可以为根据泛化的标准人脸构建的三维虚拟形象(如：卡通动物玩偶的虚拟形象、卡通人物的虚拟形象等)。
[0031]步骤S102、计算所述第一模型和所述第二模型的差异信息。
[0032]上述差异信息用于指示第一模型的模型形状和第二模型的模型形状之间的差异，其中，模型形状可以为构建模型的多个三维点之间的坐标关系。
[0033]上述第一模型和上述第二模型为同一类型的三维模型，也即是说，上述第一模型包括的三维点的数目和上述第二模型包括的三维点的数目相同，且第一模型包括的多个三维点和第二模型包括的多个三维点一一对应；针对相互对应的第一模型的三维点和第二模型的三维点来说，两者的点标识相同，点坐标可以相同也可以不同。
[0034]上述参考虚拟形象包括的三维点的数目和上述第一模型包括的三维点的数目不同。
[0035]在一示例中，可以将第一模型的多个三维点和第二模型的多个三维点之间的点坐
标差异作为所述差异信息。
[0036]在另一示例中，可以对第一模型和第二模型分别进行特征提取，以得到第一模型对应的形状特征和第二模型对应的形状特征，并将第一模型对应的形状特征和第二模型对应的形状特征之间的特征差异作为所述差异信息。
[0037]步骤S103、根据所述差异信息对所述参考虚拟形象的三维坐标进行调整，得到所述目标对象的三维虚拟形象。
[0038]在本公开中，由于第二模型和参考虚拟形象均对应参考对象，因此，第二模型的三维点与参考虚拟形象的三维点之间存在特征映射关系，基于该特征映射关系可建立参考虚拟形象的三维点和第二模型的三维点的点标识之间的关联，之后根据点标识对应的差异信息对关联的参考虚拟形象的三维点的三维坐标进行调整，即可得到所述目标对象的三维虚拟形象。
[0039]其中，特征映射关系可以为：第二模型的N个三维点和参考虚拟形象的M个三维点对应参考对象的同一特征，N和M均为正整数。
[0040]应用中，可以通过应用三维可变形人脸模型(Three
‑
dimensional Morphable Model本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维虚拟形象生成方法，其特征在于，包括：获取第一模型、第二模型和参考虚拟形象，其中，所述第一模型为根据目标对象的图像信息进行三维重建得到的所述目标对象的三维模型，所述第二模型为参考对象的三维模型，所述参考虚拟形象为根据所述参考对象构建的三维虚拟形象；计算所述第一模型和所述第二模型的差异信息；根据所述差异信息对所述参考虚拟形象的三维坐标进行调整，得到所述目标对象的三维虚拟形象。2.根据权利要求1所述的方法，其中，所述计算所述第一模型和所述第二模型的差异信息，包括：获取所述第一模型对应目标标识的三维点的第一坐标和所述第二模型对应所述目标标识的三维点的第二坐标，其中，所述第一模型和所述第二模型为同一类型的三维模型，所述目标标识为所述同一类型的三维模型中任一三维点的点标识；计算所述第一坐标和所述第二坐标之间的坐标差异，所述差异信息包括所述坐标差异。3.根据权利要求2所述的方法，其中，所述根据所述差异信息对所述参考虚拟形象的三维坐标进行调整，得到所述目标对象的三维虚拟形象，包括：在所述参考虚拟形象中识别关联所述目标标识的目标三维点；根据所述坐标差异确定所述目标三维点的坐标调整数据；根据所述坐标调整数据对所述参考虚拟形象的第一部位的三维坐标进行调整，得到所述目标对象的三维虚拟形象，所述第一部位为所述参考虚拟形象包括的多个部位中的一个部位，且所述第一部位与所述目标对象匹配。4.根据权利要求3所述的方法，其中，所述差异信息包括多个三维点的所述坐标差异，所述根据所述坐标差异确定对所述目标三维点的坐标调整数据，包括：对所述多个三维点的所述坐标差异进行加权计算，得到所述坐标调整数据。5.根据权利要求3所述的方法，其中，所述根据所述坐标调整数据对所述参考虚拟形象的第一部位的三维坐标进行调整，得到所述目标对象的三维虚拟形象，包括：对目标函数进行求解，得到目标调整信息，其中，所述目标函数的函数输入为用于调整所述参考虚拟形象的第一部位的三维坐标的候选调整信息，所述目标函数的函数输出为所述参考虚拟形象的第一部位的三维坐标在经过调整后的坐标偏差值，所述目标函数的函数约束条件包括：在所述候选调整信息调整的三维点为所述目标三维点时，经过所述候选调整信息调整后的三维点的坐标偏差数据和所述坐标调整数据相同，所述目标调整信息为所述坐标偏差值取最小值时对应的候选调整信息；根据所述目标调整信息对所述参考虚拟形象的第一部位的三维坐标进行调整，得到所述目标对象的三维虚拟形象。6.根据权利要求5所述的方法，其中，所述坐标偏差值包括：第一三维点的坐标偏差和第二三维点的坐标偏差之间的差值，其中，所述第一三维点和所述第二三维点为所述参考虚拟形象中的任意两个相邻的三维点，所述第一三维点的坐标偏差为所述第一三维点在所述参考虚拟形象中的坐标和所述第一三维点经过候选调整信息调整后的坐标之间的坐标偏差，所述第二三维点的坐标偏差为所述第二三维点在所述
参考虚拟形象中的坐标和所述第二三维点经过候选调整信息调整后的坐标之间的坐标偏差。7.根据权利要求4所述的方法，其中，所述在所述参考虚拟形象中识别关联所述目标标识的目标三维点，包括：根据所述参考虚拟形象对所述第二模型进行变形处理，得到第三模型，其中，所述第三模型也为所述同一类型的三维模型，且所述第三模型和所述参考虚拟形象的第一部位的形状匹配；在所述参考虚拟形象中将投影点位于目标三角区域，且与投影点之间的点距小于第一阈值的三维点识别为所述目标三维点，其中，所述目标三角区域为所述第三模型中对应所述目标标识的三角区域。8.根据权利要求1至7中任一项所述的方法，其中，所述目标对象包括：人脸，所述参考对象包括：预设的标准人脸，所述三维虚拟形象包括：人脸和肢体。9.一种三维虚拟形象生成装置，其特征在于，包括：获取模块，用于获取第一模型、第二模型和参考虚拟形象，其中，所述第一模型为根据目标对象的图像信息进行三维重建得到的所述目标对象的...

【专利技术属性】
技术研发人员：刘豪杰，陈睿智，赵晨，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：