虚拟形象生成方法、装置、电子设备和介质制造方法及图纸

本公开提供了一种虚拟形象生成方法、装置、电子设备和介质，涉及人工智能领域，具体为增强现实、虚拟现实、计算机视觉、深度学习等领域，可应用于虚拟形象生成、元宇宙、虚拟数字人等场景。具体实现方案为：确定第一虚拟形象中的多个第一目标区域；确定第二虚拟形象中的多个第二目标区域；针对第一虚拟形象中的每个第一目标区域，确定该第一目标区域与第二虚拟形象中对应的第二目标区域之间的非刚性变换矩阵；以及基于非刚性变换矩阵和针对第一虚拟形象的目标融合系数，对第一虚拟形象和第二虚拟形象进行融合处理，生成目标虚拟形象，其中，目标融合系数用于表征第一虚拟形象在融合处理时的融合程度。时的融合程度。时的融合程度。

【技术实现步骤摘要】
虚拟形象生成方法、装置、电子设备和介质


[0001]本公开涉及人工智能
，具体为增强现实、虚拟现实、计算机视觉、深度学习等领域，可应用于虚拟形象生成、元宇宙、虚拟数字人等场景。本公开具体涉及一种虚拟形象生成方法、装置、电子设备、存储介质和计算机程序产品。

技术介绍

[0002]随着人工智能技术的发展，个性化虚拟形象被广泛地应用于社交、直播、游戏等场景，以提高用户的沉浸式体验。但是，相关技术中生成的个性化虚拟形象在相似度和美观度上往往有所欠缺，无法获得令人满意的效果。

技术实现思路

[0003]本公开提供了一种虚拟形象生成方法、装置、电子设备、存储介质和计算机程序产品。
[0004]根据本公开的一方面，提供了一种虚拟形象生成方法，包括：确定第一虚拟形象中的多个第一目标区域；确定第二虚拟形象中的多个第二目标区域；针对第一虚拟形象中的每个第一目标区域，确定该第一目标区域与第二虚拟形象中对应的第二目标区域之间的非刚性变换矩阵；以及基于非刚性变换矩阵和针对第一虚拟形象的目标融合系数，对第一虚拟形象和第二虚拟形象进行融合处理，生成目标虚拟形象，其中，目标融合系数用于表征第一虚拟形象在融合处理时的融合程度。
[0005]根据本公开的另一方面，提供了一种虚拟形象生成装置，包括：第一确定模块，用于确定第一虚拟形象中的多个第一目标区域；第二确定模块，用于确定第二虚拟形象中的多个第二目标区域；第三确定模块，用于针对第一虚拟形象中的每个第一目标区域，确定该第一目标区域与第二虚拟形象中对应的第二目标区域之间的非刚性变换矩阵；以及生成模块，用于基于非刚性变换矩阵和针对第一虚拟形象的目标融合系数，对第一虚拟形象和第二虚拟形象进行融合处理，生成目标虚拟形象，其中，目标融合系数用于表征第一虚拟形象在融合处理时的融合程度。
[0006]根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行根据本公开提供的方法。
[0007]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行根据本公开提供的方法。
[0008]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据本公开提供的方法。
[0009]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0010]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0011]图1是根据本公开的实施例的可以应用虚拟形象生成方法和装置的示例性系统架构示意图；
[0012]图2是根据本公开的实施例的虚拟形象生成方法的流程图；
[0013]图3是根据本公开的实施例的虚拟形象生成方法的示意图；
[0014]图4是根据本公开实施例的虚拟形象生成装置的框图；以及
[0015]图5是用来实现本公开实施例的虚拟形象生成方法的电子设备的框图。
具体实施方式
[0016]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0017]在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
[0018]在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
[0019]在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
[0020]本公开的实施例提供了一种虚拟形象生成方法，包括：确定第一虚拟形象中的多个第一目标区域；确定第二虚拟形象中的多个第二目标区域；针对第一虚拟形象中的每个第一目标区域，确定该第一目标区域与第二虚拟形象中对应的第二目标区域之间的非刚性变换矩阵；以及基于非刚性变换矩阵和针对第一虚拟形象的目标融合系数，对第一虚拟形象和第二虚拟形象进行融合处理，生成目标虚拟形象，其中，目标融合系数用于表征第一虚拟形象在融合处理时的融合程度。
[0021]图1是根据本公开的实施例的可以应用虚拟形象生成和装置的示例性系统架构示意图。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的
技术实现思路
，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
[0022]如图1所示，根据该实施例的系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线和/或无线通信链路等等。
[0023]用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种客户端应用。例如，动画制作类应用、直
播类应用、游戏类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端或社交平台软件等(仅为示例)。
[0024]终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
[0025]服务器105可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或分布式系统，还可以是提供云服务、云计算、网络服务、中间件服务等基础云计算服务的云服务器。
[0026]服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的动画提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的图像等数据进行分析等处理，并将处理结果(例如生成的虚拟形象等)反馈给终端设备。
[0027]例如，服务器105可以通过网络104获取来自终端设备101、102、103的第一虚拟形象和第二虚拟形象，并分别确定第一虚拟形象中的多个第一目标区域和第二虚拟形象中的多个第二目标区域。之后，针对第一虚拟形象中的每个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟形象生成方法，包括：确定第一虚拟形象中的多个第一目标区域；确定第二虚拟形象中的多个第二目标区域；针对所述第一虚拟形象中的每个第一目标区域，确定该第一目标区域与所述第二虚拟形象中对应的第二目标区域之间的非刚性变换矩阵；以及基于所述非刚性变换矩阵和针对所述第一虚拟形象的目标融合系数，对所述第一虚拟形象和所述第二虚拟形象进行融合处理，生成目标虚拟形象，其中，所述目标融合系数用于表征所述第一虚拟形象在融合处理时的融合程度。2.根据权利要求1所述的方法，其中，每个第一目标区域包括n个第一网格顶点，与所述第一目标区域对应的第二目标区域包括n个第二网格顶点，n为大于1的整数；所述针对所述第一虚拟形象中的每个第一目标区域，确定该第一目标区域与所述第二虚拟形象中对应的第二目标区域之间的非刚性变换矩阵包括：根据所述n个第一网格顶点和所述n个第二网格顶点，确定所述第一目标区域和所述第二目标区域之间的非刚性变换关系；以及根据所述非刚性变换关系，确定所述第一目标区域和所述第二目标区域之间的非刚性变换矩阵。3.根据权利要求2所述的方法，其中，根据所述n个第一网格顶点和所述n个第二网格顶点，确定所述第一目标区域和所述第二目标区域之间的非刚性变换关系包括：使用非刚性迭代最近点算法，基于所述n个第一网格顶点和所述n个第二网格顶点，确定所述第一目标区域和所述第二目标区域之间的非刚性变换关系。4.根据权利要求2或3所述的方法，其中，根据以下公式确定所述非刚性变换关系：其中，F(R，S，T)表示非刚性变换关系，R表示旋转系数，T表示平移系数，S表示缩放系数，n表示所述第一目标区域或所述第二目标区域中网格顶点的数量，p
i
表示所述第一目标区域中的第i个第一网格顶点，q
i
表示所述第二目标区域中与p
i
对应的第i个第二网格顶点，i＝1，2，
…
，n。5.根据权利要求2所述的方法，其中，所述基于所述非刚性变换矩阵和针对所述第一虚拟形象的目标融合系数，对所述第一虚拟形象和所述第二虚拟形象进行融合处理，生成目标虚拟形象包括：根据多个所述非刚性变换矩阵分别对所述第一虚拟形象的多个第一目标区域进行变换处理，得到处理后的第一虚拟形象；以及根据所述目标融合系数，对所述处理后的第一虚拟形象和所述第二虚拟形象进行融合处理，生成目标虚拟形象。6.根据权利要求5所述的方法，其中，所述根据多个所述非刚性变换矩阵分别对所述第一虚拟形象的多个第一目标区域进行变换处理，得到处理后的第一虚拟形象包括：针对所述第一虚拟形象中的每个第一目标区域，基于所述非刚性变换矩阵对所述第一目标区域的n个第一网格顶点进行变换处理，得到第三目标区域；以及根据多个所述第三目标区域，得到所述处理后的第一虚拟形象。
7.根据权利要求6所述的方法，其中，所述根据所述目标融合系数，对所述处理后的第一虚拟形象和所述第二虚拟形象进行融合处理，生成目标虚拟形象包括：根据所述目标融合系数，将所述处理后的第一虚拟形象中所有的网格顶点分别与所述第二虚拟形象中对应的网格顶点进行融合处理，得到所述目标虚拟形象。8.根据权利要求2至7中任一项所述的方法，还包括：获取多个第一目标区域中所有第一网格顶点分别对应的初始融合系数；根据所述初始融合系数以及所述第一虚拟形象中所有网格顶点的融合系数，确定融合系数优化关系；根据所述第一虚拟形象中第三网格顶点的融合系数，确定融合系数约束条件；其中，所述第三网格顶点是指所述第一虚拟形象中未进行变换处理的网格顶点；以及根据所述融合系数优化关系和所述融合系数约束条件，确定所述目标融合系数。9.根据权利要求4所述的方法，其中，所述根据所述非刚性变换关系，确定所述第一目标区域和所述第二目标区域之间的非刚性变换矩阵包括：使用奇异值分解法，基于所述非刚性变换关系，得到非刚性变换矩阵。10.一种虚拟形象生成装置，包括：第一确定模块，用于确定第一虚拟形象中的多个第一目标区域；第二确定模块，用于确定第二虚拟形象中的多个...

【专利技术属性】
技术研发人员：刘豪杰，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：