用于虚拟形象的图像处理方法、装置和电子设备制造方法及图纸

本公开提供了一种用于虚拟形象的图像处理方法、装置和电子设备，涉及人工智能技术领域，具体涉及计算机视觉、增强现实、虚拟现实、深度学习等技术领域，可应用于元宇宙、数字人等场景。实现方案为：获取第一人物的面部图像和第二人物的身体图像；通过将第二人物的身体图像转换为单通道图像并在第二人物的身体图像中保留第二人物的面部特征，得到第二人物的面部图像；基于第二人物的面部图像中处于预定位置的像素点的颜色值，确定所提取的像素点的颜色值；基于提取的像素点的颜色值，确定待生成的处理结果图像中处于预定位置的像素点的颜色值；以及基于待生成的处理结果图像中处于预定位置的像素点的颜色值，生成处理结果图像。像。像。

【技术实现步骤摘要】
用于虚拟形象的图像处理方法、装置和电子设备


[0001]本公开涉及人工智能
，具体涉及计算机视觉、增强现实、虚拟现实、深度学习等
，可应用于元宇宙、数字人等场景，具体涉及一种用于虚拟形象的图像处理的方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

技术介绍

[0002]如今，对数字人的应用越来越广泛，尤其是二维数字人因其占用资源更少，对设备性能要求更低，在低算力设备或平台上有更好的表现，而成为主流的数字人的形式。在数字人的应用中，常常需要更换数字人的面部特征，以实现数字人面貌的多样性。然而，更换数字人的面部特征的操作复杂，尤其在动态的场景下，需要对每一帧图像进行替换操作，使得处理过程耗时较长，效率较低。如何快速高效地更换图像中的人物的面部特征，仍然是业界的研究热点和难点之一。
[0003]在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。

技术实现思路

[0004]本公开提供了一种用于虚拟形象的图像处理的方法、装置、电子设备、计算机可读存储介质和计算机程序产品。
[0005]根据本公开的一方面，提供了一种用于虚拟形象的图像处理方法，包括：获取第一人物的面部图像和第二人物的身体图像，其中，第二人物的身体图像为多通道图像；通过将第二人物的身体图像转换为单通道图像并在第二人物的身体图像中保留第二人物的面部特征，得到第二人物的面部图像，其中，第二人物的面部图像用于指示第二人物的面部在第二人物的身体图像中的位置；基于第二人物的面部图像中处于预定位置的像素点的颜色值，确定所提取的像素点的颜色值；基于提取的像素点的颜色值，确定待生成的处理结果图像中处于预定位置的像素点的颜色值；以及基于待生成的处理结果图像中处于预定位置的像素点的颜色值，生成处理结果图像。
[0006]根据本公开的另一方面，提供了一种用于虚拟形象的图像处理装置，包括：图像获取模块，被配置为获取第一人物的面部图像和第二人物的身体图像，其中，第二人物的身体图像为多通道图像；图像转换模块，被配置为通过将第二人物的身体图像转换为单通道图像并在第二人物的身体图像中保留第二人物的面部特征，得到第二人物的面部图像，其中，第二人物的面部图像用于指示第二人物的面部在第二人物的身体图像中的位置；颜色值提取模块，被配置为基于第二人物的面部图像中处于预定位置的像素点的颜色值，确定所提取的像素点的颜色值；颜色值确定模块，被配置为基于提取的像素点的颜色值，确定待生成的处理结果图像中处于预定位置的像素点的颜色值；以及结果生成模块，被配置为基于待生成的处理结果图像中处于预定位置的像素点的颜色值，生成处理结果图像。
[0007]根据本公开的另一方面，提供了一种电子设备，包括至少一个处理器；以及与至少一个处理器通信连接的存储器；存储器存储有能够被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开如上所提供的方法。
[0008]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行本公开如上所提供的方法。
[0009]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现本公开如上所提供的方法。
[0010]根据本公开的一个或多个实施例，可以快速高效地实现图像中的人物换脸。
[0011]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0012]附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。
[0013]图1示出了根据本公开的实施例的可以在其中实施本文描述的各种方法的示例性系统的示意图；
[0014]图2示出了根据本公开的实施例的图像处理方法的流程图；
[0015]图3示出了根据本公开的实施例的得到面部图像的示意图；
[0016]图4示出了根据本公开的实施例的提取颜色值的示意图；
[0017]图5示出了根据本公开另一实施例的图像处理方法的示意图；
[0018]图6示出了根据本公开的实施例的图像处理的装置的结构框图；
[0019]图7示出了根据本公开另一实施例的图像处理的装置的结构框图；
[0020]图8示出了能够用于实现本公开的实施例的示例性电子设备的结构框图。
具体实施方式
[0021]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0022]在本公开中，除非另有说明，否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系，这种术语只是用于将一个要素与另一要素区分开。在一些示例中，第一要素和第二要素可以指向该要素的同一实例，而在某些情况下，基于上下文的描述，它们也可以指代不同实例。
[0023]在本公开中对各种所述示例的描述中所使用的术语只是为了描述特定示例的目的，而并非旨在进行限制。除非上下文另外明确地表明，如果不特意限定要素的数量，则该要素可以是一个也可以是多个。此外，本公开中所使用的术语“和/或”涵盖所列出的项目中的任何一个以及全部可能的组合方式。
[0024]如今，对数字人的应用越来越广泛，尤其是二维数字人因其占用资源更少，对设备
性能要求更低，在低算力设备或平台上有更好的表现，而成为主流的数字人的形式。在数字人的应用中，常常需要对数字人进行换脸，以实现数字人外貌的多样性。然而，对数字人进行换脸的操作复杂，尤其在动态的场景下，需要对每一帧图像进行换脸操作，使得处理过程耗时较长，效率较低。如何快速高效地实现图像中的人物换脸，仍然是业界的研究热点和难点之一。
[0025]针对上述技术问题，根据本公开的一个方面，提供了一种用于虚拟形象的图像处理方法。
[0026]下面将结合附图详细描述本公开的实施例。
[0027]图1示出了根据本公开的实施例可以将本文描述的各种方法和装置在其中实施的示例性系统100的示意图。参考图1，该系统100包括一个或多个客户端设备101、102、103、104、105和106、服务器120以及将一个或多个客户端设备耦接到服务器120的一个或多个通信网络110。客户端设备101、102、103、104、105和106可以被本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于虚拟形象的图像处理方法，包括：获取第一人物的面部图像和第二人物的身体图像，其中，所述第二人物的身体图像为多通道图像；通过将所述第二人物的身体图像转换为单通道图像并在所述第二人物的身体图像中保留所述第二人物的面部特征，得到所述第二人物的面部图像，其中，所述第二人物的面部图像用于指示所述第二人物的面部在所述第二人物的身体图像中的位置；基于所述第二人物的面部图像中处于预定位置的像素点的颜色值，确定所提取的像素点的颜色值；基于提取的像素点的颜色值，确定待生成的处理结果图像中处于所述预定位置的像素点的颜色值；以及基于所述待生成的处理结果图像中处于所述预定位置的像素点的颜色值，生成所述处理结果图像。2.根据权利要求1所述的方法，所述第一人物的面部图像、所述第二人物的面部图像、以及所述第二人物的身体图像具有彼此相同的尺寸，且所述第一人物的面部在所述第一人物的面部图像中的位置和尺寸与所述第二人物的面部在所述第二人物的身体图像中的位置和尺寸相同，并且，所述基于所述第二人物的面部图像中处于预定位置的像素点的颜色值，确定所提取的像素点的颜色值，包括：确定所述第二人物的面部图像中处于所述预定位置的像素点的颜色值；以及基于所述像素点的颜色值，确定是对所述第一人物的面部图像中处于所述预定位置的第一像素点的颜色值进行提取，还是对所述第二人物的身体图像中处于所述预定位置的第二像素点的颜色值进行提取。3.根据权利要求2所述的方法，所述基于所述像素点的颜色值，确定是对所述第一人物的面部图像中处于所述预定位置的第一像素点的颜色值进行提取，还是对所述第二人物的身体图像中处于所述预定位置的第二像素点的颜色值进行提取，包括：响应于确定所述第二人物的面部图像中处于所述预定位置的像素点的颜色值大于0，对所述第一人物的面部图像中处于所述预定位置的第一像素点的颜色值进行提取；以及响应于确定所述第二人物的面部图像中处于所述预定位置的像素点的颜色值等于或小于0，对所述第二人物的身体图像中处于所述预定位置的颜色值进行提取。4.根据权利要求1至3中任一项所述的方法，其中，所述获取第一人物的面部图像，包括：获取所述第一人物的身体图像；对所述第一人物的身体图像中所述第一人物的面部进行三角剖分以得到多个第一顶点，并对所述第二人物的身体图像中所述第二人物的面部进行三角剖分以得到多个第二顶点，其中，所述多个第二顶点与所述多个第一顶点一一对应；基于所述多个第二顶点的位置，确定待生成的所述第一人物的面部图像中与所述多个第一顶点对应的多个第三顶点的位置，以使由所述多个第三顶点所构建的面部在所述待生成的所述第一人物的面部图像中的位置和尺寸与所述第二人物的面部在所述第二人物的身体图像中的位置和尺寸相同；以及
基于所述多个第三顶点在所述待生成的所述第一人物的面部图像中的位置，再现所述第一人物的面部以生成所述第一人物的面部图像。5.根据权利要求4所述的方法，其中，所述基于所述多个第三顶点在所述待生成的所述第一人物的面部图像中的位置，再现所述第一人物的面部以生成所述第一人物的面部图像，包括：对所述第一人物的身体图像中的所述多个第一顶点的颜色值进行采样；将所述待生成的所述第一人物的面部图像中的所述多个第三顶点的颜色值确定为与所述多个第三顶点分别对应的所述多个第一顶点的采样的颜色值相同；以及基于确定的所述多个第三顶点的颜色值，生成所述第一人物的面部图像。6.根据权利要求4或5所述的方法，其中，所述多个第三顶点的位置是根据所述第二人物的身体图像的尺寸，以所述多个第二顶点的位置为基准，将所述多个第一顶点的位置进行归一化得到的。7.根据权利要求4至6中任一项所述的方法，其中，所述对所述第一人物的身体图像中所述第一人物的面部进行三角剖分以得到多个第一顶点，包括：对所述第一人物的身体图像中所述第一人物的面部进行三角剖分，得到以三维坐标表征的多个顶点；以及将所述以三维坐标表征的多个顶点转换为以二维坐标表征的所述多个第一顶点。8.一种用于虚拟形象的图像处理装置，包括：图像获取模块，被配置为获取第一人物的面部图像和第二人物的身体图像，其中，所述第二人物的身体图像为多通道图像；图像转换模块，被配置为通过将所述第二人物的身体图像转换为单通道图像并在所述第二人物的身体图像中保留所述第二人物的面部特征，得到所述第二人物的面部图像，其中，所述第二人物的面...

【专利技术属性】
技术研发人员：陈龙，张岩，张演龙，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：