人脸美化方法、装置、电子设备及可读存储介质制造方法及图纸

本申请提出一种人脸美化方法、装置、电子设备及可读存储介质，其中，方法包括：获取二维的人脸图像，以及人脸图像对应的深度信息；根据深度信息和人脸图像，进行三维重构，得到人脸三维模型；对覆盖在人脸三维模型表面的皮肤纹理图进行美化，得到美化后的人脸三维模型；将美化后的人脸三维模型映射到二维平面，得到美化后的人脸图像。由于皮肤纹理图是三维的，对皮肤纹理图进行美化，可以使得美化后的皮肤纹理图更加自然，从而将美化后的人脸三维模型映射到二维平面，得到美化后的人脸图像，可以使得美化后的人脸图像更加真实，美化效果更加突出，提升用户的拍摄体验。

Face Beautification Methods, Devices, Electronic Equipment and Readable Storage Media

This application proposes a facial beautification method, device, electronic equipment and readable storage medium, which includes: acquiring two-dimensional face image and corresponding depth information of face image; reconstructing three-dimensional face model based on depth information and face image; and covering three-dimensional face model. The skin texture map of the surface is beautified to get the three-dimensional model of the beautified face, and the three-dimensional model of the beautified face is mapped to the two-dimensional plane to get the beautified face image. Because the skin texture map is three-dimensional, beautifying the skin texture map can make the beautified skin texture map more natural, thus mapping the beautified three-dimensional face model to the two-dimensional plane, and obtain the beautified face image, which can make the beautified face image more realistic and beautified effect more prominent. Improve the user's shooting experience.

【技术实现步骤摘要】
人脸美化方法、装置、电子设备及可读存储介质
本申请涉及移动终端
，尤其涉及一种人脸美化方法、装置、电子设备及可读存储介质。
技术介绍
随着移动终端技术的不断发展，越来越多的用户选择使用移动终端进行拍照。并且为了达到较佳的拍摄效果，还可以采用相关的图像处理手段对图像进行处理。例如，当用户开启摄像头进行拍照时，可以开启美颜功能，对成像图像进行美颜处理。相关技术中，基于二维的人脸图像进行美颜处理，处理效果不佳，处理后的图像真实感不强。
技术实现思路
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本申请提出一种人脸美化方法，由于皮肤纹理图是三维的，对皮肤纹理图进行美化，可以使得美化后的皮肤纹理图更加自然，从而将美化后的人脸三维模型映射到二维平面，得到美化后的人脸图像，可以使得美化后的人脸图像更加真实，美化效果更加突出，提升用户的拍摄体验。本申请提出一种人脸美化装置。本申请提出一种电子设备。本申请提出一种计算机可读存储介质。本申请提出一种图像处理电路。本申请一方面实施例提出了一种人脸美化方法，包括：获取二维的人脸图像，以及所述人脸图像对应的深度信息；根据所述深度信息和所述人脸图像，进行三维重构，得到人脸三维模型；对覆盖在所述人脸三维模型表面的皮肤纹理图进行美化，得到美化后的人脸三维模型；将所述美化后的人脸三维模型映射到二维平面，得到美化后的人脸图像。本申请实施例的人脸美化方法，通过获取二维的人脸图像，以及人脸图像对应的深度信息，根据深度信息和人脸图像，进行三维重构，得到人脸三维模型，而后对覆盖在人脸三维模型表面的皮肤纹理图进行美化，得到美化后的人脸三维模型，最后将美化后的人脸三维模型映射到二维平面，得到美化后的人脸图像。本申请中，由于皮肤纹理图是三维的，对皮肤纹理图进行美化，可以使得美化后的皮肤纹理图更加自然，从而将美化后的人脸三维模型映射到二维平面，得到美化后的人脸图像，可以使得美化后的人脸图像更加真实，美化效果更加突出，提升用户的拍摄体验。本申请又一方面实施例提出了一种人脸美化装置，包括：获取模块，用于获取二维的人脸图像，以及所述人脸图像对应的深度信息；重构模块，用于根据所述深度信息和所述人脸图像，进行三维重构，得到人脸三维模型；美化模块，用于对覆盖所述人脸三维模型表面的皮肤纹理图进行美化，得到美化后的人脸三维模型；映射模块，用于将所述美化后的人脸三维模型映射到二维平面，得到美化后的人脸图像。本申请实施例的人脸美化装置，通过获取二维的人脸图像，以及人脸图像对应的深度信息，根据深度信息和人脸图像，进行三维重构，得到人脸三维模型，而后对覆盖在人脸三维模型表面的皮肤纹理图进行美化，得到美化后的人脸三维模型，最后将美化后的人脸三维模型映射到二维平面，得到美化后的人脸图像。本申请中，由于皮肤纹理图是三维的，对皮肤纹理图进行美化，可以使得美化后的皮肤纹理图更加自然，从而将美化后的人脸三维模型映射到二维平面，得到美化后的人脸图像，可以使得美化后的人脸图像更加真实，美化效果更加突出，提升用户的拍摄体验。本申请又一方面实施例提出了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如本申请前述实施例提出的人脸美化方法。本申请又一方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如本申请前述实施例提出的人脸美化方法。本申请又一方面实施例提出了一种图像处理电路，所述图像处理电路包括：图像单元、深度信息单元和处理单元；所述图像单元，用于输出二维的人脸图像；所述深度信息单元，用于输出深度信息；所述处理单元，分别与所述图像单元和所述深度信息单元电性连接，用于根据所述图像单元获取的二维的人脸图像，以及所述深度信息单元获取的对应的深度信息，输出美化后的人脸图像。本申请实施例的图像处理电路，通过图像单元输出二维的人脸图像，以及通过深度信息单元输出人脸图像对应的深度信息，而后通过处理单元根据二维的人脸图像以及对应的深度信息，输出美化后的人脸图像。由此，可以使得美化后的人脸图像更加真实，美化效果更加突出，提升用户的拍摄体验。本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。附图说明本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为本申请实施例一所提供的人脸美化方法的流程示意图；图2为本申请实施例二所提供的人脸美化方法的流程示意图；图3本申请实施例中人脸三维模型的框架示意图一；图4本申请实施例中人脸三维模型的框架示意图二；图5为本申请实施例中皮肤纹理图的生成过程示意图；图6为本申请实施例三所提供的人脸美化装置的结构示意图；图7为本申请实施例四所提供的人脸美化装置的结构示意图；图8为一个实施例中电子设备的内部结构示意图；图9为作为一种可能的实现方式的图像处理电路的示意图；图10为作为另一种可能的实现方式的图像处理电路的示意图。具体实施方式下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。针对现有技术中基于二维的人脸图像进行美颜处理，处理效果不佳，处理后的图像真实感不强的技术问题，本申请实施例中，通过获取二维的人脸图像，以及人脸图像对应的深度信息，根据深度信息和人脸图像，进行三维重构，得到人脸三维模型，而后对覆盖在人脸三维模型表面的皮肤纹理图进行美化，得到美化后的人脸三维模型，最后将美化后的人脸三维模型映射到二维平面，得到美化后的人脸图像。本申请中，由于皮肤纹理图是三维的，对皮肤纹理图进行美化，可以使得美化后的皮肤纹理图更加自然，从而将美化后的人脸三维模型映射到二维平面，得到美化后的人脸图像，可以使得美化后的人脸图像更加真实，美化效果更加突出，提升用户的拍摄体验。下面参考附图描述本申请实施例的人脸美化方法、装置、电子设备及可读存储介质。图1为本申请实施例一所提供的人脸美化方法的流程示意图。本申请实施例的人脸美化方法可以应用于电子设备上具有人脸美化功能的应用程序。其中，电子设备可以为手机、平板电脑、个人数字助理、穿戴式设备等具有各种操作系统、触摸屏和/或显示屏的硬件设备。如图1所示，该人脸美化方法包括以下步骤：步骤101，获取二维的人脸图像，以及人脸图像对应的深度信息。本申请实施例中，电子设备可以包括可见光图像传感器，可以基于电子设备中的可见光图像传感器获取二维的人脸图像。具体地，可见光图像传感器可以包括可见光摄像头，可见光摄像头可以捕获由成像对象反射的可见光进行成像，得到成像对象对应的二维的人脸图像。其中，成像对象可以为人脸。本申请实施例中，电子设备还可以包括结构光图像传感器，可以基于电子设备中的结构光图像传感器，获取成像对象对应的深度信息。可选地，结构光图像传感器可以包括镭射灯以及激光摄像头。脉冲宽度调制(PulseWidthModulation，简称PWM)可以调制镭射灯以发出结构光，结构光照射至成像对象，激光摄像头可以捕获由成像对象反射的本文档来自技高网...

【技术保护点】
1.一种人脸美化方法，其特征在于，所述方法包括以下步骤：获取二维的人脸图像，以及所述人脸图像对应的深度信息；根据所述深度信息和所述人脸图像，进行三维重构，得到人脸三维模型；对覆盖在所述人脸三维模型表面的皮肤纹理图进行美化，得到美化后的人脸三维模型；将所述美化后的人脸三维模型映射到二维平面，得到美化后的人脸图像。

【技术特征摘要】
1.一种人脸美化方法，其特征在于，所述方法包括以下步骤：获取二维的人脸图像，以及所述人脸图像对应的深度信息；根据所述深度信息和所述人脸图像，进行三维重构，得到人脸三维模型；对覆盖在所述人脸三维模型表面的皮肤纹理图进行美化，得到美化后的人脸三维模型；将所述美化后的人脸三维模型映射到二维平面，得到美化后的人脸图像。2.根据权利要求1所述的人脸美化方法，其特征在于，所述对覆盖所述人脸三维模型表面的皮肤纹理图进行美化，得到美化后的人脸三维模型，包括：根据所述人脸三维模型的皮肤纹理图的颜色信息，检测所述皮肤纹理图中存在异常的异常范围；根据所述异常范围内的各点在三维空间中的相对位置关系，以及所述异常范围的颜色信息，采用对应的美化策略，对所述异常范围进行美化。3.根据权利要求2所述的人脸美化方法，其特征在于，所述根据所述异常范围内的各点在三维空间中的相对位置关系，以及所述异常范围的颜色信息，采用对应的美化策略，对所述异常范围进行美化，包括：根据所述异常范围的中心点与边缘点之间的高度差，确定所述异常范围所属的异常类型；根据所述异常类型和所述颜色信息，确定对应的美化策略；根据所述异常范围对应的匹配肤色，采用所述美化策略指示的滤波范围和滤波强度对所述异常范围进行磨皮处理。4.根据权利要求3所述的人脸美化方法，其特征在于，所述根据所述异常范围对应的匹配肤色，采用所述美化策略指示的滤波范围和滤波强度对所述异常范围进行美化之前，还包括：根据所述人脸三维模型中以第一关键点为顶点的多个第一区域，将所述皮肤纹理图划分为覆盖各第一区域的局部皮肤；从覆盖各第一区域的局部皮肤中，确定与所述异常范围三维空间距离最短且光线投射角度最接近的目标局部皮肤；根据所述目标局部皮肤，确定所述匹配肤色。5.根据权利要求3所述的人脸美化方法，其特征在于，所述根据所述异常范围对应的匹配肤色，采用所述美化策略指示的滤波范围和滤波强度对所述异常范围进行美化之前，还包括：根据所述人脸三维模型中以第一关键点为顶点的多个第一区域，将所述皮肤纹理图划分为覆盖各第一区域的局部皮肤；根据对所述人脸图像关键点识别得到的第二关键点，将所述人脸图像的人脸部分划分为以相邻第二关键点为顶点的多个第二区域；从覆盖各第一区域的局部皮肤中，确定与所述异常范围三维空间距离最短且光线投射角度最接近的目标局部皮肤；根据所述目标局部皮肤覆盖的第一区域，查询第一区域和第二区域之间对应关系，确定所述人脸图像中对应的第二区域的颜色信息，将确定出的颜色信息作为所述匹配肤色。6.根据权利要求1所述的人脸美化方法，其特征在于，所述对覆盖所述人脸三维模型表面的皮肤纹理图进行美化，得到美化后的人脸三维模型，包括：根据颜色信息和在所述人脸三维模型中的相对位置，从所述皮肤纹理图中识别出局部人脸；根据所述局部人脸对应的美化策略，对所述局部人脸进行美化。7.根据权利要求6所述的人脸美化方法，其特征在于，所述根据所述局部人脸对应的美化策略，对所述局部人脸进行美化，包括：若所述局部人脸为眉毛，根据眉毛对应的美化策略指示的滤波强度，对所述局部人脸进行磨皮处理；若所述局部人脸为脸颊，根据脸颊对应的美化策略指示的滤波强度，对所述局部人脸进行磨皮处理；其中，所述脸颊对应的美化策略指示的滤波强度大于眉毛对应的美化策略指示的滤波强度。8.根据权利要求6所述的人脸美化方法，其特征在于，所述根据所述局部人脸对应的美化策略，对所述局部人脸进行美化，包括：若所述局部人脸属于鼻部，根据鼻部对应的美化策略指示的阴影强度，增加所述局部人脸的阴影。9.根据权利要求1-8任一项所述的人脸美化方法，其特征在于，所述获取二维的人脸图像，包括：在视频采集过程中，从至少两个不同的角度获取至少两张人脸图像。10.根据权利要求9所述的人脸美化方法，其特征在于，所述根据所述深度信息和所述人脸图像，进行三维重构，得到人脸三维模型，包括：对每一张人脸图像进...

【专利技术属性】
技术研发人员：杜成鹏，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：广东,44