基于三维模型的特效处理方法、装置和电子设备制造方法及图纸

本申请提出一种基于三维模型的特效处理方法、装置和电子设备，其中，方法包括：获取采集到的二维的人脸图像，以及人脸图像对应的深度信息；根据深度信息和人脸图像，对人脸进行三维重构，以得到人脸对应的三维模型；识别与二维的人脸图像对应的表情类别；将三维模型与表情类别对应的特效模型进行融合，得到特效处理后的三维模型。该方法能够实现无需用户手动切换不同的特效模型，提升特效添加的自动化程度，以及提升用户在特效添加过程中的乐趣性和可玩性，提升特效添加的真实感，使得处理后的效果更佳自然。

Special Effect Processing Method, Device and Electronic Equipment Based on Three-Dimensional Model

This application proposes a special effect processing method, device and electronic equipment based on three-dimensional model, which includes: acquiring the collected two-dimensional face image and the corresponding depth information of the face image; reconstructing the face according to the depth information and the face image to obtain the three-dimensional model of the face; recognizing the expression class corresponding to the two-dimensional face image. The three-dimensional model is fused with the special effect model corresponding to the expression category to get the three-dimensional model after special effect treatment. This method can realize different special effects models without manual switching, improve the automation of special effects adding, enhance the user's fun and playability in the process of adding special effects, enhance the authenticity of adding special effects, and make the effect after processing more natural.

【技术实现步骤摘要】
基于三维模型的特效处理方法、装置和电子设备
本申请涉及电子设备
，尤其涉及一种基于三维模型的特效处理方法、装置和电子设备。
技术介绍
随着电子设备的普及，越来越多的用户喜欢利用电子设备的拍照功能进行拍照或者记录生活。而且为了使得所拍摄的图像更加有趣，开发了各种用于对图像进行美化或者增加特效的应用程序。用户可以根据自己的需求，从应用程序自带的所有特效中选择自己喜欢的特效来处理图像，使得图像生动有趣。由于眼泪等面部特效的添加，依赖于用户的主动选择，导致特效添加的自动化程度较低，此外，对图像增加特效是在二维图像上进行的，使得特效无法与图像完美贴合或者匹配，导致图像处理效果较差，特效添加的真实感不强。
技术实现思路
本申请提出一种基于三维模型的特效处理方法、装置和电子设备，以实现无需用户手动切换不同的特效模型，提升特效添加的自动化程度，以及提升用户在特效添加过程中的乐趣性和可玩性，提升特效添加的真实感，使得处理后的效果更佳自然，用于解决现有技术中特效添加的真实感不强以及自动化程度低的技术问题。本申请一方面实施例提出了一种基于三维模型的特效处理方法，包括：获取采集到的二维的人脸图像，以及所述人脸图像对应的深度信息；根据所述深度信息和所述人脸图像，对人脸进行三维重构，以得到所述人脸对应的三维模型；识别与所述二维的人脸图像对应的表情类别；将所述三维模型与所述表情类别对应的特效模型进行融合，得到特效处理后的三维模型。本申请实施例的基于三维模型的特效处理方法，通过获取采集到的二维的人脸图像，以及人脸图像对应的深度信息，而后根据深度信息和人脸图像，对人脸进行三维重构，以得到人脸对应的三维模型，接着识别与二维的人脸图像对应的表情类别，最后将三维模型与表情类别对应的特效模型进行融合。由此，无需用户手动切换不同的特效模型，提升特效添加的自动化程度，以及提升用户在特效添加过程中的乐趣性和可玩性。此外，根据用户做出的表情，确定相应的特效模型，从而将特效模型与三维模型进行融合，可以提升特效添加的真实感，使得处理后的效果更佳自然。本申请又一方面实施例提出了一种基于三维模型的特效处理装置，包括：获取模块，用于获取采集到的二维的人脸图像，以及所述人脸图像对应的深度信息；重构模块，用于根据所述深度信息和所述人脸图像，对人脸进行三维重构，以得到所述人脸对应的三维模型；识别模块，用于识别与所述二维的人脸图像对应的表情类别；融合模块，用于将所述三维模型与所述表情类别对应的特效模型进行融合，得到特效处理后的三维模型。本申请实施例的基于三维模型的特效处理装置，通过获取采集到的二维的人脸图像，以及人脸图像对应的深度信息，而后根据深度信息和人脸图像，对人脸进行三维重构，以得到人脸对应的三维模型，接着识别与二维的人脸图像对应的表情类别，最后将三维模型与表情类别对应的特效模型进行融合，得到特效处理后的三维模型。由此，无需用户手动切换不同的特效模型，提升特效添加的自动化程度，以及提升用户在特效添加过程中的乐趣性和可玩性。此外，根据用户做出的表情，确定相应的特效模型，从而将特效模型与三维模型进行融合，可以提升特效添加的真实感，使得处理后的效果更佳自然。本申请又一方面实施例提出了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如本申请前述实施例提出的基于三维模型的特效处理方法。本申请又一方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如本申请前述实施例提出的基于三维模型的特效处理方法。本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。附图说明本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为本申请实施例一所提供的基于三维模型的特效处理方法的流程示意图；图2为本申请实施例二所提供的基于三维模型的特效处理方法的流程示意图；图3为本申请实施例三所提供的基于三维模型的特效处理方法的流程示意图；图4为本申请实施例四所提供的基于三维模型的特效处理装置的结构示意图；图5为本申请实施例五所提供的基于三维模型的特效处理装置的结构示意图；图6为一个实施例中电子设备的内部结构示意图；图7为作为一种可能的实现方式的图像处理电路的示意图；图8为作为另一种可能的实现方式的图像处理电路的示意图。具体实施方式下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。本申请主要针对现有技术中特效添加的真实感不强以及自动化程度低的技术问题，提出一种基于三维模型的特效处理方法。本申请实施例的基于三维模型的特效处理方法，通过获取采集到的二维的人脸图像，以及人脸图像对应的深度信息，而后根据深度信息和人脸图像，对人脸进行三维重构，以得到人脸对应的三维模型，接着识别与二维的人脸图像对应的表情类别，最后将三维模型与表情类别对应的特效模型进行融合，得到特效处理后的三维模型。由此，无需用户手动切换不同的特效模型，提升特效添加的自动化程度，以及提升用户在特效添加过程中的乐趣性和可玩性。此外，根据用户做出的表情，确定相应的特效模型，从而将特效模型与三维模型进行融合，可以提升特效添加的真实感，使得处理后的效果更佳自然。下面参考附图描述本申请实施例的基于三维模型的特效处理方法、装置和电子设备。图1为本申请实施例一所提供的基于三维模型的特效处理方法的流程示意图。如图1所示，该基于三维模型的特效处理方法包括以下步骤：步骤101，获取采集到的二维的人脸图像，以及人脸图像对应的深度信息。本申请实施例中，电子设备可以包括可见光图像传感器，可以基于电子设备中的可见光图像传感器获取二维的人脸图像。具体地，可见光图像传感器可以包括可见光摄像头，可见光摄像头可以捕获由人脸反射的可见光进行成像，得到二维的人脸图像。本申请实施例中，电子设备还可以包括结构光图像传感器，可以基于电子设备中的结构光图像传感器，获取人脸图像对应的深度信息。可选地，结构光图像传感器可以包括镭射灯以及激光摄像头。脉冲宽度调制(PulseWidthModulation，简称PWM)可以调制镭射灯以发出结构光，结构光照射至成人脸，激光摄像头可以捕获由人脸反射的结构光进行成像，得到人脸对应的结构光图像。深度引擎可以根据人脸对应的结构光图像，计算获得人脸对应的深度信息，即二维的人脸图像对应的深度信息。步骤102，根据深度信息和人脸图像，对人脸进行三维重构，以得到人脸对应的三维模型。本申请实施例中，在获取深度信息和人脸图像后，可以根据深度信息和人脸图像，对人脸进行三维重构，以得到人脸对应的三维模型。本申请中，人脸对应的三维模型的构建，是根据深度信息和人脸图像，进行三维重构得到的，而不是简单的获取RGB数据和深度数据。作为一种可能的实现方式，可以将深度信息与二维的人脸图像对应的色彩信息进行融合，得到人脸对应的三维模型。具体地，可以基于人脸关键点检测技术，从深度信息提取人脸的关键点，以及从色彩信息本文档来自技高网...

【技术保护点】
1.一种基于三维模型的特效处理方法，其特征在于，所述方法包括：获取采集到的二维的人脸图像，以及所述人脸图像对应的深度信息；根据所述深度信息和所述人脸图像，对人脸进行三维重构，以得到所述人脸对应的三维模型；识别与所述二维的人脸图像对应的表情类别；将所述三维模型与所述表情类别对应的特效模型进行融合，得到特效处理后的三维模型。

【技术特征摘要】
1.一种基于三维模型的特效处理方法，其特征在于，所述方法包括：获取采集到的二维的人脸图像，以及所述人脸图像对应的深度信息；根据所述深度信息和所述人脸图像，对人脸进行三维重构，以得到所述人脸对应的三维模型；识别与所述二维的人脸图像对应的表情类别；将所述三维模型与所述表情类别对应的特效模型进行融合，得到特效处理后的三维模型。2.根据权利要求1所述的特效处理方法，其特征在于，所述识别与所述二维的人脸图像对应的表情类别，包括：识别当前帧的人脸图像中各关键点的位置；对当前帧之前采集的至少一帧人脸图像，识别所述至少一帧人脸图像中各关键点的位置；若所述至少一帧人脸图像中各关键点的位置，与当前帧的人脸图像中各关键点的位置之间的差异大于阈值，识别当前帧对应的表情类别。3.根据权利要求1所述的特效处理方法，其特征在于，所述将所述三维模型与所述表情类别对应的特效模型进行融合，得到特效处理后的三维模型，包括：根据所述表情类别，获取对应的特效模型；调整所述特效模型相对所述三维模型的角度，以使所述三维模型和所述特效模型角度匹配；对所述特效模型进行渲染后，贴图至所述三维模型。4.根据权利要求3所述的特效处理方法，其特征在于，在所述对所述特效模型进行渲染后，贴图至所述三维模型之前，还包括：根据所述三维模型的待贴图区域，对所述特效模型进行形变，以使形变后的特效模型覆盖所述待贴图区域。5.根据权利要求4所述的特效处理方法，其特征在于，所述根据所述三维模型的待贴图区域，对所述特效模型进行形变之前，...

【专利技术属性】
技术研发人员：阎法典，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：广东,44