辅助脸部美颜贴纸的定位方法及装置制造方法及图纸

本发明专利技术涉及一种辅助脸部美颜贴纸的定位方法及装置，所述方法包括采用预构建的人脸3D信息识别模型对原始图像进行人脸3D信息识别，并在识别出人脸3D信息输出人脸3D信息；根据预构建的规范化脸模型，将美颜贴纸与识别的人脸3D信息在三维空间中对齐，得到第一图像；对第一图像中的美颜贴纸进行渲染，得到第二图像；根据预设阴影纹理对第二图像进行脸部阴影增强处理，得到结果图像。本发明专利技术对美颜贴纸进行三维空间的定位计算，比现有的人脸2D信息对美颜贴纸进行三维空间的定位计算要更准确、更符合真实场景的物理规律，效果要更加逼真、自然，而且适用范围更大，对有较大旋转角度的人脸图像或者侧脸图像都有很好的普适性。像或者侧脸图像都有很好的普适性。像或者侧脸图像都有很好的普适性。

【技术实现步骤摘要】
辅助脸部美颜贴纸的定位方法及装置


[0001]本专利技术属于图像处理
，具体涉及一种辅助脸部美颜贴纸的定位方法及装置。

技术介绍

[0002]随着移动终端普及度和性能的不断提升，用户对图像和视频中人脸的美化编辑要求日益提高，近几年来对美化效果的需求和美感的提升愈发精细，期望达到对于图像视频中的人脸美颜贴纸与人脸能够贴合的逼真、自然。
[0003]相关技术中，在现有的图片视频编辑类应用中，都是基于2D的人脸信息对五官细节在二维平面对美颜贴纸进行一定的形变处理贴合人脸。一方面，这种方法效果扁平，普适性差，会有明显的不贴合和浮动痕迹，视频编辑中的连贯性和稳定性也很差。另一方面，它不能很好的迎合人脸五官凹凸立体的特点来实现效果，尤其是对于有一定角度的人脸，会有明显的不真实感。
[0004]综上所述，现阶段的技术对于人脸美颜贴纸的处理都是基于一定数量的二维人脸关键点来进行二维平面的贴合、形变处理，但由于实际的人脸五官是立体的且角度多变，单纯的二维形变处理很难让美颜贴纸和人脸五官、轮廓等贴合的十分精细，对于不同场景和姿态下的人脸情况普适性很差，尤其是对于有一定角度的人脸，会有明显的不自然感甚至是穿帮的问题。

技术实现思路

[0005]有鉴于此，本专利技术的目的在于克服现有技术的不足，提供一种辅助脸部美颜贴纸的定位方法及装置，以解决现有技术中单纯的二维形变处理很难让美颜贴纸和人脸五官、轮廓等贴合的十分精细的问题。
[0006]为实现以上目的，本专利技术采用如下技术方案：一种辅助脸部美颜贴纸的定位方法，包括：
[0007]采用预构建的人脸3D信息识别模型对原始图像进行人脸3D信息识别，并在识别出人脸3D信息输出人脸3D信息；
[0008]根据预构建的规范化脸模型，将美颜贴纸与识别的人脸3D信息在三维空间中对齐，得到第一图像；
[0009]对所述第一图像中的美颜贴纸进行渲染，得到第二图像；
[0010]根据预设阴影纹理对所述第二图像进行脸部阴影增强处理，得到结果图像。
[0011]进一步的，构建人脸3D信息识别模型，包括：
[0012]获取大量的人脸图片，对人脸图像标注3D人脸信息后作为训练集；
[0013]将训练集输入至神经网络中进行迭代训练至收敛，得到人脸3D信息识别模型；所述人脸3D信息包括人脸范围、人脸三维姿态欧拉角、人脸深度信息以及人脸3D关键点信息；
[0014]其中，每个人脸3D关键点信息标定了人脸五官、轮廓以及脸部辅助点，每个点均为
三维的空间坐标(x，y，z)。
[0015]进一步的，在输出人脸3D信息之前，还包括：
[0016]对人脸3D关键点坐标归一化处理，使得每个点的坐标数值范围为[0,1]；
[0017]根据人脸3D关键点的索引结合所述原始图像的五官信息，对人脸3D关键点进行分类，得到分类结果；
[0018]根据人脸三维姿态欧拉角计算人脸在三维坐标中的朝向；
[0019]对所述人脸3D关键点信息进行三角剖分处理，生成人脸三维面部界标拓扑网格，并为网格上的每一个顶点赋一个初始强度值。
[0020]进一步的，所述根据预构建的规范化脸模型，将美颜贴纸与识别的人脸3D信息在三维空间中对齐，包括：
[0021]基于所述规范化脸模型的人脸3D关键点与识别出的人脸3D关键点在人脸三维面部界标拓扑网格的线性映射，生成脸部三维姿态转换矩阵；
[0022]利用所述脸部三维姿态转换矩阵对美颜贴纸进行坐标变换，使得所述美颜贴纸与识别出的人脸3D关键点坐标在三维空间中对齐。
[0023]进一步的，所述对所述第一图像中的美颜贴纸进行渲染，包括：
[0024]将对齐后的美颜贴纸根据所述规范化脸模型的人脸3D关键点，提取对齐后的美颜贴纸与人脸对应位置的顶点坐标；
[0025]将识别出的人脸3D关键点与提取出的顶点坐标转换到渲染空间坐标系中；
[0026]利用所述脸部三维姿态转换矩阵矫正美颜贴纸的顶点信息；
[0027]利用矫正后的美颜贴纸的顶点信息，根据所述规范化脸模型的纹理坐标顺序对所述美颜贴纸进行渲染。
[0028]进一步的，所述根据预设阴影纹理对所述第二图像进行脸部阴影增强处理，包括：
[0029]根据人脸3D关键点、人脸三维姿态欧拉角、人脸在三维坐标中的朝向，计算人脸阴影强度因子；
[0030]将预设的五官阴影纹理与原始图像中的人脸五官采用正片叠底的混合模式进行混合，得到混合图像；
[0031]对混合图像采用冯氏光照模型进行补光处理。
[0032]进一步的，采用以下方式计算人脸阴影强度因子，包括：
[0033]F＝1.0+FaceDire*1.3*FP[i].z
[0034]其中，F为人脸阴影强度因子；FP[i].z表示第i个人脸3D关键点的z坐标；FaceDire为人脸在三维坐标中的朝向。
[0035]进一步的，三维面部界标拓扑网格中的顶点强度值乘以所述阴影强度因子，确定每个顶点的最终强度值；
[0036]采用对顶点的最终强度值线性插值的方式确定所述混合图像的混合强度。
[0037]本申请实施例提供一种辅助脸部美颜贴纸的定位装置，包括：
[0038]识别模块，用于采用预构建的人脸3D信息识别模型对原始图像进行人脸3D信息识别，并在识别出人脸3D信息输出人脸3D信息；
[0039]对齐模块，用于根据预构建的规范化脸模型，将美颜贴纸与识别的人脸3D信息在三维空间中对齐，得到第一图像；
[0040]渲染模块，用于对所述第一图像中的美颜贴纸进行渲染，得到第二图像；
[0041]处理模块，用于根据预设阴影纹理对所述第二图像进行脸部阴影增强处理，得到结果图像。
[0042]进一步的，。
[0043]本专利技术采用以上技术方案，能够达到的有益效果包括：
[0044]本专利技术提供一种辅助脸部美颜贴纸的定位方法及装置，本申请提供的技术方案利用脸部3D信息，对美颜贴纸进行三维空间的定位计算，比现有的人脸2D信息对美颜贴纸进行三维空间的定位计算要更准确、更符合真实场景的物理规律，效果要更加逼真、自然，而且适用范围更大，比如对有较大旋转角度的人脸图像或者侧脸图像都有很好的普适性。
附图说明
[0045]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0046]图1为本专利技术辅助脸部美颜贴纸的定位方法的步骤示意图；
[0047]图2为本专利技术辅助脸部美颜贴纸的定位方法的流程示意图；
[0048]图3为本专利技术辅助脸部美颜贴纸的定位装置的结构示意图；
[0049]图4为本专利技术辅助脸部美颜贴纸的定位方法涉及的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种辅助脸部美颜贴纸的定位方法，其特征在于，包括：采用预构建的人脸3D信息识别模型对原始图像进行人脸3D信息识别，并在识别出人脸3D信息输出人脸3D信息；根据预构建的规范化脸模型，将美颜贴纸与识别的人脸3D信息在三维空间中对齐，得到第一图像；对所述第一图像中的美颜贴纸进行渲染，得到第二图像；根据预设阴影纹理对所述第二图像进行脸部阴影增强处理，得到结果图像。2.根据权利要求1所述的方法，其特征在于，构建人脸3D信息识别模型，包括：获取大量的人脸图片，对人脸图像标注3D人脸信息后作为训练集；将训练集输入至神经网络中进行迭代训练至收敛，得到人脸3D信息识别模型；所述人脸3D信息包括人脸范围、人脸三维姿态欧拉角、人脸深度信息以及人脸3D关键点信息；其中，每个人脸3D关键点信息标定了人脸五官、轮廓以及脸部辅助点，每个点均为三维的空间坐标(x，y，z)。3.根据权利要求2所述的方法，其特征在于，在输出人脸3D信息之前，还包括：对人脸3D关键点坐标归一化处理，使得每个点的坐标数值范围为[0,1]；根据人脸3D关键点的索引结合所述原始图像的五官信息，对人脸3D关键点进行分类，得到分类结果；根据人脸三维姿态欧拉角计算人脸在三维坐标中的朝向；对所述人脸3D关键点信息进行三角剖分处理，生成人脸三维面部界标拓扑网格，并为网格上的每一个顶点赋一个初始强度值。4.根据权利要求3所述的方法，其特征在于，所述根据预构建的规范化脸模型，将美颜贴纸与识别的人脸3D信息在三维空间中对齐，包括：基于所述规范化脸模型的人脸3D关键点与识别出的人脸3D关键点在人脸三维面部界标拓扑网格的线性映射，生成脸部三维姿态转换矩阵；利用所述脸部三维姿态转换矩阵对美颜贴纸进行坐标变换，使得所述美颜贴纸与识别出的人脸3D关键点坐标在三维空间中对齐。5.根据权利要求4所述的方法，其特征在于，...

【专利技术属性】
技术研发人员：岳伟为，
申请(专利权)人：广州光锥元信息科技有限公司，
类型：发明
国别省市：