【技术实现步骤摘要】
本申请涉及图像视频处理领域，尤其涉及一种基于物理的人像妆容渲染方法及装置。
技术介绍
1、随着移动端人像修图应用功能和种类日益丰富，针对人像的图像视频编辑的要求也日益提高，不仅追求静态、二维平面和单一角度的美化效果，更追求全方位多角度、动态效果自然。其中针对视频编辑和自拍的美妆滤镜或特效的优化正是其中一种日益增强的需求。
2、现有的视频图像和自拍妆容特效，大多数使用二维人脸关键点检测+美妆贴图的方式实现，其存在以下问题：美妆贴图为静态2d形式，无法模拟真实妆容在不同角度、光线环境下的效果变化。尤其对于妆容中高光效果的模拟，包括珠光、金属、闪片效果，其效果的呈现受环境光影响较大，而静态的美妆贴图中的高光无法根据光照环境、人脸角度变化而变化，在视频和自拍中妆容模拟效果不尽人意。因此，传统技术难以实现自然拟真妆容渲染效果。
技术实现思路
1、为至少在一定程度上克服相关技术中难以实现自然拟真妆容渲染效果的问题，本申请提供一种基于物理的人像妆容渲染方法及装置。
2、本申请的方案如下：
3、根据本申请实施例的第一方面，提供一种基于物理的人像妆容渲染方法，包括：
4、获取待处理人脸图像，对所述待处理人脸图像进行关键点检测及数据构建，得到妆容渲染数据；
5、将所述待处理人脸图像和所述妆容渲染数据作为输入，基于预设的符合物理规律的光照信息和辅助素材，输出所述待处理人脸图像上每一个点应增加的光增量，得到光增量图；
6、对所述光增量
7、将处理后的光增量图叠加到所述待处理人脸图像中，进行色调映射处理；
8、其中，预设的符合物理规律的光照信息和辅助素材包括：法线贴图、材质信息遮罩图、环境光遮蔽贴图、预滤波环境贴图、亮片遮罩图和voronoi图。
9、优选地，基于三维人脸网格检测方式，对所述待处理人脸图像进行关键点检测及数据构建，得到妆容渲染数据，包括：
10、获取拍摄所述待处理人脸图像的相机的相机参数；
11、获取所述待处理人脸图像在世界空间下的一组网格关键点的关键点参数；所述关键点数据至少包括：各关键点的坐标值、各关键点的拓扑连接关系、各关键点或关键点构成的三角片元的法向量、各关键点的uv映射，以及各三角面上顶点的切空间信息；
12、根据所述相机参数和所述关键点参数构建得到妆容渲染数据。
13、优选地，基于二维人脸关键点检测方式，对所述待处理人脸图像进行关键点检测及数据构建，得到妆容渲染数据，包括：
14、对所述待处理人脸图像进行人脸检测得到各关键点及其对应的uv映射；
15、设置一个通用人体头部模型，基于空间姿态映射算法以及检测出的人脸关键点，确定拍摄所述待处理人脸图像的相机参数，以及所述待处理人脸图像中的各关键点在三维空间中的坐标值；
16、根据所述待处理人脸图像中的各关键点在三维空间中的坐标值，计算各关键点的法向量和切空间信息；
17、获取预设的各关键点的拓扑连接关系；
18、根据相机参数、各关键点在三维空间中的坐标值、法向量、切空间信息、uv映射和拓扑连接关系，构建得到妆容渲染数据。
19、优选地，预设的符合物理规律的光照信息和辅助素材还包括：
20、可调参数组合，包括：
21、亮片的法线偏离程度、亮片的光滑度、亮片的高光量、亮片的金属度、主光源的强度向量、主光源的方向向量和球谐函数系数。
22、优选地，基于预设的符合物理规律的光照信息和辅助素材，输出所述待处理人脸图像上每一个点应增加的光增量，包括：
23、根据所述妆容渲染数据中相机参数、各关键点的坐标值和各关键点的拓扑连接关系，绘制人脸网格；
24、对于人脸网格三角片元上的像素点，通过插值的方式，得到渲染中每个像素点的uv坐标值、世界坐标空间值、法向量和切空间信息；
25、遍历人脸网格三角片元上的像素点，对每一个像素点执行以下流程：
26、获取像素点的颜色值，并将像素点的颜色值校正到线性空间中；
27、根据像素点的法向量和切向量，计算出tangent2world矩阵；
28、从法线贴图中解压缩出对应的法线偏移量；
29、计算基础美妆材质的光增量；
30、计算亮片层的光增量；
31、根据基础美妆材质的光增量和亮片层的光增量，得到所述待处理人脸图像上每一个点的光增量。
32、优选地，计算基础美妆材质的光增量，包括：
33、根据法线偏移量和tangent2world矩阵，计算叠加法线贴图后的像素点的法向量；
34、根据叠加法线贴图后的像素点的法向量和球谐函数系数，计算基于球谐近似的环境光强度；
35、根据像素点的颜色值计算像素点所在区域的反射率；
36、根据可调参数组合及任意的bxdf函数，计算出美妆材质关于直接光的高光增量和漫反射增量；
37、根据球谐近似的环境光强度和像素点所在区域的反射率计算得到环境光的漫反射部分；
38、从预滤波环境贴图中，根据像素点的光滑度和预滤波环境贴图的不同层级得到环境光的反射部分光强；
39、根据平滑度、法线与视线的夹角得到环境光的高光反射率；
40、根据环境光的漫反射部分、环境光的反射部分光强和环境光的高光反射率，得到环境光部分的光增量；
41、根据美妆材质关于直接光部分的高光增量和漫反射增量，以及环境光部分的光增量，得到基础美妆材质的光增量。
42、优选地，计算亮片层的光增量，包括：
43、判断像素点是否在亮片遮罩的范围内；
44、若像素点不在亮片遮罩的范围内，则结束流程；
45、若像素点在亮片遮罩的范围内，则执行以下流程：
46、根据像素点的uv坐标值，从voronoi图中查找对应的cell，通过cell计算出像素点的亮片法线偏移量；
47、根据像素点的亮片法线偏移量，以及tangent2world矩阵，得到像素点所在区域亮片的实际法向量；
48、根据可调参数组合及任意的bxdf函数，计算出亮片关于直接光部分的高光增量和漫反射增量；
49、根据亮片关于直接光部分的高光增量和漫反射增量得到亮片层的光增量。
50、优选地，所述材质信息遮罩图用于表示每一个点的材质信息，所述材质信息遮罩图的r通道表示该点的反射率，g通道表示点的粗糙度/平滑度，b通道表示点的金属度，a通道表示点的效果强度；
51、所述环境光遮蔽贴图用于在光照计算中，计算出被周围物体遮挡而损失的进光量；
52、所述预滤波环境贴图用于在全局光照中实时计算出环境光高光项的部分结果；所述预滤波环境贴图表现为图像金字塔形式，图像金字塔中的各层预滤波环境本文档来自技高网...
【技术保护点】
1.一种基于物理的人像妆容渲染方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，基于三维人脸网格检测方式，对所述待处理人脸图像进行关键点检测及数据构建，得到妆容渲染数据，包括：
3.根据权利要求1所述的方法，其特征在于，基于二维人脸关键点检测方式，对所述待处理人脸图像进行关键点检测及数据构建，得到妆容渲染数据，包括：
4.根据权利要求2-3任一项所述的方法，其特征在于，预设的符合物理规律的光照信息和辅助素材还包括：
5.根据权利要求4所述的方法，其特征在于，基于预设的符合物理规律的光照信息和辅助素材，输出所述待处理人脸图像上每一个点应增加的光增量，包括：
6.根据权利要求5所述的方法，其特征在于，计算基础美妆材质的光增量，包括：
7.根据权利要求5所述的方法，其特征在于，计算亮片层的光增量，包括：
8.根据权利要求1所述的方法，其特征在于，所述材质信息遮罩图用于表示每一个点的材质信息，所述材质信息遮罩图的R通道表示该点的反射率，G通道表示点的粗糙度/平滑度，B通道表示点的金属度，
9.根据权利要求1所述的方法，其特征在于，对所述光增量图进行模糊处理和泛光处理，包括：
10.一种基于物理的人像妆容渲染装置，其特征在于，包括：
...【技术特征摘要】
1.一种基于物理的人像妆容渲染方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，基于三维人脸网格检测方式，对所述待处理人脸图像进行关键点检测及数据构建，得到妆容渲染数据，包括：
3.根据权利要求1所述的方法，其特征在于，基于二维人脸关键点检测方式，对所述待处理人脸图像进行关键点检测及数据构建，得到妆容渲染数据，包括：
4.根据权利要求2-3任一项所述的方法，其特征在于，预设的符合物理规律的光照信息和辅助素材还包括：
5.根据权利要求4所述的方法，其特征在于，基于预设的符合物理规律的光照信息和辅助素材，输出所述待处理人脸图像...
【专利技术属性】
技术研发人员：岳伟为，黄冠喆，
申请(专利权)人：广州光锥元信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。