虚拟试妆方法、装置、电子设备及可读存储介质制造方法及图纸

本申请提供一种虚拟试妆方法、装置、电子设备及可读存储介质，涉及图像处理技术领域。该方法包括：获取针对试妆用户的面部三维模型；确定面部三维模型中试妆区域的光照信息；获取试妆区域对应的试妆产品的材质光学反射参数信息；基于光照信息以及对应的材质光学反射参数信息，生成试妆区域的三维纹理贴图；将试妆区域的三维纹理贴图叠加到面部三维模型中对应的试妆区域，获得三维试妆效果图；将三维试妆效果图转换为二维试妆效果图输出。该方案通过在试妆过程中加入光照信息和试妆产品的材质光学反射参数信息，以模拟真实光照环境下的上妆效果，从而可使得虚拟试妆效果与真实试妆效果差异不大，提高了虚拟试妆效果的真实性。

【技术实现步骤摘要】
虚拟试妆方法、装置、电子设备及可读存储介质
本申请涉及图像处理
，具体而言，涉及一种虚拟试妆方法、装置、电子设备及可读存储介质。
技术介绍
随着美妆电商网络的崛起和人们对美妆产品越来越大的需求，美妆市场成为了一个持续增长的市场。但是人们在线上购买美妆产品的时候无法试戴美妆产品的效果。所以，为了满足用户的购物需求，虚拟化妆技术开始发展起来。然而传统的虚拟美妆方案，是在原本待上妆区域贴上一个特定效果的贴图，但是这个贴图是预先设计好的，不能真实反映实际场景下的上妆效果，从而使得虚拟试妆效果与真实试妆效果差异较大，降低了虚拟试妆效果的真实性。
技术实现思路
本申请实施例的目的在于提供一种虚拟试妆方法、装置、电子设备及可读存储介质，用以改善现有技术中虚拟试妆效果真实性较低的问题。第一方面，本申请实施例提供了一种虚拟试妆方法，所述方法包括：获取针对试妆用户的面部三维模型；确定所述面部三维模型中试妆区域的光照信息；获取所述试妆区域对应的试妆产品的材质光学反射参数信息；基于所述试妆区域的光照信息以及对应的试妆产品的材质光学反射参数信息，生成所述试妆区域的三维纹理贴图；将所述试妆区域的三维纹理贴图叠加到所述面部三维模型中对应的试妆区域，获得三维试妆效果图；将所述三维试妆效果图转换为二维试妆效果图输出。在上述实现过程中，在试妆过程中加入光照信息和试妆产品的材质光学反射参数信息，以模拟真实光照环境下的上妆效果，从而可使得虚拟试妆效果与真实试妆效果差异不大，提高了虚拟试妆效果的真实性。并且，本申请中是在面部三维模型中进行虚拟试妆，相比于二维试妆的方案，本方案中用户的面部三维模型能够还原用户的实际面部的姿态，从而更加准确选取试妆区域，尤其对于遮挡、侧脸等情况，具有更强大的鲁棒性。可选地，所述光照信息包括环境光照信息、漫反射光照信息和/或镜面反射光照信息，所述确定所述面部三维模型中试妆区域的光照信息，包括：获取所述面部三维模型中试妆区域的每个像素点的环境光照信息、漫反射光照信息和/或镜面反射光照信息。在上述实现过程中，通过获取每个像素点的环境光照信息、漫反射光照信息和/或镜面反射光照信息可更加准确模拟出真实的光照场景，提高了虚拟试妆的真实性。可选地，所述获取所述面部三维模型中试妆区域的每个像素点的环境光照信息、漫反射光照信息和/或镜面反射光照信息，包括：通过Phong光照模型、Lambert光照模型或BlinnPhong光照模型，获取所述面部三维模型中试妆区域的每个像素点的环境光照信息、漫反射光照信息和/或镜面反射光照信息。在上述实现过程中，通过Phong光照模型、Lambert光照模型或BlinnPhong光照模型获得的光照信息能更加准确反映真实场景下的光照信息。可选地，所述试妆产品的材质光学反射参数信息包括镜面反射系数和/或漫反射系数，所述基于所述试妆区域的光照信息以及对应的试妆产品的材质光学反射参数信息，生成所述试妆区域的三维纹理贴图，包括：将所述面部三维模型中所述试妆区域的每个像素点的光照信息与所述材质光学反射参数信息以及所述试妆产品的颜色RGB值进行融合，获得所述试妆区域中每个像素点的像素颜色；基于所述试妆区域中每个像素点的像素颜色，生成所述试妆区域的三维纹理贴图。在上述实现过程中，通过将像素点的光照信息和化妆品的材质光学反射参数信息进行融合，可更加准确模拟出化妆品在真实光照场景下的上妆效果。可选地，所述生成所述试妆区域的三维纹理贴图，包括：基于所述试妆区域的光照信息以及对应的试妆产品的材质光学反射参数信息，生成所述试妆区域的初始三维纹理贴图；将所述初始三维纹理贴图中所述试妆区域中每个像素点的像素颜色与初始获取的所述试妆用户的面部图像中对应的试妆区域中对应的像素点的像素颜色进行融合，获得所述试妆区域中每个像素点的融合颜色；基于所述试妆区域中每个像素点的融合颜色，生成所述试妆区域的三维纹理贴图。在上述实现过程中，通过将初始面部图像中像素点的像素颜色与初始三维纹理贴图中的像素点的像素颜色进行融合，从而可更好地保留原始面部图像中的纹理效果，以获得更真实的试妆效果。可选地，通过如下公式获得所述试妆区域中每个像素点的融合颜色：其中，A表示所述试妆用户的面部图像中对应的试妆区域中对应的像素点的像素颜色，B表示所述初始三维纹理贴图中所述试妆区域中每个像素点的像素颜色，C表示所述融合颜色。在上述实现过程中，通过上述方式进行像素颜色融合，可以更好地提取原始面部图像中的细微纹理效果，从而获得更真实的上妆效果。可选地，所述生成所述试妆区域的三维纹理贴图之后，还包括：基于所述试妆区域的透明度系数调节所述试妆区域的三维纹理贴图的透明度，获得调节后的所述试妆区域的三维纹理贴图。在上述实现过程中，通过基于透明度系数对三维纹理贴图进行调节，从而可实现对上妆过程中薄涂或厚涂的上妆效果的模拟。可选地，通过如下公式获得调节后的所述试妆区域的三维纹理贴图：T＝k*C+(1-k)*A；其中，T表示调节后的所述试妆区域的三维纹理贴图中每个像素点的像素颜色，k表示透明度系数，C表示所述融合颜色，A表示所述试妆用户的面部图像中对应的试妆区域中对应的像素点的像素颜色。可选地，所述获取针对试妆用户的面部三维模型，包括：获取所述试妆用户的面部图像；提取所述面部图像中的面部特征点；基于所述面部特征点构建针对所述试妆用户的面部三维模型。在上述实现过程中，基于试妆用户的面部特征点构建试妆用户的面部三维模型，从而使得在试妆过程中，可以更好地模拟试妆用户原始的面部信息，以达到更真实的试妆效果。可选地，所述提取所述面部图像中的面部特征点，包括：通过深度学习算法识别所述面部图像中各个关键部位；提取各个关键部位的特征点。在上述实现过程中，通过深度学习算法可有效提高面部图像中各个关键部位识别的准确性。可选地，所述基于所述面部特征点构建针对所述试妆用户的面部三维模型，包括：基于各个所述面部特征点在所述面部图像中的坐标以及预先构建的三维平均脸模型中各个面部特征点的坐标，确定所述试妆用户在三维模型中的面部姿态、形状以及表情；根据所述面部姿态、形状以及表情，构建针对所述试妆用户的面部三维模型。在上述实现过程中，通过在三维模型中模拟试妆用户的面部姿态、形状以及表情，以实现更真实的试妆效果。第二方面，本申请实施例提供了一种虚拟试妆装置，所述装置包括：三维模型获取模块，用于获取针对试妆用户的面部三维模型；光照信息确定模块，用于确定所述面部三维模型中试妆区域的光照信息；试妆产品信息获取模块，用于获取所述试妆区域对应的试妆产品的材质光学反射参数信息；三维纹理贴图生成模块，用于基于所述试妆区域的光照信息以及对应的试妆产品的本文档来自技高网...

【技术保护点】
1.一种虚拟试妆方法，其特征在于，所述方法包括：/n获取针对试妆用户的面部三维模型；/n确定所述面部三维模型中试妆区域的光照信息；/n获取所述试妆区域对应的试妆产品的材质光学反射参数信息；/n基于所述试妆区域的光照信息以及对应的试妆产品的材质光学反射参数信息，生成所述试妆区域的三维纹理贴图；/n将所述试妆区域的三维纹理贴图叠加到所述面部三维模型中对应的试妆区域，获得三维试妆效果图；/n将所述三维试妆效果图转换为二维试妆效果图输出。/n

【技术特征摘要】
1.一种虚拟试妆方法，其特征在于，所述方法包括：
获取针对试妆用户的面部三维模型；
确定所述面部三维模型中试妆区域的光照信息；
获取所述试妆区域对应的试妆产品的材质光学反射参数信息；
基于所述试妆区域的光照信息以及对应的试妆产品的材质光学反射参数信息，生成所述试妆区域的三维纹理贴图；
将所述试妆区域的三维纹理贴图叠加到所述面部三维模型中对应的试妆区域，获得三维试妆效果图；
将所述三维试妆效果图转换为二维试妆效果图输出。


2.根据权利要求1所述的方法，其特征在于，所述确定所述面部三维模型中试妆区域的光照信息，包括：
获取所述面部三维模型中试妆区域的每个像素点的环境光照信息、漫反射光照信息和/或镜面反射光照信息。


3.根据权利要求2所述的方法，其特征在于，所述获取所述面部三维模型中试妆区域的每个像素点的环境光照信息、漫反射光照信息和/或镜面反射光照信息，包括：
通过Phong光照模型、Lambert光照模型或BlinnPhong光照模型，获取所述面部三维模型中试妆区域的每个像素点的环境光照信息、漫反射光照信息和/或镜面反射光照信息。


4.根据权利要求2所述的方法，其特征在于，所述试妆产品的材质光学反射参数信息包括镜面反射系数和/或漫反射系数，所述基于所述试妆区域的光照信息以及对应的试妆产品的材质光学反射参数信息，生成所述试妆区域的三维纹理贴图，包括：
将所述面部三维模型中所述试妆区域的每个像素点的光照信息与所述材质光学反射参数信息以及所述试妆产品的颜色RGB值进行融合，获得所述试妆区域中每个像素点的像素颜色；
基于所述试妆区域中每个像素点的像素颜色，生成所述试妆区域的三维纹理贴图。


5.根据权利要求1所述的方法，其特征在于，所述生成所述试妆区域的三维纹理贴图，包括：
基于所述试妆区域的光照信息以及对应的试妆产品的材质光学反射参数信息，生成所述试妆区域的初始三维纹理贴图；
将所述初始三维纹理贴图中所述试妆区域中每个像素点的像素颜色与初始获取的所述试妆用户的面部图像中对应的试妆区域中对应的像素点的像素颜色进行融合，获得所述试妆区域中每个像素点的融合颜色；
基于所述试妆区域中每个像素点的融合颜色，生成所述试妆区域的三维纹理贴图。


6.根据权利要求5所述的方法，其特征在于，通过如下公式获得所述试妆区域中每个像素点的融合颜色：



其中，A表示所述试妆用户的面部图像中对应的试妆区域中对应的像素点的像素颜色，B表...

【专利技术属性】
技术研发人员：孙宇超，姚聪，胡波，
申请(专利权)人：北京旷视科技有限公司，
类型：发明
国别省市：北京;11