一种光照估计方法及装置制造方法及图纸

本申请实施例公开了一种光照估计方法及装置，涉及光照估计领域，解决了人脸成像的光效效果较差的问题。具体方案为：利用卷积神经网络获取第一图像的光照估计参数初始值，光照估计参数初始值包括初始球面光照系数、初始反照率集合和初始法向集合，第一图像包括M个像素点，初始反照率集合包括M个像素点的初始反照率，初始法向集合包括M个像素点的初始法向，M为正整数；然后，利用原始图像、初始反照率集合、初始法向集合和初始球面光照系数之间的关系，优化光照估计参数初始值。本申请实施例用于光照估计的过程。

A method and device of light estimation

【技术实现步骤摘要】
一种光照估计方法及装置
本申请实施例涉及光照估计领域，尤其涉及一种光照估计方法及装置。
技术介绍
由于室内光源、物体材质属性、纹理、场景几何结构以及室外天气变化无常等多种环境因素带来的干扰，光照估计仍然是一个具有挑战性的课题。例如，人脸皮肤经常受到室内外光照、油脂和胭脂等条件影响，在人脸的局部会产生镜面反射光。在拍照、人脸重建和人脸识别等计算机视觉任务中，需要估计人脸的光照信息，根据光照信息去除镜面反射光等负面效果，提升人脸成像的光效效果。传统的光照估计技术手段主要分为借助辅助拍摄设备的方法、借助辅助标志物的方法和无需辅助标志或拍摄设备的图像分析方法三类。图像分析方法是指运用机器学习、图像处理等技术分析真实场景光照的方法，由于图像分析方法不需要借助多余的硬件设备，是近年来光照估计领域的重要发展方向。随着深度学习技术的发展，采用卷积神经网络(convolutionalneuralnetworks，CNN)进行光照估计已成为光照估计领域发展的趋势。但是，基于卷积神经网络的光照估计算法分解出的人脸图像的反照率、法向和球面光照系数往往不精确，将这种不精确的光照估计的结果应用到人脸图像的计算机视觉任务中，导致人脸成像的光效效果较差。
技术实现思路
本申请实施例提供一种光照估计方法及装置，解决了人脸成像的光效效果较差的问题。为达到上述目的，本申请实施例采用如下技术方案：第一方面，本申请实施例提供了一种光照估计方法，该方法可应用于终端设备，或者该方法可应用于可以支持终端设备实现该方法的光照估计装置，例如该光照估计装置包括芯片系统，方法包括：首先，根据第一图像和卷积神经网络，得到第一图像的光照估计参数初始值，其中，光照估计参数初始值包括初始球面光照系数、初始反照率集合和初始法向集合，第一图像可以是原始图像进行下采样的图像，第一图像包括M个像素点，初始反照率集合包括M个像素点的初始反照率，初始法向集合包括M个像素点的初始法向，M为正整数；然后，根据初始球面光照系数、初始反照率集合、初始法向集合和第一图像包括的M个像素点的原始像素值，确定第一图像的优化后球面光照系数。本申请实施例提供的光照估计方法主要应用在3D人像光效、去高光、光效迁移等需要光照估计的领域。初始球面光照系数经过本申请实施例提供的光照估计方法进行优化后，从而有效地提高人脸成像的光效效果。结合第一方面，在一种可能的实现方式中，根据初始球面光照系数、初始反照率集合、初始法向集合和第一图像包括的M个像素点的原始像素值，确定第一图像的优化后球面光照系数，包括：获取M个像素点的第一重构像素值与原始像素值之间的差异，获取M个像素点的第一重构像素值与原始像素值之间的差异包括：根据第p个像素点的初始反照率、第p个像素点的初始球面调和基函数和初始球面光照系数，获取第p个像素点的第一重构像素值，第p个像素点的初始球面调和基函数由球面调和基函数和第p个像素点的初始法向确定，p为整数，p的取值为1至M；获取第p个像素点的第一重构像素值与第p个像素点的原始像素值之间的差异，第p个像素点的原始像素值属于第一图像包括的M个像素点的原始像素值；以减少M个像素点的第一重构像素值与原始像素值之间的差异为目标，优化初始球面光照系数，从而得到优化后球面光照系数。示例性的，所述差异可以是第p个像素点的第一重构像素值与第p个像素点的原始像素值之间的误差的平方，或者第p个像素点的第一重构像素值与第p个像素点的原始像素值之间误差的平方和。结合第一方面和上述可能的实现方式，在另一种可能的实现方式中，在根据初始球面光照系数、初始反照率集合、初始法向集合和第一图像包括的M个像素点的原始像素值，确定第一图像的优化后球面光照系数之后，方法还包括：根据优化后球面光照系数、初始法向集合和预设的环境光对反照率的影响因子，确定第一图像的优化后反照率集合，优化后反照率集合包括M个像素点的优化后反照率。示例的，根据优化后球面光照系数、初始法向集合和预设的环境光对反照率的影响因子，确定第一图像的优化后反照率集合，包括：根据第p个像素点的初始球面调和基函数、影响因子和优化后球面光照系数，估计理想球面光照系数，第p个像素点的初始球面调和基函数由球面调和基函数和第p个像素点的初始法向确定，p为整数，p的取值为1至M；利用朗伯体模型，根据第p个像素点的初始球面调和基函数、理想球面光照系数和第一图像包括的M个像素点的原始像素值，确定第一图像的优化后反照率集合。结合上述可能的实现方式，在另一种可能的实现方式中，在根据优化后球面光照系数、初始法向集合和预设的环境光对反照率的影响因子，确定第一图像的优化后反照率集合之后，方法还包括：根据优化后球面光照系数、优化后反照率集合、初始法向集合和第一图像包括的M个像素点的原始像素值，更新优化后球面光照系数，得到第一图像的更新后球面光照系数。示例的，根据优化后球面光照系数、优化后反照率集合、初始法向集合和第一图像包括的M个像素点的原始像素值，更新优化后球面光照系数，得到第一图像的更新后球面光照系数，包括：获取M个像素点的第二重构像素值与原始像素值之间的差异，获取M个像素点的第二重构像素值与原始像素值之间的差异包括：根据第p个像素点的优化后反照率、第p个像素点的初始球面调和基函数和优化后球面光照系数，获取第p个像素点的第二重构像素值，第p个像素点的初始球面调和基函数由球面调和基函数和第p个像素点的初始法向确定，p为整数，p的取值为1至M；获取第p个像素点的第二重构像素值与第p个像素点的原始像素值之间的差异，第p个像素点的原始像素值属于第一图像包括的M个像素点的原始像素值；以减少M个像素点的第二重构像素值与原始像素值之间的差异为目标，更新优化后球面光照系数，从而得到更新后球面光照系数。示例性的，所述差异可以是第p个像素点的第二重构像素值与第p个像素点的原始像素值之差的L1范数。结合上述可能的实现方式，在另一种可能的实现方式中，在根据优化后球面光照系数、优化后反照率集合、初始法向集合和第一图像包括的M个像素点的原始像素值，更新优化后球面光照系数，得到第一图像的更新后球面光照系数之后，方法还包括：确定第一图像的光照主方向，光照主方向的球面调和基函数与更新后球面光照系数的乘积大于或者等于其它法向的球面调和基函数与更新后球面光照系数的乘积。本申请实施例所述的光照估计方法求取光照主方向，在3D人像光效应用场景中，将光源设置在估计出的主方向上，从而可以加强原始光照的效果。第二方面，本申请实施例提供了一种光照估计方法，该方法可应用于终端设备，或者该方法可应用于可以支持终端设备实现该方法的光照估计装置，例如该光照估计装置包括芯片系统，方法包括：根据朗伯体模型获取原始图像的光照估计参数原始值，光照估计参数原始值包括原始球面光照系数、原始反照率集合和原始法向集合，原始图像包括Q个像素点，原始反照率集合包括Q个像素点的原始反照率，原始法向集合包括Q个像素点的原始法向，Q为正整数；根据卷积神经网络获取第一图像的光照估计参数初始值，光照估计参数初始值包括初始球面光照系数、初本文档来自技高网...

【技术保护点】
1.一种光照估计方法，其特征在于，包括：/n根据第一图像和卷积神经网络，得到所述第一图像的光照估计参数初始值，所述光照估计参数初始值包括初始球面光照系数、初始反照率集合和初始法向集合，所述第一图像包括M个像素点，所述初始反照率集合包括所述M个像素点的初始反照率，所述初始法向集合包括所述M个像素点的初始法向，M为正整数；/n根据所述初始球面光照系数、所述初始反照率集合、所述初始法向集合和所述第一图像包括的M个像素点的原始像素值，确定所述第一图像的优化后球面光照系数。/n

【技术特征摘要】
1.一种光照估计方法，其特征在于，包括：
根据第一图像和卷积神经网络，得到所述第一图像的光照估计参数初始值，所述光照估计参数初始值包括初始球面光照系数、初始反照率集合和初始法向集合，所述第一图像包括M个像素点，所述初始反照率集合包括所述M个像素点的初始反照率，所述初始法向集合包括所述M个像素点的初始法向，M为正整数；
根据所述初始球面光照系数、所述初始反照率集合、所述初始法向集合和所述第一图像包括的M个像素点的原始像素值，确定所述第一图像的优化后球面光照系数。


2.根据权利要求1所述的光照估计方法，其特征在于，所述根据所述初始球面光照系数、所述初始反照率集合、所述初始法向集合和所述第一图像包括的M个像素点的原始像素值，确定所述第一图像的优化后球面光照系数，包括：
获取所述M个像素点的第一重构像素值与原始像素值之间的差异，所述获取M个像素点的第一重构像素值与原始像素值之间的差异包括：根据第p个像素点的初始反照率、所述第p个像素点的初始球面调和基函数和所述初始球面光照系数，获取所述第p个像素点的第一重构像素值，所述第p个像素点的初始球面调和基函数由球面调和基函数和所述第p个像素点的初始法向确定，p为整数，p的取值为1至M；获取所述第p个像素点的第一重构像素值与所述第p个像素点的原始像素值之间的差异，所述第p个像素点的原始像素值属于所述第一图像包括的M个像素点的原始像素值；
以减少所述M个像素点的第一重构像素值与原始像素值之间的差异为目标，优化所述初始球面光照系数，从而得到所述优化后球面光照系数。


3.根据权利要求1或2所述的光照估计方法，其特征在于，在所述根据所述初始球面光照系数、所述初始反照率集合、所述初始法向集合和所述第一图像包括的M个像素点的原始像素值，确定所述第一图像的优化后球面光照系数之后，所述方法还包括：
根据所述优化后球面光照系数、所述初始法向集合和预设的环境光对反照率的影响因子，确定所述第一图像的优化后反照率集合，所述优化后反照率集合包括所述M个像素点的优化后反照率。


4.根据权利要求3所述的光照估计方法，其特征在于，在所述根据所述优化后球面光照系数、所述初始法向集合和预设的环境光对反照率的影响因子，确定所述第一图像的优化后反照率集合之后，所述方法还包括：
根据所述优化后球面光照系数、所述优化后反照率集合、所述初始法向集合和所述第一图像包括的M个像素点的原始像素值，更新所述优化后球面光照系数，得到所述第一图像的更新后球面光照系数。


5.根据权利要求3所述的光照估计方法，其特征在于，所述根据所述优化后球面光照系数、所述初始法向集合和预设的环境光对反照率的影响因子，确定所述第一图像的优化后反照率集合，包括：
根据第p个像素点的初始球面调和基函数、所述影响因子和所述优化后球面光照系数，估计理想球面光照系数，所述第p个像素点的初始球面调和基函数由球面调和基函数和所述第p个像素点的初始法向确定，p为整数，p的取值为1至M；
利用朗伯体模型，根据所述第p个像素点的初始球面调和基函数、所述理想球面光照系数和所述第一图像包括的M个像素点的原始像素值，确定所述第一图像的优化后反照率集合。


6.根据权利要求4所述的光照估计方法，其特征在于，所述根据所述优化后球面光照系数、所述优化后反照率集合、所述初始法向集合和所述第一图像包括的M个像素点的原始像素值，更新所述优化后球面光照系数，得到所述第一图像的更新后球面光照系数，包括：
获取所述M个像素点的第二重构像素值与原始像素值之间的差异，所述获取所述M个像素点的第二重构像素值与原始像素值之间的差异包括：根据第p个像素点的优化后反照率、所述第p个像素点的初始球面调和基函数和所述优化后球面光照系数，获取所述第p个像素点的第二重构像素值，所述第p个像素点的初始球面调和基函数由球面调和基函数和所述第p个像素点的初始法向确定，p为整数，p的取值为1至M；获取所述第p个像素点的第二重构像素值与所述第p个像素点的原始像素值之间的差异，所述第p个像素点的原始像素值属于所述第一图像包括的M个像素点的原始像素值；
以减少所述M个像素点的第二重构像素值与原始像素值之间的差异为目标，更新所述优化后球面光照系数，从而得到所述更新后球面光照系数。


7.根据权利要求6所述的光照估计方法，其特征在于，在所述根据所述优化后球面光照系数、所述优化后反照率集合、所述初始法向集合和所述第一图像包括的M个像素点的原始像素值，更新所述优化后球面光照系数，得到所述第一图像的更新后球面光照系数之后，所述方法还包括：
确定所述第一图像的光照主方向，所述光照主方向的球面调和基函数与所述更新后球面光照系数的乘积大于或者等于其它法向的球面调和基函数与所述更新后球面光照系数的乘积。


8.一种光照估计方法，其特征在于，包括：
根据朗伯体模型获取原始图像的光照估计参数原始值，所述光照估计参数原始值包括原始球面光照系数、原始反照率集合和原始法向集合，所述原始图像包括Q个像素点，所述原始反照率集合包括所述Q个像素点的原始反照率，所述原始法向集合包括所述Q个像素点的原始法向，Q为正整数；
根据卷积神经网络获取第一图像的光照估计参数初始值，所述光照估计参数初始值包括初始球面光照系数、初始反照率集合和初始法向集合，所述第一图像为所述原始图像进行下采样的图像，所述第一图像包括M个像素点，所述初始反照率集合包括所述M个像素点的初始反照率，所述初始法向集合包括所述M个像素点的初始法向，Q大于M；
根据所述原始图像的分辨率上采样所述初始反照率集合和所述初始法向集合，得到上采样反照率集合和上采样法向集合，所述上采样反照率集合包括Q个像素点的上采样反照率，所述上采样法向集合包括所述Q个像素点的上采样法向；
根据所述原始反照率集合与所述上采样反照率集合的误差、所述原始法向集合与所述上采样法向集合的误差和所述原始图像与重构图像的误差之和构建优化模型，所述重构图像由所述上采样反照率集合、球面调和基函数、所述上采样法向集合和所述原始球面光照系数确定；
以减少所述误差之后为优化目标，根据所述优化模型优化所述上采样反照率集合和所述上采样法向集合，获取优化后上采样反照率集合和优化后上采样法向集合。


9.一种光照估计装置，其特征在于，包括：
处理...

【专利技术属性】
技术研发人员：柳跃天，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44