【技术实现步骤摘要】
本申请涉及图像，尤其涉及一种图像处理方法及其相关设备。
技术介绍
1、摄像是光与影的艺术，在户外环境进行拍摄时，自然光能够较真实地记录拍摄现场的实时光效，但是它并不能出现在每一个需要照射的部分，由此，部分角度将会产生阴影或者部分区域将成为暗光区域。比如在强烈的日光下拍摄逆光或侧逆光的人像特写时，周围光线较强，人像区域则成为暗光区域，看不清细节。
2、对此，如果是专业的摄影师进行拍摄，将会利用外置闪光灯或聚光灯等外置人造光源来进行补光，从而可以在减少环境光影响的同时，充分利用光影效果拍摄出更有张力的人像照片。
3、但对于日常生活中更多地使用手机等电子设备进行拍摄的普通用户来讲，不可能为了拍摄照片去搭建这样专业的外置补光场景，既不现实也没必要。为此，如何打破硬件限制，通过计算方法为手机等电子设备助力，使其能拍摄出媲美专业摄影师、专业拍摄场地的光线效果下拍摄的人像照片，成为了图形学、各大厂商的研究热点。
技术实现思路
1、本申请提供一种图像处理方法及其相关设备，通过利用深度学习的方法，结合待拍摄场景中环境光的光照情况、待拍摄人像的头部姿态、法向和反照率，以对待拍摄场景中的人像和环境进行补光，实现提升人像清晰度和对比度的目的。
2、为达到上述目的，本申请采用如下技术方案：
3、第一方面，提供一种补光模型的训练方法，该方法包括：
4、获取多帧初始人像训练图像和全景环境图像；
5、对所述多帧初始人像训练图像进行第一处理，得
6、对所述精细掩膜人像训练图像和所述多帧olat训练图像进行第二处理，得到反照率人像训练图像和法向人像训练图像；
7、对所述精细掩膜人像训练图像和所述多帧olat训练图像，以及所述全景环境图像进行第三处理，得到待补光合成渲染图像和补光合成渲染图像；
8、利用所述反照率人像训练图像、所述法向人像训练图像、所述待补光合成渲染图像和所述补光合成渲染图像对初始补光模型进行训练，得到目标补光模型；
9、其中，所述初始补光模型包括初始逆渲染子模型、补光位置估计模块和初始补光控制子模型；所述目标补光模型包括目标逆渲染子模型、所述补光位置估计模块和目标补光控制子模型。
10、本申请实施例提供了一种补光模型的训练方法，在训练过程中，通过利用新的构造数据的方法，来构造更真实的训练图像，以训练初始补光模型，由此来提高得到的目标补光模型的处理效果。
11、在第一方面一种可能的实现方式中，对所述多帧初始人像训练图像进行第一处理，得到精细掩膜人像训练图像和多帧olat训练图像，包括：
12、将多帧正常人像训练图像分别与全亮人像训练图像进行配准，得到所述多帧olat训练图像，其中，所述多帧初始人像训练图像包括所述多帧正常人像训练图像、全亮人像训练图像、掩膜人像训练图像和空像训练图像；
13、将所述掩膜人像训练图像与所述全亮人像训练图像进行配准，得到配准后的掩膜人像训练图像；
14、将所述配准后的掩膜人像训练图像和所述空像训练图像相除，得到所述精细掩膜人像训练图像。
15、在该实现方式中，本申请通过获取掩膜人像训练图像和空像训练图像，以相除得到精细掩膜人像训练图像，以便于后续根据精细掩膜人像训练图像，将人像和背景环境进行更精细地区分处理。
16、在第一方面一种可能的实现方式中，对所述精细掩膜人像训练图像和所述多帧olat训练图像进行第二处理，得到反照率人像训练图像和法向人像训练图像，包括：
17、将所述多帧olat训练图像分别与所述精细掩膜人像训练图像相乘，得到多帧olat中间图像；
18、根据所述多帧olat中间图像，利用光度立体公式，确定所述反照率人像训练图像和所述法向人像训练图像。
19、在该实现方式中，本申请通过根据多帧olat训练图像，利用光度立体公式来求解出相应像素点位置处的反照率和法向量，从而可以构建出表示人像反照率信息的反照率人像训练图像和表示人像法向信息的法向人像训练图像，以便于提供给模型训练阶段进行模型训练。
20、在第一方面一种可能的实现方式中，对所述精细掩膜人像训练图像和所述多帧olat训练图像，以及所述全景环境图像进行第三处理，得到待补光合成渲染图像，包括：
21、根据所述多帧olat训练图像和所述全景环境图像，确定全景环境标注图像，所述全景环境标注图像标注有所述多帧olat训练图像各自对应的光源的位置；
22、根据三角网算法，按照光源的位置对所述全景环境标注图像进行区域划分；
23、确定所述全景环境标注图像中每个区域对应的权重；
24、根据所述多帧olat训练图像和所述全景环境标注图像中每个区域对应的权重，确定所述待补光人像渲染图像；
25、根据所述全景环境图像和所述待补光人像渲染图像，得到所述待补光合成渲染图像。
26、应理解，全景环境标注图像中划分的区域与olat训练图像一一对应，或者说与olat训练图像对应的光源一一对应。
27、在该实现方式中，本申请通过根据olat训练图像和全景环境图像，确定显示有光源位置的全景环境标注图像；再从全景环境标注图像中确定出每个光源所在区域对应的权重，将其作为每个光源合成该环境的光照情况中的权重，从而olat中间图像可以根据该权重加权求和出在该环境的光照情况下，人物所达到的光影效果，也即得到待补光人像渲染图像；然后，根据全景环境图像与待补光人像渲染图像，即可得到能同时表示该环境的光照情况以及处于该环境下的人物的光影效果的待补光合成渲染图像。
28、在第一方面一种可能的实现方式中，根据所述多帧olat训练图像和所述全景环境图像，确定全景环境标注图像，包括：
29、根据所述多帧olat训练图像，确定每帧olat训练图像所对应的光源的直角坐标；
30、将所述光源的直角坐标转换为极坐标；
31、根据所述光源对应的极坐标，在所述全景环境图像上标注光源的位置，得到所述全景环境标注图像。
32、在该实现方式中，本申请通过将olat训练图像所对应的光源的直角坐标进行坐标转换后，即可在全景环境图像中标注出所有光源的极坐标位置，得到全景环境标注图像。
33、在第一方面一种可能的实现方式中，根据所述多帧olat训练图像和所述全景环境标注图像中每个区域对应的权重，确定所述待补光人像渲染图像，包括：
34、将所述多帧olat训练图像分别与所述精细掩膜人像训练图像相乘，得到所述多帧olat中间图像；
35、利用所述全景环境标注图像中每个区域对应的权重，将所述多帧olat中间图像进行加权求和，得到所述待补光人像渲染图像。
36、在该实现方式中，本申请通过将所有olat中间图像本文档来自技高网...
【技术保护点】
1.一种图像处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述目标补光模型包括目标逆渲染子模型、补光位置估计模块和目标补光控制子模型，所述目标逆渲染子模型分别与所述补光位置估计模块和所述目标补光控制子模型连接，所述补光位置估计模块与所述目标补光控制子模型连接；
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
4.根据权利要求3所述的方法，其特征在于，对所述多帧初始人像训练图像进行第一处理，得到精细掩膜人像训练图像和多帧OLAT训练图像，包括：
5.根据权利要求3或4所述的方法，其特征在于，对所述精细掩膜人像训练图像和所述多帧OLAT训练图像进行第二处理，得到反照率人像训练图像和法向人像训练图像，包括：
6.根据权利要求3至5中任一项所述的方法，其特征在于，对所述精细掩膜人像训练图像和所述多帧OLAT训练图像，以及所述全景环境图像进行第三处理，得到待补光合成渲染图像，包括：
7.根据权利要求6所述的方法，其特征在于，根据所述多帧OLAT训练图像和所述全景环境图像，确
8.根据权利要求6或7所述的方法，其特征在于，根据所述多帧OLAT训练图像和所述全景环境标注图像中每个区域对应的权重，确定所述待补光人像渲染图像，包括：
9.根据权利要求6至8中任一项所述的方法，其特征在于，根据所述全景环境图像和所述待补光人像渲染图像，得到所述待补光合成渲染图像，包括：
10.根据权利要求3至9中任一项所述的方法，其特征在于，对所述精细掩膜人像训练图像和所述多帧OLAT训练图像，以及所述全景环境图像进行第三处理，得到补光合成渲染图像，包括：
11.根据权利要求10所述的方法，其特征在于，根据全景环境图像，确定全景补光环境图像，包括：
12.根据权利要求10或11所述的方法，其特征在于，根据所述多帧OLAT训练图像和所述全景补光环境图像，确定全景补光环境标注图像，包括：
13.根据权利要求10至12中任一项所述的方法，其特征在于，根据所述多帧OLAT训练图像和所述全景环境标注图像中每个区域对应的权重，确定所述补光人像渲染图像，包括：
14.根据权利要求10至13中任一项所述的方法，其特征在于，根据所述全景补光环境图像和所述补光人像渲染图像，得到所述补光合成渲染图像，包括：
15.根据权利要求9或14所述的方法，其特征在于，利用所述反照率人像训练图像、所述法向人像训练图像、所述待补光合成渲染图像和所述补光合成渲染图像对初始补光模型进行训练，得到目标补光模型，包括：
16.根据权利要求14或15所述的方法，其特征在于，所述方法还包括：
17.根据权利要求16所述的方法，其特征在于，将所述反照率人像训练图像、所述法向人像训练图像、所述局部补光环境图像和所述待补光合成渲染图像输入所述初始补光控制子模型，得到第四输出图像，包括：
18.一种电子设备，其特征在于，包括处理器和存储器；
19.一种芯片，其特征在于，包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行如权利要求1至17中任一项所述的图像处理方法。
20.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，使所述处理器执行如权利要求1至17中任一项所述的图像处理方法。
...【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述目标补光模型包括目标逆渲染子模型、补光位置估计模块和目标补光控制子模型，所述目标逆渲染子模型分别与所述补光位置估计模块和所述目标补光控制子模型连接，所述补光位置估计模块与所述目标补光控制子模型连接；
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
4.根据权利要求3所述的方法，其特征在于，对所述多帧初始人像训练图像进行第一处理，得到精细掩膜人像训练图像和多帧olat训练图像，包括：
5.根据权利要求3或4所述的方法，其特征在于，对所述精细掩膜人像训练图像和所述多帧olat训练图像进行第二处理，得到反照率人像训练图像和法向人像训练图像，包括：
6.根据权利要求3至5中任一项所述的方法，其特征在于，对所述精细掩膜人像训练图像和所述多帧olat训练图像，以及所述全景环境图像进行第三处理，得到待补光合成渲染图像，包括：
7.根据权利要求6所述的方法，其特征在于，根据所述多帧olat训练图像和所述全景环境图像，确定全景环境标注图像，包括：
8.根据权利要求6或7所述的方法，其特征在于，根据所述多帧olat训练图像和所述全景环境标注图像中每个区域对应的权重，确定所述待补光人像渲染图像，包括：
9.根据权利要求6至8中任一项所述的方法，其特征在于，根据所述全景环境图像和所述待补光人像渲染图像，得到所述待补光合成渲染图像，包括：
10.根据权利要求3至9中任一项所述的方法，其特征在于，对所述精细掩膜人像训练图像和所述多帧olat训练图像，以及所述全景环境图像进行第三处理，得到补光合成渲染图像，包括：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。