图像处理方法及其相关设备技术

本申请提供一种图像处理方法及其相关设备，涉及图像处理领域，该方法包括：显示第一界面，第一界面包括第一控件；检测到对第一控件的第一操作；响应于第一操作，采集多帧第一偏振图像；对多帧第一偏振图像进行背景置黑处理，得到多帧第三偏振图像；对多帧第三偏振图像进行拟合，得到一组单灯图像；根据目标环境图像，对一组单灯图像进行重打光处理，得到目标拍摄图像。该方法通过在摄像头外部增设多个带有不同色彩渐变的偏振镜片，来采集多个带有不同颜色梯度信息的偏振图像，随之利用简单的算法进行处理，从而可以在切换背景时实现提高拍摄效果和处理效率目的。拍摄效果和处理效率目的。拍摄效果和处理效率目的。

【技术实现步骤摘要】
图像处理方法及其相关设备


[0001]本申请涉及图像处理领域，具体涉及一种图像处理方法及其相关设备。

技术介绍

[0002]随着具有拍摄功能的电子设备在生活中的普及，人们使用电子设备进行拍摄已经成为了一种日常行为方式。目前大多数电子设备在拍摄时，都是采用一些算法来对采集的图像进行处理，从而生成满足拍摄需求的图像或视频。
[0003]其中，在某些拍摄场景下，用户期望可以更改人像所处的环境，相当于需要给人像增加环境特效。为了满足此种需求，现有技术可以通过算法来实现，然而，在利用算法进行处理时，由于非常依赖于外部信息，抗外部干扰性比较差，所以拍摄出的效果随之无法得到保证，而且提供的算法比较复杂，处理效率也很低。由此，针对上述所述的切换人像所处环境的拍摄需求，如何提高拍摄效果和处理效率成为了一个亟需解决的问题。

技术实现思路

[0004]本申请提供一种图像处理方法及其相关设备，通过在摄像头外部增设多个带有不同色彩渐变的偏振镜片，来采集多个带有不同颜色梯度信息的偏振图像，随之利用简单的算法进行重打光处理，从而可以在切换背景时实现提高拍摄效果和处理效率目的。
[0005]第一方面，提供了一种图像处理方法，应用于包括多个摄像头的电子设备，至少两个摄像头远离所述电子设备的一侧设置有不同颜色渐变的偏振镜片；该方法包括：显示第一界面，所述第一界面包括第一控件；检测到对所述第一控件的第一操作；响应于所述第一操作，采集多帧第一偏振图像，多帧所述第一偏振图像为设置有所述偏振镜片的至少两个摄像头获取的，多帧所述第一偏振图像包括同一拍摄对象；对多帧所述第一偏振图像进行背景置黑处理，得到多帧第三偏振图像；对多帧所述第三偏振图像进行拟合，得到一组单灯图像，所述单灯图像指的是仅在一个方向上利用光源对所述拍摄对象进行照射的图像，每帧所述单灯图像所指示的光源的照射方向不同，所述单灯图像的帧数大于所述第三偏振图像的帧数；根据目标环境图像，对一组所述单灯图像进行重打光处理，得到目标拍摄图像，所述目标拍摄图像中所述拍摄对象的光照情况与所述目标环境图像的光照情况相同。
[0006]应理解，通过背景置黑处理，可以去除图像背景中的无关信息，仅保留拍摄对象的信息，减小干扰。
[0007]应理解，拟合指的是根据多帧偏振图像中的颜色梯度信息，推理出空间中各个方向上的光源单独照射拍摄对象时的光影情况。
[0008]应理解，重打光处理指的是重新确定并附加给拍摄对象光照信息，以使其符合环境图像的光照情况。
[0009]本申请实施例提供的图像处理方法，通过给电子设备的至少两个摄像头前设置不
同颜色渐变的偏振镜片，利用该带有偏振镜片的摄像头进行拍摄，采集多帧偏振图像，然后，将多帧偏振图像进行背景置黑处理；再将处理后的偏振图像进行拟合，得到一组单灯图像；接着，结合环境图像，将该一组单灯图像进行重打光处理，从而可以营造出该环境图像对应环境下的打光效果，得到该环境下的拍摄对象的合成图像。
[0010]由于在摄像头前增设了带有不用色彩渐变的偏振镜片，增加了外部输入的不同的颜色梯度信息，根据该不同的颜色梯度信息，从而可以提高后续融合出的拍摄对象的打光效果，使其融合的比较真实。并且，由于是在硬件上进行了改变，所以内部算法相对现有技术来说比较简单，处理效率可以得到提升。
[0011]结合第一方面，在第一方面的某些实现方式中，对多帧所述第一偏振图像进行背景置黑处理，得到多帧第三偏振图像，包括：针对每帧所述第一偏振图像，利用分割模型对拍摄对象区域和背景区域进行分割，确定所述第一偏振图像对应的初始掩膜图像，所述初始掩膜图像用于对所述拍摄对象区域和所述背景区域进行区分，所述拍摄对象区域指的是所述拍摄对象在所述第一偏振图像中占据的区域，所述背景区域指的是所述第一偏振图像中除了所述拍摄对象区域之外的其他区域；根据多帧所述初始掩膜图像，确定多个所述拍摄对象区域的并集，并根据所述并集确定目标掩膜图像，所述目标掩膜图像用于对所述并集和剩余背景区域进行区分，所述剩余背景区域为所述目标掩膜图像中除了所述并集之外的其他区域；根据所述目标掩膜图像中的所述剩余背景区域，将每帧所述第一偏振图像中相同区域置黑，得到对应的所述第三偏振图像。
[0012]拍摄对象为人像时，可称拍摄对象区域为人像区域。
[0013]在该实现方式中，本申请可以先对多个人像区域进行处理，确定多个人像区域的并集，也即确定人像所占据的最大范围区域，从而在后续进行拟合时，可以对完整的人像进行拟合，提高完整性，并且，还可以对人像周围相邻的部分环境也进行拟合，使得人像在环境中的融入更加自然、真实。
[0014]结合第一方面，在第一方面的某些实现方式中，对多帧所述第三偏振图像进行拟合，得到一组单灯图像，包括：利用OLAT拟合网络对多帧所述第三偏振图像进行拟合，得到一组单灯图像，所述OLAT拟合网络基于Unet网络模型训练而成。
[0015]应理解，由于生成第三偏振图像的第一偏振图像，是由贴附有不同颜色渐变的偏振镜片的摄像头采集的，第三偏振图像中的人像上，滤除了一些强烈反射的偏振光，从而可以更加简单的进行拟合运算，提高了处理效率。又因为第三偏振图像中的人像上增加了外部输入的不同的颜色梯度信息，由此，根据该不同的颜色梯度信息，可以利用OLAT拟合网络快速、简单的推理出每个方向上光源单独照射人像时的光影情况，进而可以增强后续融合出的人像的色彩效果。此处，颜色越多、颜色梯度层次越丰富，拟合时，颜色梯度信息与单灯的映射能力越强。
[0016]结合第一方面，在第一方面的某些实现方式中，根据目标环境图像，对一组所述单灯图像进行重打光处理，得到目标拍摄图像，包括：将所述目标环境图像划分成多个局部图像块，所述局部图像块的数量与一组所述
单灯图像的数量相同，所述局部图像块与所述单灯图像一一对应；根据每个所述局部图像块的像素值，确定对应的所述单灯图像的三基色权重系数；根据所有所述单灯图像和各自对应的三基色权重系数，确定合成图像，所述合成图像包括所述拍摄对象；根据所述目标环境图像和所述合成图像，得到所述目标拍摄图像。
[0017]在该实现方式中，由于在合成过程中，根据目标环境图像中的光照情况，对人像上的光照情况重新进行了合成，因此，该人像的光照情况更符合该环境，从而使得得到的目标拍摄图像中人像和背景环境的过渡更自然，融入的更真实。
[0018]结合第一方面，在第一方面的某些实现方式中，所述方法还包括：对多帧所述第一偏振图像进行对齐处理，得到多帧第二偏振图像，所述多帧第二偏振图像的尺寸相同、包括的拍摄对象尺寸相同，以及所述拍摄对象在所述第二偏振图像中的位置相同；对多帧所述第一偏振图像进行背景置黑处理，得到多帧第三偏振图像，包括：对多帧所述第二偏振图像进行背景置黑处理，得到多帧所述第三偏振图像，其中，所述第二偏振图像为所述第一偏振图像。
[0019]在该实现方式中，由于多帧第一偏振图像对应的视场角范围不同，同一人像或预设拍摄对象在多帧第一偏振图像中的位置、占比也不同，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，应用于包括多个摄像头的电子设备，至少两个摄像头远离所述电子设备的一侧设置有不同颜色渐变的偏振镜片；所述方法包括：显示第一界面，所述第一界面包括第一控件；检测到对所述第一控件的第一操作；响应于所述第一操作，采集多帧第一偏振图像，多帧所述第一偏振图像为设置有所述偏振镜片的至少两个摄像头获取的，多帧所述第一偏振图像包括同一拍摄对象；对多帧所述第一偏振图像进行背景置黑处理，得到多帧第三偏振图像；对多帧所述第三偏振图像进行拟合，得到一组单灯图像，所述单灯图像指的是仅在一个方向上利用光源对所述拍摄对象进行照射的图像，每帧所述单灯图像所指示的光源的照射方向不同，所述单灯图像的帧数大于所述第三偏振图像的帧数；根据目标环境图像，对一组所述单灯图像进行重打光处理，得到目标拍摄图像，所述目标拍摄图像中所述拍摄对象的光照情况与所述目标环境图像的光照情况相同。2.根据权利要求1所述的方法，其特征在于，对多帧所述第一偏振图像进行背景置黑处理，得到多帧第三偏振图像，包括：针对每帧所述第一偏振图像，利用分割模型对拍摄对象区域和背景区域进行分割，确定所述第一偏振图像对应的初始掩膜图像，所述初始掩膜图像用于对所述拍摄对象区域和所述背景区域进行区分，所述拍摄对象区域指的是所述拍摄对象在所述第一偏振图像中占据的区域，所述背景区域指的是所述第一偏振图像中除了所述拍摄对象区域之外的其他区域；根据多帧所述初始掩膜图像，确定多个所述拍摄对象区域的并集，并根据所述并集确定目标掩膜图像，所述目标掩膜图像用于对所述并集和剩余背景区域进行区分，所述剩余背景区域为所述目标掩膜图像中除了所述并集之外的其他区域；根据所述目标掩膜图像中的所述剩余背景区域，将每帧所述第一偏振图像中相同区域置黑，得到对应的所述第三偏振图像。3.根据权利要求1或2所述的方法，其特征在于，对多帧所述第三偏振图像进行拟合，得到一组单灯图像，包括：利用OLAT拟合网络对多帧所述第三偏振图像进行拟合，得到一组单灯图像，所述OLAT拟合网络基于Unet网络模型训练而成。4.根据权利要求3所述的方法，其特征在于，根据目标环...

【专利技术属性】
技术研发人员：蔡子轩，李宗原，姚华升，
申请(专利权)人：荣耀终端有限公司，
类型：发明
国别省市：