一种屏下图像处理方法、装置、设备及存储介质制造方法及图纸

本申请实施例公开了一种屏下图像处理方法、装置、设备及存储介质，该方法包括：获取拍摄设备的第一屏下摄像头在不同曝光时间下采集的第一图像，以及第二屏下摄像头采集的第二图像；基于所述第一图像和所述第二图像，得到目标图像。这样，针对屏幕对不同波段光信号的透过率差异大的特点，在屏幕下方设置吸收两种不同波段光信号的屏下摄像头，利用第二屏下摄像头采集的图像信息弥补第一屏下摄像头丢失的图像信息，有效提高屏下摄像头的拍摄质量。有效提高屏下摄像头的拍摄质量。有效提高屏下摄像头的拍摄质量。

【技术实现步骤摘要】
一种屏下图像处理方法、装置、设备及存储介质


[0001]本申请涉及图像处理技术，尤其涉及一种屏下图像处理方法、装置、设备及存储介质。

技术介绍

[0002]屏下摄像头，即将普通摄像头隐藏于屏幕下方，摄像头可以透过上方屏幕进行拍摄，光线受到屏幕显示区域的阳极遮挡，到达摄像头的光线非常匮乏，使得传统的光线传播特性变得更加复杂。普通挖孔前摄的光线透过率在RGB不同通道表现均衡，不同波段的透过率非常接近，平均透过率高于90％。屏下透过率因屏幕设计不同差异较大，不同波段的透过率从10％～50％不等。因此屏下摄像头获取到的光线本身已有非常多损失。
[0003]屏下摄像头成像可以看做是光线透过狭缝阵列成像，光线透过狭缝成像会发生光的衍射，不同形态的狭缝阵列(不同大小、缝宽、组合)衍射光斑形状、扩散程度、能量峰值差异均不相同。使得屏下摄像头捕获到的画面具有不同程度的损失。通常表现为：画面雾化严重、光源普遍过曝、画面细节丢失和画面普遍偏色。因此，如何优化屏下摄像头的成像质量是屏下拍摄技术的发展亟待解决的问题。

技术实现思路

[0004]为解决上述技术问题，本申请实施例期望提供一种屏下图像处理方法、装置、设备及存储介质。
[0005]本申请的技术方案是这样实现的：
[0006]第一方面，提供了一种一屏下图像处理方法，包括：
[0007]获取拍摄设备的第一屏下摄像头在不同曝光时间下采集的第一图像，以及第二屏下摄像头采集的第二图像；
[0008]基于所述第一图像和所述第二图像，得到目标图像；
[0009]其中，所述第一屏下摄像头和所述第二屏下摄像头位于所述拍摄设备的屏幕下方，所述第一屏下摄像头用于感应第一波段范围的光信号，所述第二屏下摄像头用于感应第二波段范围的光信号，所述第一波段范围小于所述第二波段范围。
[0010]第二方面，提供了一种屏下图像处理装置，包括：
[0011]获取装模块配置成：获取拍摄设备的第一屏下摄像头在不同曝光参数下采集的至少两帧第一图像，以及第二屏下摄像头采集的第二图像；
[0012]图像处理模块配置成：基于所述至少两帧第一图像和所述第二图像，得到目标图像；
[0013]其中，所述第一屏下摄像头和所述第二屏下摄像头位于所述拍摄设备的屏幕下方，所述第一屏下摄像头用于感应第一波段范围的光信号，所述第二屏下摄像头用于感应第二波段范围的光信号，所述第一波段范围小于所述第二波段范围。
[0014]第三方面，提供了一种终端设备，包括：处理器和配置为存储能够在处理器上运行
的计算机程序的存储器，
[0015]其中，所述处理器配置为运行所述计算机程序时，执行前述方法的步骤。
[0016]第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，其中，该计算机程序被处理器执行时实现前述方法的步骤。
[0017]本申请实施例中提供了一种屏下图像处理方法、装置、设备及存储介质，该方法包括：获取拍摄设备的第一屏下摄像头在不同曝光时间下采集的第一图像，以及第二屏下摄像头采集的第二图像；基于所述第一图像和所述第二图像，得到目标图像。这样，针对屏幕对不同波段光信号的透过率差异大的特点，在屏幕下方设置吸收两种不同波段光信号的屏下摄像头，利用第二屏下摄像头采集的图像信息弥补第一屏下摄像头丢失的图像信息，有效提高屏下摄像头的拍摄质量。
附图说明
[0018]图1为屏幕的阳极分布示意图；
[0019]图2为光线衍射示意图；
[0020]图3为狭缝的缝宽对衍射条纹影响的示意图；
[0021]图4为屏上摄像头拍摄到的图像示意图；
[0022]图5为屏下摄像头拍摄到的图像示意图；
[0023]图6为本申请实施例中屏下图像处理方法的第一流程示意图；
[0024]图7为本申请实施例中拍摄设备的组成结构示意图；
[0025]图8为本申请实施例中屏下图像处理方法的第二流程示意图；
[0026]图9为本申请实施例中HDR融合流程示意图；
[0027]图10为本申请实施中拉普拉斯金字塔融合流程示意图；
[0028]图11为本申请实施例中网络训练方法的流程示意图；
[0029]图12为本申请实施例中成像原理示意图；
[0030]图13为本申请实施例中屏幕退化原理示意图；
[0031]图14为本申请实施例中屏下图像处理方法的第三流程示意图
[0032]图15为本申请实施例中屏下图像处理装置的组成结构示意图；
[0033]图16为本申请实施例中终端设备的组成结构示意图。
具体实施方式
[0034]为了能够更加详尽地了解本申请实施例的特点与
技术实现思路
，下面结合附图对本申请实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本申请实施例。
[0035]屏下摄像头(Under Panel Camera，UPC)，即将普通摄像头隐藏于屏幕下方，摄像头可以透过上方屏幕进行拍摄，光线受到屏幕显示区域的阳极遮挡，到达摄像头的光线非常匮乏，使得传统的光线传播特性变得更加复杂。普通挖孔摄像头(可以称为“屏上摄像头”)的光线透过率在RGB不同通道表现均衡，不同波段的透过率非常接近，平均透过率高于90％。透过率因屏幕设计不同差异较大，不同波段的透过率从10％～50％不等。因此屏下摄像头获取到的光线本身已有非常多损失。示例性的，图1为屏幕的阳极分布示意图，如图1所示，左下角为透光区域，其他区域为正常显示区域，可以看出，为了增加屏下摄像头的透过
率，透光区域的阳极密度小于正常显示区域。
[0036]图2为光线衍射示意图，如图2所示，光源S经过圆孔H时在成像平面P上形成环形的衍射条纹。光源S经过单缝G时在成像平面P上形成平行的衍射条纹。
[0037]图3为狭缝的缝宽对衍射条纹影响的示意图，如图3所示，当狭缝很宽时,缝宽远远大于光的波长，衍射现象极不明显，缝宽越小衍射现象越明显。
[0038]屏下摄像头成像可以看做是光线透过狭缝阵列成像，光线透过狭缝成像会发生光的衍射，不同形态的狭缝阵列(不同大小、缝宽、组合)衍射光斑形状、扩散程度、能量峰值差异均不相同。使得屏下摄像头捕获到的画面具有不同程度的损失。通常表现为：画面雾化严重、光源普遍过曝、画面细节丢失和画面普遍偏色。
[0039]示例性的，图4为屏上摄像头拍摄到的图像示意图，图5为屏下摄像头拍摄到的图像示意图。屏下摄像头透过屏幕所拍摄的照片及视频，较正常挖孔摄像头存在明显的光源衍射现象，为了解决这一问题本申请实施例提供了一种屏下图像处理方法，图6为本申请实施例中屏下图像处理方法的第一流程示意图，如图6所示，该方法具体可以包括：
[0040]步骤601：获取拍摄设备的第一屏下摄像头在不同曝光时间下采集的第一图像，以及第二屏下摄像头采集的第二图像；
[0041]其中，所述第一屏下摄像头和所述第二屏下摄像头位于所述拍摄设备的屏幕下方，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种屏下图像处理方法，其特征在于，所述方法包括：获取拍摄设备的第一屏下摄像头在不同曝光时间下采集的第一图像，以及第二屏下摄像头采集的第二图像；基于所述第一图像和所述第二图像，得到目标图像；其中，所述第一屏下摄像头和所述第二屏下摄像头位于所述拍摄设备的屏幕下方，所述第一屏下摄像头用于感应第一波段范围的光信号，所述第二屏下摄像头用于感应第二波段范围的光信号，所述第一波段范围小于所述第二波段范围。2.根据权利要求1所述的方法，其特征在于，所述基于所述第一图像和所述第二图像，得到目标图像，包括：将在不同曝光时间下采集的至少两帧第一图像进行第一融合处理，得到第一融合图像；基于第一修复网络对所述第一融合图像进行衍射修复，得到修复后的第一融合图像；基于第二修复网络对所述第二图像进行衍射修复，得到修复后的第二图像；对所述修复后的第一融合图像和所述修复后的第二图像进行第二融合处理，得到第二融合图像；基于所述第二融合图像得到所述目标图像。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：获取训练数据集；其中，所述训练数据集包括目标屏下摄像头对应的第一屏上图像数据和第一屏下图像数据，所述第一屏上图像数据和所述第一屏下图像数据相对应；基于所述训练数据集训练目标修复网络，得到经训练的目标修复网络；其中，所述目标屏下摄像头为所述第一屏下摄像头时，所述目标修复网络为所述第一修复网络；所述目标屏下摄像头为所述第二屏下摄像头时，所述目标修复网络为所述第二修复网络。4.根据权利要求3所述的方法，其特征在于，所述训练数据集包括生成数据集和采集数据集；所述获取训练数据集包括：所述目标屏下摄像头接收光线方向无屏幕时，获取所述目标屏下摄像头采集的第一屏上真实图像数据；基于所述目标屏下摄像头对应的屏幕退化模型对所述第一屏上真实图像数据进行处理，得到第一屏下模拟图像数据；利用所述第一屏上真实图像数据和所述第一屏下模拟图像数据组成第一数据对，得到所述生成数据集；所述目标屏下摄像头接收光线方向无屏幕时，获取所述目标屏下摄像头采集的第二屏上真实图像数据；所述目标屏下摄像头接收光线方向有屏幕时，获取所述目标屏下摄像头采集的第二屏下真实图像数据；利用所述第二屏上真实图像数据和所述第二屏下真实图像数据组成第二数据对，得到所述采集数据集。
5.根据权利要求4所述的方法，其特征在于，所述方法还包...

【专利技术属性】
技术研发人员：李海军，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：