【技术实现步骤摘要】
【国外来华专利技术】
本公开总体上涉及电子装置中的图像处理，并且更具体地涉及一种用于利用智能多帧融合和人工智能(ai)图像恢复的屏下相机(udc)图像恢复的方法和系统。屏下相机(udc)系统的发展在诸如智能电话、电视(tv)、膝上型计算机、平板计算机等电子装置上提供了真正的无边框和无缺口的观看体验，同时允许从嵌入在下面的自拍相机捕获图像。由于显示面板阻挡udc中的相机镜头系统，udc图像遭受光的低透射、模糊、噪声、雾和闪光状劣化的影响。存在使用中的大量的各种各样的显示面板，并且考虑通过分析光学系统特性和显示面板的衍射模式估计的udc图像劣化是重要的。由于到udc的光的低透射，图像遭受噪声和亮度的影响。udc图像劣化的特性(例如，闪光、模糊、低光、雾等)取决于捕获场景、环境光和场景中存在的主光源。由于多种挑战，克服udc图像质量下降并实现udc图像恢复仍然难以达到；例如，图像具有低透光率以及衍射效应。此外，在塑料有机发光二极管(p-oled)中，尽管开口面积可以大至23％，但透光率仅为2.9％。由于当光在传播通过具有与光的波长相似的尺寸的障碍物时发生衍射，因此在确定衍射图案和点扩散函数(psf)时存在挑战。图1是针对屏下相机(udc)的不同显示面板的衍射特性的示图。衍射由于udc的底部金属层(bml)图案而发生。p-oled导致较低的snr并且具有色移问题。透明有机发光二极管(t-oled)的开口面积为21％，而对于p-oled，开口面积为23％。然而，t-oled的透射率为20％，而对于p-oled，透射率为2.9％。图2a和图2b是udc20a的示例psf和来自udc的示
技术介绍
技术实现思路
1、技术方案
2、提供了一种用于使用屏下相机(udc)来捕获媒体的方法和电子装置。
3、提供了一种用于利用智能多帧融合和人工智能(ai)图像恢复的屏下相机图像恢复的方法和电子装置。
4、提供了一种确定用于针对屏下图像恢复的多帧融合的帧的最佳数量(n)的方法和电子装置。
5、提供了一种通过分析显示面板的透射特性和光透射损耗来确定相机参数(例如，曝光、增益、颜色、色温等)的方法和电子装置。
6、提供了一种基于场景中存在的光源和对应的环境光条件来实现用于屏下相机图像恢复的动态管线选择的方法和电子装置。
7、提供了一种通过光源的定位并将相应的补偿局部应用于区域来补偿经由屏下相机捕获的图像的光扩散的方法和电子装置。
8、提供了一种用于估计显示面板特性和udc图像的劣化的方法和电子装置，以便定义帧的最佳数量、针对用于多帧融合的每个帧的相机参数、最佳管线选择和针对主光源的补偿。因此，所述方法可用于提供总体udc图像质量改善并改进用户体验。
9、提供了一种用于基于环境光条件和对由阻挡相机的显示面板引起的损耗的补偿来配置用于电子装置的udc和图像恢复的方法和电子装置。
10、另外的方面将部分地在下面的描述中阐述，并且部分地将从描述中显而易见，或者可通过实践所呈现的实施例来学习。
11、根据本公开的一个方面，一种电子装置可包括：udc和udc控制器，所述udc控制器被配置为进行以下操作：确定针对场景需要捕获的用于补偿至少一个参数以优化使用udc的输出媒体的帧的最佳数量，通过针对所确定的最佳数量的帧执行至少一个多帧融合来获得多帧融合媒体，针对多帧融合媒体执行光源扩散校正，以及基于针对所述多帧融合媒体的所述光源扩散校正来优化所述输出媒体。
12、所述udc控制器可被配置为通过以下操作来确定所述帧的最佳数量：接收将使用所述udc捕获的所述场景的至少一个输入帧和元数据信息，测量所述场景的至少一个环境光参数，通过结合至少一个环境光参数分析至少一个输入帧来确定通过与所述udc相关联的显示面板的光透射损耗，识别与所述至少一个输入帧相关联的至少一个内相机参数和所述场景的类型，以及基于与所述至少一个输入帧相关联的所述至少一个内相机参数和所述场景的类型来确定针对所述场景需要捕获的用于补偿所述光透射损耗和所述至少一个环境光参数的帧的最佳数量。
13、所述至少一个内相机参数可包括曝光时间、增益、颜色、色温和聚焦区域中的至少一个，并且所述场景的类型可包括室内环境、室外环境、混合照明条件、明亮日光和低光条件中的至少一个。
14、所述udc控制器可被配置为进行以下操作：确定与用于捕获所述最佳数量的帧中的每个帧的所述udc相关联的至少一个显示面板特性，将所测量的光透射损耗、所述至少一个环境光参数和所述显示面板特性应用于捕获所述最佳数量的帧中的每个帧；以及通过应用所测量的光透射损耗、所述至少一个环境光参数和所述至少一个显示面板特性来自动修改所述udc的至少一个媒体捕获设置。
15、所述udc控制器可被配置为通过以下操作来确定与所述udc相关联的所述至少一个显示面板特性：获得与所述至少一个输入帧相关联的至少一个内相机参数，以及基于所述至少一个内相机参数来确定与所述udc相关联的所述至少一个显示面板特性。
16、所述至少一个显示面板特性可包括显示面板的衍射图案、点扩散函数和显示面板的调制传递函数(mtf)。
17、所述udc控制器可被配置为通过以下操作来确定所述光透射损耗：分析来自udc的至少一个预览帧，并且基于针对所述至少一个预览帧的分析来估计显示面板的光透射损耗。
18、所述udc控制器还可被配置为通过以下操作来获得多帧融合媒体：确定场景中是否存在主光源；执行以下操作中的至少一个：在确定场景中存在主光源时，分析场景以确定将利用具有多个曝光值的至少一个输入帧形成的多帧融合媒体，或者在确定场景中不存在主光源时，分析场景以确定将利用具有相同曝光值的至少一个输入帧形成的多帧融合媒体，使用人工智能(ai)模型针对多帧融合媒体估计衍射模型，以及使用估计的衍射模型执行反演操作以补偿多帧融合媒体中的衍射损耗。
19、所述衍射模型可基于显示面板的透射特性和光透射损耗针对多帧融合媒体被估计。
20、所述udc控制器可被配置为通过以下操作针对多帧融合媒体执行光源扩散校正：分析多帧融合媒体以确定场景的类型并定位场景中的光源，针对场景中所定位的光源创建分割掩模，使用分割掩模对场景中的所定位的光源应用光扩散校正，以及基于所应用的光扩散校正来执行内容感知锐度改善以增强输出媒体。
21、光扩散校正可被使用ai模型应用于场景中的所定位的光源，并且ai模型本文档来自技高网...
【技术保护点】
1.一种电子装置，包括：
2.如权利要求1所述的电子装置，其中，所述UDC控制器还被配置为通过以下操作来确定所述帧的最佳数量：
3.如权利要求2所述的电子装置，其中，所述至少一个内相机参数包括曝光时间、增益、颜色、色温和聚焦区域中的至少一个，并且
4.如权利要求2所述的电子装置，其中，所述UDC控制器还被配置为进行以下操作：
5.如权利要求4所述的电子装置，其中，所述UDC控制器还被配置为通过以下操作来确定与所述UDC相关联的所述至少一个显示面板特性：
6.如权利要求4所述的电子装置，其中，所述至少一个显示面板特性包括所述显示面板的衍射图案、点扩散函数和所述显示面板的调制传递函数MTF。
7.如权利要求2所述的电子装置，其中，所述UDC控制器还被配置为通过以下操作来确定所述光透射损耗：
8.如权利要求1所述的电子装置，其中，所述UDC控制器还被配置为通过以下操作来获得所述多帧融合媒体：
9.如权利要求8所述的电子装置，其中，所述衍射模型基于显示面板的传输特性和光透射损耗针对所述多帧融合
10.如权利要求1所述的电子装置，其中，所述UDC控制器还被配置为通过以下操作针对所述多帧融合媒体执行所述光源扩散校正：
11.如权利要求10所述的电子装置，其中，所述光扩散校正被使用人工智能AI模型应用于所述场景中的所述定位的光源，并且
12.如权利要求1所述的电子装置，其中，所述至少一个参数包括以下项中的至少一个：与所述场景相关联的光透射损耗、与所述场景相关联的环境光参数、与所述UDC相关联的显示面板特性、与至少一个输入帧相关联的曝光时间、与所述至少一个输入帧相关联的增益、与所述至少一个输入帧和聚焦区域相关联的温度以及环境照明条件。
13.一种电子装置，包括：
14.一种用于使用电子装置中的屏下相机UDC来捕获媒体的方法，包括：
15.如权利要求14所述的方法，其中，由所述电子装置确定所述帧的最佳数量的步骤包括：
...【技术特征摘要】
【国外来华专利技术】
1.一种电子装置，包括：
2.如权利要求1所述的电子装置，其中，所述udc控制器还被配置为通过以下操作来确定所述帧的最佳数量：
3.如权利要求2所述的电子装置，其中，所述至少一个内相机参数包括曝光时间、增益、颜色、色温和聚焦区域中的至少一个，并且
4.如权利要求2所述的电子装置，其中，所述udc控制器还被配置为进行以下操作：
5.如权利要求4所述的电子装置，其中，所述udc控制器还被配置为通过以下操作来确定与所述udc相关联的所述至少一个显示面板特性：
6.如权利要求4所述的电子装置，其中，所述至少一个显示面板特性包括所述显示面板的衍射图案、点扩散函数和所述显示面板的调制传递函数mtf。
7.如权利要求2所述的电子装置，其中，所述udc控制器还被配置为通过以下操作来确定所述光透射损耗：
8.如权利要求1所述的电子装置，其中，所述udc控制器还被配置为通过以下操作来获得所述多帧融合媒体：
9.如权利...
【专利技术属性】
技术研发人员：阿洛克·善卡拉·舒克拉，曼诺杰·库马，萨克什·沙玛，崔佑存，都元俊，崔在成，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。