电子装置和用于驱动电子装置的方法制造方法及图纸

本公开中描述了一种电子装置和用于驱动电子装置的方法。所述方法可以包括：接收穿过显示面板的光；基于所述光生成图像信号；用补偿算法补偿所述图像信号以生成补偿图像信号，其中，所述补偿算法用包括第一比较图像和第二比较图像的训练数据训练；以及基于所述补偿图像信号在所述显示面板上显示补偿图像，其中，所述第一比较图像是目标恢复图像，并且所述第二比较图像是合成图像。二比较图像是合成图像。二比较图像是合成图像。

【技术实现步骤摘要】
电子装置和用于驱动电子装置的方法
[0001]相关申请的交叉引用
[0002]本申请要求于2021年5月27日在韩国知识产权局提交的第10
‑
2021
‑
0068447号韩国专利申请的优先权和权益，该韩国专利申请的公开内容通过引用全部包含于此。


[0003]本公开的实施例涉及一种能够补偿由相机捕获的图像的电子装置以及一种用于驱动电子装置的方法。

技术介绍

[0004]随着便携式电子装置广泛地传播，各种功能正在被提供在便携式电子装置中。用户可能更喜欢具有较大的显示区域和较小的非显示区域的电子装置。为了减小非显示区域的面积，已经开发了各种类型的电子装置。例如，为了扩大电子装置中的用于显示图像的区域，诸如相机模块的电子模块已经被放置在用于显示图像的区域中。

技术实现思路

[0005]本公开的实施例提供了一种用于补偿由定位在显示面板的显示区域下面的相机捕获的图像的电子装置以及一种包括用于电子装置的补偿方法的驱动方法。
[0006]根据一些实施例，描述了一种用于驱动电子装置的方法。所述方法可以包括：接收穿过显示面板的光；基于所述光生成图像信号；用补偿算法补偿所述图像信号以生成补偿图像信号，其中，用包括第一比较图像和第二比较图像的训练数据训练所述补偿算法；以及基于所述补偿图像信号在所述显示面板上显示补偿图像，其中，所述第一比较图像是目标恢复图像，并且所述第二比较图像是合成图像。
[0007]所述第二比较图像可以是再现由穿过所述显示面板的所述光生成的图像的模拟图像，其中，所述模拟图像通过将基于不穿过所述显示面板的光形成的处理图像与人工光源合成而生成。
[0008]所述第二比较图像可以是再现由穿过所述显示面板的所述光生成的图像的模拟图像，其中，所述模拟图像通过将基于不穿过所述显示面板的光形成的处理图像与基于穿过所述显示面板的所述光捕获的测量图像合成而生成。
[0009]所述训练数据可以通过以下步骤生成：获得第一图像；通过相对于所述第一图像执行预处理来生成第二图像；通过将人工光源添加到所述第二图像来生成第三图像；以及通过相对于所述第三图像执行裁剪处理和伽马处理来生成所述第一比较图像。
[0010]所述训练数据可以进一步通过以下步骤生成：通过相对于所述第三图像执行空变卷积运算来生成第四图像；通过将特性应用于所述第四图像来生成第五图像；以及通过相对于所述第五图像执行所述裁剪处理和所述伽马处理来生成所述第二比较图像。
[0011]所述第一图像可以是由不穿过所述显示面板的光生成的图像。
[0012]所述训练数据可以通过以下步骤生成：获得第一图像；通过相对于所述第一图像
执行预处理来生成第二图像；以及通过将所述第二图像与目标光源图像合成来生成所述第一比较图像。
[0013]所述训练数据可以进一步通过以下步骤生成：通过相对于所述第二图像执行空变卷积运算来生成第三图像；和通过将所述第三图像与第一测量图像合成来生成所述第二比较图像。
[0014]所述目标光源图像可以通过以下步骤生成：通过将所述第一测量图像二值化获得第二测量图像；估算所述第二测量图像的光源的位置、尺寸和形状；通过使用轮廓生成目标光源；以及基于所述目标光源生成所述目标光源图像。
[0015]所述第一图像可以是由不穿过所述显示面板的光生成的图像，其中，所述第一测量图像是基于穿过所述显示面板的所述光捕获的图像，并且，其中，所述第二比较图像是通过将通过处理所述第一图像获得的图像与所述第一测量图像合成而获得的合成图像。
[0016]可以通过训练方法训练所述补偿算法，所述训练方法包括：通过经由高动态范围(HDR)图像恢复神经网络恢复所述合成图像来生成第一HDR图像；和比较所述第一HDR图像和所述第一比较图像。
[0017]所述训练方法还可以包括：通过使用点扩散函数对所述第一HDR图像进行反卷积来生成第二HDR图像；通过相对于所述第二HDR图像执行第一裁剪处理和第一伽马处理来生成恢复的图像；以及比较所述恢复的图像与所述目标恢复图像，其中，所述目标恢复图像通过相对于所述第一比较图像执行第二裁剪处理和第二伽马处理而生成。
[0018]所述训练数据可以通过以下步骤生成：获得第一图像；通过相对于所述第一图像执行预处理来生成第二图像；以及通过将人工光源添加到所述第二图像来生成第三图像，其中，所述第一比较图像是目标HDR图像。
[0019]所述训练数据可以进一步通过以下步骤生成：通过相对于所述第三图像执行空变卷积运算来生成第四图像；通过将另一特性应用于所述第四图像来生成第五图像；以及通过相对于所述第五图像执行裁剪处理和伽马处理来生成所述第二比较图像。
[0020]可以通过训练方法训练所述补偿算法，所述训练方法包括：通过调整所述第二比较图像的曝光来生成多个比较图像；和通过将所述多个比较图像提供给图像恢复神经网络来生成恢复的图像。
[0021]所述训练数据可以通过以下步骤生成：获得第一图像；通过相对于所述第一图像执行预处理来生成第二图像；通过将人工光源添加到所述第二图像来生成第三图像；通过相对于所述第三图像执行空变卷积运算来生成第四图像；以及通过将一个或多个其它特性应用于所述第四图像来生成所述第二比较图像，其中，所述第二比较图像是合成HDR图像。
[0022]可以通过训练方法训练所述补偿算法，所述训练方法包括：通过对所述第二比较图像进行下采样来生成第一低分辨率图像；通过将所述第一低分辨率图像提供给低分辨率神经网络来生成第二低分辨率图像；基于所述第一低分辨率图像和所述第二低分辨率图像生成低分辨率引导滤波器；通过对所述低分辨率引导滤波器进行上采样来生成引导滤波器；以及生成通过使用所述引导滤波器恢复所述第二比较图像而获得的恢复的图像。
[0023]所述训练方法还可以包括：通过将所述第二比较图像提供给高分辨率预处理神经网络来生成高分辨率图像；使用所述引导滤波器计算所述高分辨率图像并将计算数据提供给融合神经网络；以及使用所述融合神经网络生成所述恢复的图像。
[0024]所述训练方法还可以包括：比较所述恢复的图像与所述第一比较图像。
[0025]根据其它实施例，一种电子装置可以包括：显示面板，包括具有第一透光率的第一显示区域和具有大于所述第一透光率的第二透光率的第二显示区域；相机模块，在所述显示面板下面并与所述第二显示区域重叠，并且输出图像信号；以及补偿器，配置为通过经由补偿算法补偿所述图像信号来生成补偿图像信号，其中，用包括第一比较图像和第二比较图像的训练数据训练所述补偿算法，其中，所述第一比较图像是目标恢复图像，并且，其中，所述第二比较图像是通过再现由穿过所述显示面板的光生成的图像而获得的合成图像。
[0026]所述第二比较图像可以是再现由穿过所述显示面板的所述光生成的图像的模拟图像，其中，所述模拟图像通过将基于不穿过所述显示面板的光形成的处理图像与人工光源合成而生成。
[0027]所述第二比较图像可以是再本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于驱动电子装置的方法，其中，所述方法包括：接收穿过显示面板的光；基于所述光生成图像信号；用补偿算法补偿所述图像信号以生成补偿图像信号，其中，用包括第一比较图像和第二比较图像的训练数据训练所述补偿算法；以及基于所述补偿图像信号在所述显示面板上显示补偿图像，其中，所述第一比较图像包括目标恢复图像，并且其中，所述第二比较图像包括合成图像。2.根据权利要求1所述的方法，其中，所述第二比较图像包括再现由穿过所述显示面板的所述光生成的图像的模拟图像，其中，所述模拟图像通过将基于不穿过所述显示面板的光形成的处理图像与人工光源合成而生成。3.根据权利要求1所述的方法，其中，所述第二比较图像包括再现由穿过所述显示面板的所述光生成的图像的模拟图像，其中，所述模拟图像通过将基于不穿过所述显示面板的光形成的处理图像与基于穿过所述显示面板的所述光捕获的测量图像合成而生成。4.根据权利要求1所述的方法，其中，所述训练数据通过以下步骤生成：获得第一图像；通过相对于所述第一图像执行预处理来生成第二图像；通过将人工光源添加到所述第二图像来生成第三图像；以及通过相对于所述第三图像执行裁剪处理和伽马处理来生成所述第一比较图像。5.根据权利要求4所述的方法，其中，所述训练数据进一步通过以下步骤生成：通过相对于所述第三图像执行空变卷积运算来生成第四图像；通过将特性应用于所述第四图像来生成第五图像；以及通过相对于所述第五图像执行所述裁剪处理和所述伽马处理来生成所述第二比较图像。6.根据权利要求5所述的方法，其中，所述第一图像包括由不穿过所述显示面板的光生成的图像。7.根据权利要求1所述的方法，其中，所述训练数据通过以下步骤生成：获得第一图像；通过相对于所述第一图像执行预处理来生成第二图像；以及通过将所述第二图像与目标光源图像合成来生成所述第一比较图像。8.根据权利要求7所述的方法，其中，所述训练数据进一步通过以下步骤生成：通过相对于所述第二图像执行空变卷积运算来生成第三图像；和通过将所述第三图像与第一测量图像合成来生成所述第二比较图像。9.根据权利要求8所述的方法，其中，所述目标光源图像通过以下步骤生成：通过将所述第一测量图像二值化获得第二测量图像；估算所述第二测量图像的光源的位置、尺寸和形状；通过使用轮廓生成目标光源；以及基于所述目标光源生成所述目标光源图像。
10.根据权利要求9所述的方法，其中，所述第一图像包括由不穿过所述显示面板的光生成的图像，其中，所述第一测量图像包括基于穿过所述显示面板的所述光捕获的图像，并且其中，所述第二比较图像包括通过将通过处理所述第一图像获得的图像与所述第一测量图像合成而获得的合成图像。11.根据权利要求1所述的方法，其中，通过训练方法训练所述补偿算法，所述训练方法包括：通过经由高动态范围图像恢复神经网络恢复所述合成图像来生成第一高动态范围图像；和比较所述第一高动态范围图像和所述第一比较图像。12.根据权利要求11所述的方法，其中，所述训练方法还包括：通过使用点扩散函数对所述第一高动态范围图像进行反卷积来生成第二高动态范围图像；通过相对于所述第二高动态范围图像执行第一裁剪处理和第一伽马处理来生成恢复的图像；以及比较所述恢复的图像与所述目标恢复图像，其中，所述目标恢复图像通过相对于所述第一比较图像执行第二裁剪处理和第二伽马处理而生成。13.根据权利要求12所述的方法，其中，所述训练数据通过以下步骤生成：获得第一图像；通过相对于所述第一图像执行预处理来生成第二图像；以及通过将人工光源添加到所述第二图像来生成第三图像，其中，所述第一比较图像包括目标高动态范围图像。14.根据权利要求13...

【专利技术属性】
技术研发人员：赵宰范，金大旭，白承仁，柳济元，李相九，赵亨旭，
申请(专利权)人：三星显示有限公司，
类型：发明
国别省市：