处理由显示器后面的相机捕获的图像制造技术

一种方法，包括经由布置在电子设备的显示面板后面的相机通过显示面板的半透明像素区域捕获原始图像。原始图像包括一个或多个颜色分量。该方法还包括针对原始图像的多个像素区域确定一个或多个颜色分量中的每一个的点扩展函数(PSF)。该方法还包括，对于原始图像的多个像素区域，至少部分地基于其各自的PSF，执行原始图像的一个或多个颜色分量中的每一个的去卷积。因此，该方法包括基于原始图像的多个像素区域的一个或多个颜色分量的去卷积来生成与原始图像相对应的重构图像。成与原始图像相对应的重构图像。成与原始图像相对应的重构图像。

【技术实现步骤摘要】
【国外来华专利技术】处理由显示器后面的相机捕获的图像


[0001]本专利技术一般涉及电子显示器，更具体地，涉及处理由电子显示器后面的相机捕获的图像。

技术介绍

[0002]诸如有源矩阵液晶显示器(AMLCD)、有源矩阵有机发光显示器(AMOLED)和微型LED显示器的电子显示器通常是部署用于个人电子设备(例如，移动电话、平板电脑、智能手表等)的显示器类型。此类个人电子设备通常可包括前向相机，其可布置在显示器附近，且可由用户最常用于捕获自画像(例如，“自拍”)。
[0003]然而，随着前向相机系统的复杂性增加(例如，深度相机)，指定用于电子设备的显示的越来越多的区域可被交换以扩展指定用于相机系统的区域。这可能导致显示器的分辨率和可视区域降低。

技术实现思路

[0004][技术方案][0005]为了解决当前的不足，提供了一种方法，该方法包括通过布置在电子设备的显示面板后面的相机通过显示面板的半透明像素区域捕获原始图像。原始图像包含一个或多个颜色分量。该方法还包括对于原始图像的多个像素区域确定一个或多个颜色分量中的每一个的点扩展函数(PSF)。该方法还包括，对于原始图像的多个像素区域，至少部分地基于其各自的PSF，对原始图像的一个或多个颜色分量中的每一个进行去卷积。因此，该方法包括基于原始图像的多个像素区域的一个或多个颜色分量的去卷积来生成与原始图像相对应的重构图像。
[0006][有利效果][0007]所提供的方法和装置能够通过布置在电子设备的显示面板后面的相机经由半透明像素捕获原始图像，以重构原始图像，并增加电子设备的显示器的可视区域和分辨率。
附图说明
[0008]图1示出了示例性电子设备。
[0009]图2示出了当光路径通过电子设备的显示器的每个单独层时的光路径的图。
[0010]图3示出了像素阵列、RGB单元像素、alpha掩模单元像素和光掩模的图。
[0011]图4A示出了用于重构由布置在电子设备的显示器后面的相机捕获的图像的示例系统和工作流程图。
[0012]图4B示出了用于具体地重构由布置在电子设备的显示器后面的相机捕获的彩色图像的流程图。
[0013]图5A示出了参考坐标系，通过该参考坐标系可以基于该参考坐标系导出一个或多个点扩展函数(PSF)。
[0014]图5B示出了用于测量和存储电子设备的点扩展函数(PSF)的示例系统和工作流图。
[0015]图6示出了用于重构由布置在电子设备的显示器后面的相机捕获的图像的方法的流程图。
[0016]图7示出了示例计算机系统。
具体实施方式
[0017]本实施例旨在重构由布置在电子设备的显示器后面的相机捕获的图像。在特定实施例中，电子设备可以通过布置在电子设备的显示面板后面的相机，通过显示面板的半透明(或透明、部分透明等)区域捕获原始图像。在特定实施例中，原始图像可以包括多个颜色分量，更具体地，包括(R)红色分量、(G)绿色分量和(B)蓝色分量。在一些实现中，相机确定比特深度(bit depth)。在特定实施例中，原始图像可以包括比特深度N＝10，其包括各种颜色分量。在特定实施例中，比特深度的其他值是可能的(例如，N＝2、N＝8或N＝12等)。在特定实施例中，对于原始图像的多个像素区域，电子设备还可以确定每个颜色分量的点扩展函数(PSF)。在特定实施例中，电子设备可以通过从电子设备的存储器中选择分别对应于颜色分量数量的多个预测量的PSF来确定每个颜色分量的PSF。在特定实施例中，可以基于针对相机和显示面板执行的预定校准过程来预测量各个PSF。
[0018]在特定实施例中，电子设备然后可针对原始图像的像素区域的数量，基于其各自的PSF对原始图像的每个颜色分量进行去卷积。在特定实施例中，电子设备可以通过执行每个颜色分量的Richardson
‑
Lucy去卷积来执行每个颜色分量的去卷积。在特定实施例中，电子设备可以通过对每个颜色分量执行Tikhonov正则化逆滤波器(Tikhonov regularized inverse filter deconvolution)去卷积来执行每个颜色分量的去卷积。在特定实施例中，电子设备然后可以基于原始图像的像素区域的数量的颜色分量的数量的去卷积来生成与原始图像相对应的重构图像。在特定实施例中，电子设备可以通过去除原始图像的模糊效应来生成与原始图像相对应的重构图像。在特定实施例中，电子设备还可以通过对原始图像的像素区域的数量的每个颜色分量进行颜色校正来生成与原始图像相对应的重构图像。
[0019]专利技术方式
[0020]为了促进对本专利技术的原理的理解，现在将参考附图中所示的实施例，并且将使用特定语言来对其进行描述。然而，应理解的是，因此无意对本专利技术的范围进行限制，所示系统中的此类变更和进一步修改，以及本专利技术所述的本专利技术的原则的进一步应用，如本专利技术所涉及的
的技术人员通常会想到的那样，正在被考虑。除非另有定义，否则本文中使用的所有技术和科学术语具有与本专利技术所属领域的普通技术人员通常理解的相同含义。本文提供的系统、方法和示例仅是说明性的，并不旨在限制。
[0021]本文中使用的术语“一些”被定义为“无、或一个、或多个、或全部”。因此，术语“无”、“一个”、“多个”、“多个但不是全部”或“全部”都属于“一些”的定义。术语“一些实施例”可以不参考任何实施例，也可以参考一个实施例、多个实施例或所有实施例。因此，术语“一些实施例”被定义为意味着“没有实施例、或一个实施例、或多个实施例、或所有实施例”[0022]本文使用的术语和结构用于描述、教导和说明一些实施例及其特定特征和元素，而不限制、约束或缩小权利要求或其等效物的范围。
[0023]更具体地，本文中使用的任何术语，诸如但不限于“包括”、“包含”、“具有”、“由
……
构成”及其语法变体，均未规定确切的限制或约束，当然也不排除可能添加一个或多个特征或元素，除非另有说明，此外，不得排除可能移除一个或多个列出的特征和元素，除非另有限制性语言“必须包含”或“需要包括”。
[0024]无论某一特征或元素是否被限制为仅使用一次，无论如何，它仍然可以被称为“一个或多个特征”或“一个或多个元素”或“至少一个特征”或“至少一个元素”。此外，术语“一个或多个”特征或元素或“至少一个”特征或元素的使用不排除不存在该特征或元素，除非限制语言另有规定，诸如“需要一个或多个
…”
或“需要一个或多个元素”[0025]除非另有定义，否则本文中使用的所有术语，尤其是任何技术和/或科学术语，可被视为具有本领域普通技术人员通常理解的含义。
[0026]这里参考一些“实施例”。应当理解，实施例是所附权利要求中呈现的任何特征和/或元素的可能实现的示例。为了阐明所附权利要求的特定特征和/或元素满足唯一性、实用性和非显而易见性要求的一种或多种潜在方式，已经描述了一些实施例。
[0027]短语和/或术语的使用，诸如但不限于“第一实施例”、“又一实施例”、本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括通过电子设备：经由布置在所述电子设备的显示面板后面的相机，通过所述显示面板的半透明像素区域捕获原始图像，其中所述原始图像包括一个或多个颜色分量；对于所述原始图像的多个像素区域中的每一个，确定所述一个或多个颜色分量中的每一个的相应像素区域的点扩展函数PSF；对于所述原始图像的所述多个像素区域，至少部分地基于其各自的PSF，执行所述原始图像的所述一个或多个颜色分量中的每一个的去卷积；以及基于所述原始图像的所述多个像素区域的所述一个或多个颜色分量的所述去卷积，生成与所述原始图像相对应的重构图像。2.根据权利要求1所述的方法，其中，所述一个或多个颜色分量包括：红色分量；绿色分量；以及蓝色分量。3.根据权利要求1所述的方法，其中，确定针对所述一个或多个颜色分量中的每一个的所述相应像素区域的PSF包括从所述电子设备的存储器中分别选择对应于所述一个或多个颜色分量的多个预测量的PSF。4.根据权利要求1所述的方法，其中，至少部分地基于关于所述相机和所述显示面板执行的预定校准过程来预测量所述各个PSF。5.根据权利要求1所述的方法，其中，对于所述原始图像的所述多个像素区域，执行所述一个或多个颜色分量中的每一个的所述去卷积包括执行所述一个或多个颜色分量中的每一个的Richardson
‑
Lucy去卷积。6.根据权利要求1所述的方法，其中，对于所述原始图像的所述多个像素区域，执行所述一个或多个颜色分量中的每一个的所述去卷积包括执行所述一个或多个颜色分量中的每一个的Tikhonov正则化逆滤波器去卷积。7.根据权利要求1所述的方法，其中，生成与所述原始图像相对应的所述重构图像包括移除所述原始图像的模糊效应。8.根据权利要求1所述的方法，其中，生成与所述原始图像相对应的所述重构图像包括执行所述原始图像的所述多个像素区域的所述一个或多个颜色分量中的每一个的颜色校正。9.一种电子设备，包括：显示面板；相机，布置在所述显示面板后面；一个或多个非暂时性计算机可读存储介质，包括指令；以及一个或多个处理器，耦合到所述存储介质和所述相机，所述一个或多个处理器被配置为执行指令以：经由所述相机通过所述显示面板的半透明像素区域捕获原...

【专利技术属性】
技术研发人员：刘长庚，ER波斯特，S萨迪，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：