用于生成HDR图像的成像系统及其操作方法技术方案

一种用于生成高动态范围(HDR)图像的成像系统包括：像素阵列，包括第一像素和第二像素；驱动电路，被配置为基于第一曝光时间控制第一像素以及基于第二曝光控制第二像素时间；输出电路，被配置为从像素阵列输出第一像素的第一像素值和第二像素的第二像素值；以及处理设备，被配置为基于第一拜耳图像和第二拜耳图像生成HDR图像，其中第一拜耳图像基于第一像素值生成，并且第二拜耳图像基于第二像素值和第一拜耳图像的第三像素值生成。第一像素的像素数量可以大于第二像素的像素数量。

【技术实现步骤摘要】
用于生成HDR图像的成像系统及其操作方法相关申请的交叉引用本申请要求2019年1月18日在韩国知识产权局提交的第10-2019-0006857号韩国专利申请的优先权，其公开内容通过引用整体合并于此。
本文描述的专利技术构思的示例实施例涉及成像系统，更具体地，涉及用于生成高动态范围(HDR)图像的成像系统及其操作方法。
技术介绍
成像系统是被配置为将从相机捕获的图像提供给用户的系统。成像系统可以包括相机，从而成像系统可以捕获图像并将捕获的图像提供给用户。成像系统可以实现在包括智能电话在内的各种电子设备中。为了向用户提供高质量图像，成像系统可以增加(例如，使其变好、改善等)图像的动态范围。动态范围是指能够在图像中表现从暗部到亮部的照射的范围。动态范围得到改善的图像称为“HDR图像”。成像系统可以通过捕获并组合对应于不同曝光时间的图像以生成单个图像，来生成HDR图像。然而，在物体移动的同时捕获物体的对应于不同曝光时间的图像的情况下，在得到的HDR图像中可能出现伪像。在一些示例实施例中，在生成物体的HDR图像的过程中，物体的图像的分辨率可能降低。
技术实现思路
本专利技术构思的一些示例实施例提供了可以生成HDR图像的成像系统及其操作方法，其中即使所生成的HDR图像中的物体处于运动中也可减少或最小化伪像。本专利技术构思的一些示例实施例提供了可以生成具有高分辨率的HDR图像的成像系统及其操作方法。根据一些示例实施例，一种成像系统可以包括：像素阵列，包括多个第一像素和多个第二像素；驱动电路系统，被配置为基于第一曝光时间控制多个第一像素并基于第二曝光时间控制多个第二像素；输出电路系统，被配置为从像素阵列输出多个第一像素的第一像素值和多个第二像素的第二像素值；以及处理电路系统，被配置为基于第一拜耳图像和第二拜耳图像生成高动态范围(HDR)图像。第一拜耳图像可以基于第一像素值生成。第二拜耳图像可以基于第二像素值和第一拜耳图像的第三像素值生成。第一像素的像素数量可以大于第二像素的像素数量。根据一些示例实施例，一种成像系统可以包括图像传感器，该图像传感器包括多个第一像素和多个第二像素。图像传感器可以被配置为基于在第一曝光时间期间受到控制的多个第一像素和在第二曝光时间期间受到控制的多个第二像素来生成与图像的一帧相关联的图像数据。图像数据可以包括多个第一像素的第一像素值和多个第二像素的第二像素值。该成像系统可以包括图像信号处理电路系统，被配置为基于第一拜耳图像和第二拜耳图像生成HDR图像。第一拜耳图像可以基于第一像素值生成。第二拜耳图像可以基于第二像素值和第一拜耳图像的第三像素值两者生成。第一像素的像素数量可以大于第二像素的像素数量。根据一些示例实施例，提出了一种成像系统的操作方法，该成像系统包括图像传感器，图像传感器包括多个第一像素和多个第二像素，该操作方法可以包括：基于在第一曝光时间期间受到控制的多个第一像素和在第二曝光时间期间受到控制的多个第二像素生成与图像的一帧相关联的图像数据，图像数据包括多个第一像素的第一像素值和多个第二像素的第二像素值像素；基于图像数据中的第一像素的第一像素值生成第一拜耳图像；基于图像数据中的第二像素的第二像素值和第一拜耳图像的第三像素值生成第二拜耳图像；以及基于第一拜耳图像和第二拜耳图像生成HDR图像。第一像素的像素数量可以大于第二像素的像素数量。附图说明通过参考附图详细描述本专利技术构思的一些示例实施例，本专利技术构思的上述和其他目的和特征将变得清楚。图1是示出根据本专利技术构思的一些示例实施例的成像系统的框图。图2是详细示出图1的成像系统的框图。图3A、3B和3C是示出根据本专利技术构思的一些示例实施例的示例滤色器阵列图案的图。图4A、4B和4C示出了根据本专利技术构思的一些示例实施例的示例曝光图案。图5A和5B示出了根据本专利技术构思的一些示例实施例的图2的成像系统基于曝光时间控制像素的示例。图6是示出图2的处理设备的一个示例的框图。图7是示出根据图6的处理设备的操作生成的示例图像的图。图8是示出图2的处理设备的一个示例的框图。图9是示出根据图8的处理设备的操作生成的示例图像的图。图10是示出图6的处理设备生成HDR图像的操作的流程图。图11是示出图6的第二拜耳图像生成模块的示例附加操作的框图。图12是示出图6的处理设备生成第二拜耳图像的操作的流程图。图13是示出图2的成像系统的示例操作的流程图。图14是示出应用根据本专利技术构思的一些示例实施例的成像系统的一个示例的框图。图15是示出应用根据本专利技术构思的一些示例实施例的成像系统的示例的框图。具体实施方式下面，可以详细且清楚地描述本专利技术构思的实施例，使得本领域普通技术人员容易实现本专利技术构思。图1是示出根据本专利技术构思的一些示例实施例的成像系统1000的框图。成像系统1000可以实现在各种电子设备或电子电路上。例如，成像系统1000可以以台式计算机、膝上型计算机、平板计算机、智能手机、可穿戴设备、电动车辆、集成电路(IC)、片上系统(SoC)、数字信号处理器(DSP)等实现。然而，本专利技术构思不限于此。例如，成像系统1000可以以捕获并处理图像的任何类型设备或电路来实现。参考图1，成像系统1000可以包括图像感测设备100、处理设备200和控制器300。图像感测设备100、处理设备200和控制器300可以集成在一个芯片中和/或以一个芯片实现，或者可以分别以单独的芯片实现。图像感测设备100可包括镜头110和图像传感器120。镜头110可接收从特定帧中存在的物体反射的光信号LS。镜头110可以将接收的光信号LS提供给图像传感器120。图像传感器120可以基于光信号LS输出图像数据IDAT。图像传感器120可包括多个像素。光信号LS可以通过像素转换为电信号。图像数据IDAT可以是基于从光信号LS转换而来的电信号的数字信号。图像数据IDAT可以包括图像信息，图像信息包括但不限于特定帧的亮度信息和颜色信息。可以将图像数据IDAT提供给处理设备200。此外，可以将图像数据IDAT提供给控制器300。处理设备200可以处理图像数据IDAT以生成HDR图像HDAT。HDR图像HDAT的分辨率可以与图像传感器120的分辨率相同。于是，处理设备200可以生成高分辨率的HDR图像。之后，HDR图像HDAT可以进行后处理，然后可以通过显示设备提供给用户。例如，可以对HDR图像HDAT执行镜头阴影校正、白平衡校正、降噪、锐化、伽马校正、颜色转换等。上述后处理操作可以由处理设备200执行，或者可以由单独的处理设备执行。处理设备200(也可以称为“处理电路系统”)可以包括处理电路系统(例如，包括逻辑电路的硬件)、硬件/软件组合(例如，执行软件的处理器)或其组合。例如，处理电路系统更具体地可以包括但不限于中央处理单元(CPU)、算术逻辑单元(ALU)、数字信号处理器、微计算机、现场可编本文档来自技高网...

【技术保护点】
1.一种成像系统，包括：/n像素阵列，包括多个第一像素和多个第二像素；/n驱动电路系统，被配置为：/n基于第一曝光时间控制所述多个第一像素，以及/n基于第二曝光时间控制所述多个第二像素；/n输出电路系统，被配置为从所述像素阵列输出所述多个第一像素的第一像素值和所述多个第二像素的第二像素值；以及/n处理电路系统，被配置为基于第一拜耳图像和第二拜耳图像生成高动态范围图像，所述第一拜耳图像基于所述第一像素值生成，所述第二拜耳图像基于第二像素值和所述第一拜耳图像的第三像素值两者生成，/n其中所述多个第一像素的像素数量大于所述多个第二像素的像素数量。/n

【技术特征摘要】
20190118 KR 10-2019-00068571.一种成像系统，包括：
像素阵列，包括多个第一像素和多个第二像素；
驱动电路系统，被配置为：
基于第一曝光时间控制所述多个第一像素，以及
基于第二曝光时间控制所述多个第二像素；
输出电路系统，被配置为从所述像素阵列输出所述多个第一像素的第一像素值和所述多个第二像素的第二像素值；以及
处理电路系统，被配置为基于第一拜耳图像和第二拜耳图像生成高动态范围图像，所述第一拜耳图像基于所述第一像素值生成，所述第二拜耳图像基于第二像素值和所述第一拜耳图像的第三像素值两者生成，
其中所述多个第一像素的像素数量大于所述多个第二像素的像素数量。


2.根据权利要求1所述的成像系统，其中所述处理电路系统被配置为：
基于与所述像素阵列相关联的曝光时间信息，分离所述第一像素值和所述第二像素值以分别建立分离的第一像素值和分离的第二像素值，
基于分离的第一像素值生成所述第一拜耳图像，以及
基于分离的第二像素值和所述第一拜耳图像的所述第三像素值生成所述第二拜耳图像。


3.根据权利要求2所述的成像系统，其中所述处理电路系统被配置为基于以下生成所述第一拜耳图像：
基于分离的第一像素值对像素值进行插值以生成插值图像，以及
将所述插值图像转换为拜耳图案。


4.根据权利要求2所述的成像系统，其中所述处理电路系统还被配置为：
基于所述第一像素值和所述第二像素值估计物体的运动信息，以及
基于估计的运动信息确定所述第三像素值的权重以生成所述第二拜耳图像。


5.根据权利要求2所述的成像系统，其中所述处理电路系统还被配置为：响应于确定在所述第一拜耳图像中存在包括一个或多个饱和像素的饱和区域，基于所述第三像素值中排除了所述一个或多个饱和像素的像素值之外的其余像素值生成所述第二拜耳图像的像素值。


6.根据权利要求1所述的成像系统，还包括：
控制器电路系统，被配置为：
将所述多个第一像素的曝光时间确定为所述第一曝光时间，以及
将所述多个第二像素的曝光时间确定为所述第二曝光时间。


7.根据权利要求6所述的成像系统，其中所述控制器电路系统被配置为基于从所述输出电路系统输出的像素值来确定所述多个第一像素的曝光时间和所述多个第二像素的曝光时间。


8.根据权利要求1所述的成像系统，还包括：
滤色器阵列，包括位于所述像素阵列上方的多个滤色器，
其中所述多个滤色器中的至少两个相邻的滤色器被配置为选择性地透射具有相同颜色的光，所述颜色是红色、绿色或蓝色中的一种。


9.根据权利要求1所述的成像系统，其中所述第一像素值和所述第二像素值是从由所述像素阵列生成的图像的共同帧获得的。


10.根据权利要求1所述的成像系统，其中所述第一拜耳图像的分辨率和所述第二拜耳图像的分辨率与所述像素阵列的像素总数相同。


11.根据权利要求1所述的成像系统，其中所述第一曝光时间长于所述第二曝光时间。

【专利技术属性】
技术研发人员：姜熙，宋容准，张璨煐，宣玟圭，郑正勋，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国;KR