包括共享像素的成像设备及其操作方法技术

公开了一种成像设备的操作方法，该成像设备包括多个共享像素，所述多个共享像素共享浮置扩散节点，并且每个共享像素包括由微透镜覆盖的子像素。该方法涉及：从接收物体反射的光的多个共享像素来生成捕获图像；使用静态相位信息来补偿捕获图像，所述静态相位信息基于多个共享像素中的每一个的微透镜的未对准；基于对捕获图像的补偿来执行自动曝光控制；基于补偿后的捕获图像来执行自动聚焦控制；以及通过处理补偿后的捕获图像来生成输出图像。

【技术实现步骤摘要】
包括共享像素的成像设备及其操作方法相关申请的交叉引用本申请要求2020年1月23日向韩国知识产权局递交的韩国专利申请No.10-2020-0009399的权益，将其公开通过引用全部合并在此。
本公开总体上涉及一种成像设备，更具体地，涉及一种包括共享像素的成像设备及其操作方法。
技术介绍
获得图像并将其转换为电信号的成像设备已广泛用于诸如数码相机、移动电话的相机和便携式摄像机等各种消费电子产品，以及用于安装在汽车、安全设备、机器人等中的相机。这样的成像设备包括像素阵列，其中像素阵列中的每个像素可以包括感光元件。感光元件可以根据吸收的入射到其上的光的强度来生成电信号。已经提出了用于共享浮动扩散节点的包括多个子像素在内的共享像素的结构，以提高自动聚焦功能并增加成像设备的动态范围。提高这种共享像素成像设备的性能的研究在进行中。
技术实现思路
本专利技术构思的实施例提供了一种成像设备及其操作方法，能够生成高分辨率图像并同时执行提高的自动聚焦操作。根据本专利技术构思的方面，提供了一种成像设备的操作方法，所述成像设备包括多个共享像素，所述多个共享像素共享浮置扩散节点，并且每个共享像素包括由微透镜覆盖的子像素。在该方法中，从接收物体反射的光的多个共享像素，生成捕获图像。使用静态相位信息来补偿所述捕获图像，所述静态相位信息基于所述多个共享像素中的每一个的微透镜的未对准。基于对所述捕获图像的补偿来执行自动曝光控制。基于补偿后的捕获图像来执行自动聚焦控制；以及通过处理所述补偿后的捕获图像来生成输出图像。根据本专利技术构思的方面，提供了一种成像设备，包括像素阵列，所述像素阵列包括多个共享像素，所述多个共享像素共享浮置扩散节点，每个共享像素包括由微透镜覆盖的子像素，并且接收从物体反射的光。存储器存储基于所述多个共享像素中的每一个的微透镜的未对准的静态相位信息。处理电路被配置为使用所述静态相位信息来补偿从所述多个共享像素生成的捕获图像，并生成补偿后的捕获图像；以及控制器被配置为基于对所述捕获图像的补偿程度来执行自动曝光控制，并使用所述补偿后的捕获图像来执行自动聚焦控制。根据本专利技术构思的另一方面，提供了一种成像设备的操作方法，所述成像设备包括多个共享像素，所述多个共享像素共享浮置扩散节点，并且每个共享像素包括由一个微透镜覆盖的子像素，所述操作方法包括：从接收物体反射的光的所述多个共享像素来生成捕获图像；使用基于所述多个共享像素中的每一个的微透镜的未对准程度的静态相位信息来补偿所述捕获图像；以及基于操作模式来处理补偿后的捕获图像。附图说明根据以下结合附图进行的详细描述，将更清楚地理解本专利技术构思的实施例，在附图中：图1是示出根据本专利技术构思的实施例的成像设备的结构的示例的图，其中，成像设备执行自动聚焦功能和自动曝光功能；图2A是示出根据本专利技术构思的实施例的图像传感器的框图；图2B、图2C和图2D是示出共享像素的图；图3是示出根据本专利技术构思的实施例的生成静态相位信息的方法的图；图4是示出根据本专利技术构思的实施例的对捕获图像的补偿操作的流程图；图5是示出根据本专利技术构思的实施例的自动曝光控制和自动聚焦控制方法的流程图。图6A、图6B和图6C是示出根据本专利技术构思的实施例的像素阵列的实现示例的图；图7A、图7B和图7C是示出关于图8描述的视差的图；图8是示出根据本专利技术构思的实施例的在正常模式下的成像设备的操作方法的流程图；图9是示出根据本专利技术构思的实施例的在正常模式下的操作方法的成像设备的框图；图10A和图10B是示出在高动态范围(HDR)模式下与像素阵列有关的曝光时间的图；图11是示出根据本专利技术构思的实施例的在HDR模式下的成像设备的操作方法的流程图；图12是示出根据本专利技术构思的实施例的在HDR模式下的操作方法的成像设备的框图；图13是示出根据本专利技术构思的实施例的包括成像设备在内的系统的框图；以及图14是示出根据本专利技术构思的实施例的包括成像设备在内的电子设备的透视图。具体实施方式在下文中，将参照附图详细描述本专利技术构思的实施例。图1是示出根据本专利技术构思的实施例的成像设备1000的结构的示例的图，其中，成像设备1000执行自动聚焦功能和自动曝光功能。成像设备1000可以包括成像单元1100、图像传感器100和控制器1200。成像单元1100是接收光的组件，并且可以包括透镜1110、透镜驱动单元1120、光圈1130和光圈驱动单元1140。透镜1110可以包括多个透镜。图像传感器100可以将入射光转换成图像信号。图像传感器100可以包括像素阵列110、时序控制器120和信号处理单元130。穿过透镜1110和光圈1130的光信号可以到达像素阵列110的光接收表面以形成物体S的图像。控制器1200可以控制成像设备1000的整体操作。为此，控制器1200可以提供用于每个组件(例如透镜驱动单元1120、光圈驱动单元1140、定时控制器120等)的操作的控制信号。透镜驱动单元1120可以与控制器1200通信关于焦点检测的信息，并且可以根据从控制器1200提供的控制信号来调整透镜1110的位置。控制器1200可以生成关于焦点检测的信息，稍后将详细描述。透镜驱动单元1120可以在透镜1110到物体S的距离增加或减少的方向上移动透镜1110。因此，可以调整透镜1110与物体S之间的距离。物体S可以根据透镜1110的位置而被聚焦或模糊。例如，当透镜1110与物体S之间的距离相对近时，透镜1110的位置可能偏离用于聚焦物体S的对焦位置，并且在从图像传感器100生成的图像之间可能出现相位差。在这种情况下，透镜驱动单元1120可以基于从控制器1200提供的控制信号向内移动透镜1110以增加到物体S的距离。另一方面，当透镜1110与物体S之间的距离相对远时，透镜1110可能偏离对焦位置，并且在从图像传感器100生成的图像之间可能出现相位差。在这种情况下，透镜驱动单元1120可以基于从控制器1200提供的控制信号向外移动透镜1110以减小到物体S的距离。像素阵列110可以是将光信号转换成电信号的互补金属氧化物半导体图像传感器(CIS)。像素阵列110可以包括多个共享像素。共享像素共享浮置扩散节点，并且包括由一个微透镜覆盖的多个子像素。稍后关于图2B等给出共享像素的描述。可以由时序控制器120相对于共享像素来调整像素阵列110的曝光时间、灵敏度等。根据本专利技术构思的实施例，可以根据成像设备1000的操作模式来不同地控制与共享像素有关的曝光时间。例如，成像设备1000可以在正常模式或高动态范围(HDR)模式下操作，并且可以分别在这两种模式下不同地控制与共享像素的子像素有关的曝光时间。根据本专利技术构思的实施例的信号处理单元130可以包括静态相位补偿模块132。像素阵列110的共享像素各自具有其中由一个微透镜覆盖多个子像素的结构。在实际过程中，由于难以将微本文档来自技高网...

【技术保护点】
1.一种成像设备的操作方法，所述成像设备包括多个共享像素，所述多个共享像素共享浮置扩散节点，并且每个共享像素包括由微透镜覆盖的子像素，所述操作方法包括：/n从接收物体反射的光的所述多个共享像素，生成捕获图像；/n使用静态相位信息来补偿所述捕获图像，所述静态相位信息基于所述多个共享像素中的每一个的微透镜的未对准；/n基于对所述捕获图像的补偿来执行自动曝光控制；/n基于补偿后的捕获图像来执行自动聚焦控制；以及/n通过处理所述补偿后的捕获图像来生成输出图像。/n

【技术特征摘要】
20200123 KR 10-2020-00093991.一种成像设备的操作方法，所述成像设备包括多个共享像素，所述多个共享像素共享浮置扩散节点，并且每个共享像素包括由微透镜覆盖的子像素，所述操作方法包括：
从接收物体反射的光的所述多个共享像素，生成捕获图像；
使用静态相位信息来补偿所述捕获图像，所述静态相位信息基于所述多个共享像素中的每一个的微透镜的未对准；
基于对所述捕获图像的补偿来执行自动曝光控制；
基于补偿后的捕获图像来执行自动聚焦控制；以及
通过处理所述补偿后的捕获图像来生成输出图像。


2.根据权利要求1所述的操作方法，其中，所述静态相位信息包括针对所述多个共享像素中的每一个的补偿增益，所述补偿增益是基于通过将向所述多个共享像素照射平面光而生成的样本图像与参考图像进行比较而得到的比较结果而生成的。


3.根据权利要求1所述的操作方法，其中，所述执行自动曝光控制包括：基于根据对所述捕获图像的补偿的图像亮度变化，控制与所述多个共享像素有关的曝光时间。


4.根据权利要求1所述的操作方法，其中，所述生成输出图像包括：
检测由所述物体与所述成像设备之间的距离的变化而生成的动态相位；以及
基于检测到的动态相位来校正所述补偿后的捕获图像。


5.根据权利要求1所述的操作方法，其中，所述生成输出图像包括：
获取与所述补偿后的捕获图像相对应的图像深度信息；
基于所述图像深度信息来生成所述补偿后的捕获图像的视差；
将所述视差与阈值进行比较；以及
基于比较结果来校正所述补偿后的捕获图像。


6.根据权利要求5所述的操作方法，其中，基于所述比较结果来校正所述补偿后的捕获图像包括：当所述视差超过所述阈值时，模糊所述补偿后的捕获图像。


7.根据权利要求5所述的操作方法，其中，所述捕获图像的视差对应于第一侧图像与第二侧图像之间的视差，所述第一侧图像是从多个子像素中的设置在所述多个共享像素中的第一侧上的第一子像素生成的，所述第二侧图像是从所述多个子像素中的设置在所述多个共享像素中的第二侧上的第二子像素生成的。


8.根据权利要求1所述的操作方法，还包括：在高动态范围HDR模式下操作所述成像设备，并且在所述HDR模式下，向所述多个共享像素中的多个子像素施加至少两个曝光时间。


9.根据权利要求8所述的操作方法，其中，所述生成输出图像还包括：
针对所述至少两个曝光时间中的每一个来分割所述补偿后的捕获图像；
通过将与所述至少两个曝光时间中的参考曝光时间相对应的分割图像的亮度与参考亮度进行比较来生成亮度差信息；以及
基于所述亮度差信息来校正所述补偿后的捕获图像。


10.根据权利要求9所述的操作方法，其中，所述至少两个曝光时间包括长曝光时间、短曝光时间和中间曝光时间，以及
其中，将所述中间曝光时间作为所述参考曝光时间施加于所述多个共享像素中的所述多个子像素中的至少两个子像素。


11.根据权利要求9所述的操作方法，其中，所述基于所述亮度差信息来校正所述补偿后的捕获图像包括：
当所述亮度差信息超过阈值时，根据所述物体的局部运动来校正所述补偿后的捕获图像的相位差；以及
根据除所述局部运动以外的至少一个因素来校正所述补偿后的捕获图像的相位差。

【专利技术属性】
技术研发人员：张璨煐，姜熙，宣玟圭，宋容准，崔祐硕，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国;KR