图像处理装置、图像处理系统及图像处理方法制造方法及图纸

本公开涉及图像处理装置、图像处理系统及图像处理方法。图像处理装置包括数据组生成器、梯度值管理器和代价空间管理器。数据组生成器被配置为接收包括相位信息和亮度信息的图像的像素值，以及基于目标像素值确定指示图像的视差的数据组，其中，数据组与根据相位信息确定的范围相对应。梯度值管理器被配置为确定与目标像素值相对应的区域的梯度值以及确定梯度信息。梯度信息通过对梯度值应用阈值而确定，其中，阈值根据目标像素值而确定。代价空间管理器被配置为通过基于梯度信息对数据组进行加权求和而确定代价空间。进行加权求和而确定代价空间。进行加权求和而确定代价空间。

【技术实现步骤摘要】
图像处理装置、图像处理系统及图像处理方法
[0001]相关申请的交叉引用
[0002]本申请要求于2022年4月27日在韩国知识产权局提交的韩国专利申请第10
‑
2022
‑
0052071号的优先权，其全部公开内容通过引用并入本文。


[0003]本公开的多种实施例总体涉及一种图像处理系统，更具体地，涉及一种用于操控像素信息的图像处理系统及图像处理方法。

技术介绍

[0004]图像传感器可以分为电荷耦合器件(CCD)图像传感器和互补金属氧化物半导体(CMOS)图像传感器。CMOS图像传感器通常可以具有较低制造成本、较低功耗，并且比CCD图像传感器更容易与外围电路集成。
[0005]智能电话、平板PC、数字相机等中所包括的图像传感器可以通过将从外部对象反射的光转换成电信号而获得外部对象的图像信息。图像信号处理装置可以执行用于对所获得的电信号进行转换的操作以提高图像质量。
[0006]图像信号处理装置可以通过执行图像处理操作而提高图像质量。通常，图像处理在使用来自多个相机的多个图像时比使用来自单个相机的单个图像时可以导致更高的分辨率。

技术实现思路

[0007]根据一个实施例，一种图像处理装置可以包括：数据组生成器，其被配置为确定指示图像的视差的数据组，其中，所述图像中所包括的所有像素的像素值包括相位信息，以及其中，所述数据组是基于所述像素值之中的与根据所述相位信息确定的范围相对应的目标像素值而确定的；梯度值管理器，其被配置为确定与所述目标像素值相对应的区域的梯度值以及通过对所述梯度值应用根据所述目标像素值确定的阈值而确定梯度信息；以及代价空间管理器，其被配置为通过基于所述梯度信息对所述数据组进行加权求和而确定代价空间。
[0008]根据一个实施例，一种图像处理系统可以包括图像传感器，所述图像传感器包括微透镜，所述微透镜将从外部接收的光传输至像素，其中，所述微透镜中的每一个与n的平方个像素相对应，其中，n是大于2的整数，以及图像处理系统可以包括图像处理装置，图像处理装置被配置为基于从所述图像传感器接收的像素值而获得图像的深度信息，其中，所有的所述像素值包括相位信息，以及其中，所述图像处理装置包括：数据组生成器，其被配置为基于所述像素值之中的与根据所述相位信息确定的范围相对应的目标像素值确定指示所述图像的视差的数据组；梯度值管理器，其被配置为确定与所述目标像素值相对应的区域的梯度值以及通过对所述梯度值应用根据所述目标像素值确定的阈值而确定梯度信息；以及代价空间管理器，其被配置为通过基于所述梯度信息对所述数据组进行加权求和
而确定代价空间以及基于所述代价空间确定所述深度信息。
[0009]根据一个实施例，一种图像处理方法可以包括：从图像中所包括的所有像素接收包括相位信息的像素值；基于所述像素值之中的与根据所述相位信息确定的范围相对应的目标像素值确定指示所述图像的视差的数据组；计算与所述目标像素值相对应的区域的梯度值以及通过对所述梯度值应用根据所述目标像素值确定的阈值而确定梯度信息；以及通过基于所述梯度信息对所述数据组进行加权求和而确定代价空间。
附图说明
[0010]图1是示出根据一个实施例的示例性图像处理系统的图。
[0011]图2是示出根据一个实施例的图1的示例性图像传感器的图。
[0012]图3是示出根据一个实施例的4个像素值与单个微透镜相对应的示例性像素阵列的图。
[0013]图4是示出根据一个实施例的9个像素值与单个微透镜相对应的示例性像素阵列的图。
[0014]图5是示出根据一个实施例的16个像素值与单个微透镜相对应的示例性像素阵列的图。
[0015]图6是示出根据一个实施例的确定数据组的示例性方法的图。
[0016]图7是示出根据一个实施例的根据像素值确定的示例性阈值的图。
[0017]图8是示出根据一个实施例的对梯度值应用阈值的示例性方法的图。
[0018]图9是示出根据一个实施例的确定代价空间(cost volume)的示例性方法的流程图。
[0019]图10是示出根据一个实施例的确定数据组的示例性方法的流程图。
[0020]图11是示出根据一个实施例的确定梯度信息的示例性方法的流程图。
[0021]图12是示出根据一个实施例的包括图像传感器的示例性电子装置的框图。
具体实施方式
[0022]本文公开的特定结构或功能描述仅用于描述根据本公开的构思的实施例的说明目的。根据本公开的构思的实施例可以以多种形式实现，并且不应该被解释为被限制在本文阐述的特定实施例。
[0023]在下文中，参考附图描述了实施例，以使得本领域技术人员能够实现这些实施例以及与本公开的技术精神一致的其他实施例。
[0024]多种实施例涉及用于使用单个图像的像素值确定代价空间的图像处理系统及图像处理方法。单个图像可以用于静态照片或用于视频帧。
[0025]图1是示出根据一个实施例的示例图像处理系统10的图。
[0026]参考图1，图像处理系统10可以包括图像传感器100和图像处理装置200。
[0027]根据一个实施例的图像处理系统10可以经由例如图像传感器100获得图像。所获得的图像可以由图像处理装置200处理，图像处理装置200可以产生经处理的图像作为输出图像。输出图像可以被输出至外部装置(未示出)。外部装置可以存储和/或显示输出图像。根据一个实施例的图像处理系统10可以包括用于存储(包含图像)的存储器装置240和/或
可以显示图像的显示器(未示出)。存储器装置240可以使用根据设计和/或实施规范确定的任意一个或多个易失性和/或非易失性存储装置。例如，根据一个实施例的图像处理系统10可以响应于来自主机(未示出)的请求而向主机输出输出图像。
[0028]图像传感器100可以生成使用透镜102捕获其图像的对象(未示出)的图像数据。透镜102可以包括形成光学系统的至少一个透镜。例如，透镜102可以包括微透镜104。
[0029]图像传感器100可以包括接收光的多个像素。术语“像素”可以用于指代检测(或接收)光的硬件装置。然后，硬件像素可以输出所检测的光的像素值。因此，图像传感器100中的多个像素可以生成与所拍摄的图像帧或视频帧相对应的多个像素值。术语“像素”还可以用于指代帧的特定位置。因此，在帧中的特定位置处的像素可以与由图像传感器100的对应硬件像素提供的像素值相关联。根据一个实施例，由图像传感器100生成的多个像素值全部都可以被处理，以获得图像的相位信息和亮度(强度)信息。
[0030]由图像传感器100生成的多个像素值可以被发送至图像处理装置200。然后，图像处理装置200可以通过处理多个像素值而获得图像的相位信息和亮度信息。
[0031]图像处理装置200可以包括数据组生成器210、梯度值管理器220、代价空间管理器230和存储器装置240。图像处理装置200可以从图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理装置，包括：数据组生成器，其：从所述图像处理装置外部的装置接收包括图像的相位信息和亮度信息的像素值；以及基于目标像素值确定数据组，其中，所述数据组与根据所述相位信息确定的范围相对应；梯度值管理器，其：确定与所述目标像素值相对应的区域的梯度值；以及通过对所述梯度值应用阈值而确定梯度信息，其中，所述阈值根据所述目标像素值而确定；以及代价空间管理器，其：通过基于所述梯度信息对所述数据组进行加权求和而确定代价空间。2.根据权利要求1所述的图像处理装置，其中，基于所述目标像素值，所述数据组生成器：确定关于所述图像的水平方向的第一数据组；以及确定关于所述图像的竖直方向的第二数据组。3.根据权利要求2所述的图像处理装置，其中，所述数据组生成器：确定所述目标像素值的水平方向上的平均值和所述目标像素值的竖直方向上的平均值；基于所述目标像素值的水平方向上的平均值确定所述第一数据组；以及基于所述目标像素值的竖直方向上的平均值确定所述第二数据组。4.根据权利要求3所述的图像处理装置，其中，所述数据组生成器：从所述目标像素值的水平方向上的平均值之中选择第一参考值；以及通过将所述第一参考值与预定范围中的所述目标像素值的水平方向上的平均值进行比较而确定所述第一数据组。5.根据权利要求3所述的图像处理装置，其中，所述数据组生成器：从所述目标像素值的竖直方向上的平均值之中选择第二参考值；以及通过将所述第二参考值与预定范围中的所述目标像素值的竖直方向上的平均值进行比较而确定所述第二数据组。6.根据权利要求2所述的图像处理装置，其中，所述梯度值管理器：确定所述区域的水平方向上的梯度值和竖直方向上的梯度值；通过对所述水平方向上的梯度值应用所述阈值而生成第一梯度信息；以及通过对所述竖直方向上的梯度值应用所述阈值而确定第二梯度信息。7.根据权利要求6所述的图像处理装置，其中，所述代价空间管理器使用以下项的平均值来确定所述代价空间：基于所述第一梯度信息被加权的所述第一数据组，以及基于所述第二梯度信息被加权的所述第二数据组。8.根据权利要求1所述的图像处理装置，其中，在所述区域的梯度值小于或等于所述梯度值的平均值与所述阈值的乘积时，所述梯度值管理器将所述区域的梯度值确定为0。9.根据权利要求1所述的图像处理装置，其中，在所述区域的梯度值大于所述梯度值的
平均值与所述阈值的乘积时，所述梯度值管理器将所述区域的梯度值保持不变。10.一种图像处理系统，包括：图像传感器，其：基于从外部接收的光而确定包括图像的相位信息和亮度信息的像素值；以及图像处理装置，其：基于从所述图像传感器接收的所述像素值而获得所述图像的深度信息，其中，所述图像传感器包括微透镜，所述微透镜中的每一个与n的平方个像素相对应，其中，n是2或更大的整数，以及其中，所述图像处理装置包括：数据组生成器，其：基于所述像素值之中的目标像素值来确定数据组，所述目标像素值与根据所述相位信息确定的范围相对应；梯度值管理器，其：确定与所述目标像素值相对应的区域的梯度值以及通过对所述梯度值应用根据所述目标像素值确定的阈值而确定梯度信息；以及代价空间管理器，其：通过基于所述梯度信息对所述数据组进行加权求和而确定代价空间以及基于所述代价空间来确定所述深度信息...

【专利技术属性】
技术研发人员：韩知希，金钟宪，曹周铉，
申请(专利权)人：爱思开海力士有限公司，
类型：发明
国别省市：