用于多重曝光宽动态范围图像数据的图像数据处理制造技术

在集成电路(100)、合并电路(130)及处理多次曝光图像数据的方法的所描述实例中，单个预处理电路(120)用于预处理与图像的第一曝光相关联的第一输入曝光数据，且随后用于预处理与所述图像的第二曝光相关联的第二输入曝光数据。将第一及第二预处理曝光数据合并，以生成用于色调映射及其它后处理的合并图像数据。所述实例合并电路(130)包含可配置增益电路，以将增益应用于所述第一及/或第二曝光数据；及可配置加权电路，其具有权重计算电路及运动自适应滤波器电路，以计算用于合并所述预处理第一及第二曝光数据的第一及第二权重值。

【技术实现步骤摘要】
【国外来华专利技术】用于多重曝光宽动态范围图像数据的图像数据处理
本专利技术大体上涉及图像处理，且更具体来说，涉及用于处理来自宽动态范围(WDR)传感器的图像数据的电路。
技术介绍
摄像机及图像传感器广泛用于监测、运动控制及其它应用。举例来说，汽车应用包含用于在备份时协助驱动器的后视镜头，并且车载摄像机可向控制系统提供输入以避开障碍物、控制制动、转向、加速等。数码相机传感器具有有限的动态范围，所述动态范围通常比自然环境(及其它观察区域)的动态范围及人类眼睛的动态范围小得多。举例来说，室内房间可能无光照，但具有窗口可看到日出或日落。这为观察摄像机呈现极暗区域及极亮区域。尽管人类视觉系统能够捕获此动态范围，但是由于传感器及图像处理硬件中的有限动态范围，大部分数码相机不能够捕获此动态范围。因此，具有高动态范围的场景的数字图像通常倾向于具有吹出的高光及完全暗的阴影区域。处理图像中的低动态范围在汽车及监控摄像机系统中存在问题，其中保持整个动态范围非常重要。宽动态范围(WDR)传感器呈现潜在解决方案，并且常用于汽车及监控应用以保持自然场景的全动态范围。然而，现有图像处理(图像管道)电路及架构不是非常适合WDR传感器信号处理，并且完整的宽动态范围图像处理管道昂贵且实施起来复杂。举例来说，必须在合并处理之前预处理多次曝光的曝光数据，因此，来自WDR传感器的多次曝光数据需要较大且更复杂的处理电路。WDR传感器还可能遭受在后处理中难以校正的运动伪影。此外，合并多个时间上分离的帧可能导致由于像素噪声及运动伪影引起的图像质量降低。而且，所捕获场景中存在LED灯或其它脉冲光源可能导致使用WDR传感器获得的图像的多次曝光之间的偏差。举例来说，脉冲光源可在第一曝光时间期间处于“关闭”状态，随后在第二曝光时间期间“打开”。在此类情况下，WDR传感器提供相同图像的第一及第二曝光数据，其中一或多个像素位置将在第一及第二曝光数据之间具有偏差。因此，WDR传感器为图像处理呈现新挑战，以提供宽动态范围成像的完整解决方案。
技术实现思路
所描述实例包含图像信号处理电路、集成电路、合并电路及用于处理多次曝光图像数据，例如，来自宽动态范围传感器的第一及第二曝光数据的方法。单个预处理电路用于对与图像的第一曝光相关联的第一输入曝光数据执行预处理，随后用于预处理与图像的第二曝光相关联的第二输入曝光数据。随后在色调映射及其它后处理之前合并用于两次曝光的预处理数据。实例合并电路包含可配置增益电路，以在合并之前将增益因数应用于第一及第二图像数据中的一或两者的数据。在某些实例中，合并电路进一步包含可配置权重计算电路，以计算第一及第二曝光数据的权重值供合并处理。在一些实例中，合并电路还包含运动自适应滤波器电路，以计算运动自适应加权值来缩放应用于第一及第二图像数据的增益因数。附图说明图1是图像传感器处理器(ISP)集成电路(IC)的系统图。图2是图像处理方法的流程图。图3是帧数据流程图。图4是在图1的IC中的合并处理的系统级图。图5是展示图1及4中的合并电路的另外细节的系统级图。图6是在图5的合并电路中的增益调整电路的详细示意图。图7是根据输入的像素值及可配置参数(V)的不同值而变的加权值的图形。图8是根据长像素值及短像素值之间的差而变的运动自适应加权值的图形。图9是在图5的合并电路中的加权电路的详细电路图。具体实施方式在附图中，相同参考数字贯穿全文指代相同元件，且各种特征不必按比例绘制。所描述实例提供有效电路、IC及用于预处理及合并来自WDR及其它图像数据源的多次曝光图像数据的方法。在某些所描述实例中，获得给定图像的第一及第二曝光数据，例如，使用第一(例如，长)曝光时间设定下的图像传感器来获得第一曝光数据，随后使用第二更短曝光时间设定下的传感器来获得第二曝光数据。每组数据包含所获得图像的给定像素位置的个别像素数据，其中较长曝光时间数据促进图像场景的暗区域的捕获，且较短曝光时间数据用于捕获图像场景的明亮照明部分的细节。所描述电路及方法有助于此双曝光图像数据的预处理及合并处理。而且，所描述技术可适用于各种不同成像应用，例如，车载摄像机、监控摄像机、机器人及其它运动控制应用的图像数据的处理等。图1展示成像系统，所述成像系统包含通过可为有线或无线的数据连接或链路103从WDR传感器102接收信号数据的图像传感器处理器IC100。图2展示可在IC100中实施的处理输入曝光数据的过程或方法204。在一个实例中，IC100安装到印刷电路板(PCB，未展示)，并且包含通过导电PCB迹线电连接到板安装连接器的一或多个引脚或端子，且WDR传感器102通过电缆(未展示)与连接器耦合。集成电路100包含下文描述的各种块或电路，其可为专用逻辑电路、可编程逻辑电路及/或通过数字处理器电路实施的功能。在一个实例中，传感器102是数字重叠(DOL)WDR传感器，所述DOLWDR传感器感测及检测对应传感器场106内穿过镜头结构104的光以捕获图像曝光数据。IC100包含像素数据接口电路108，其具有通信电路105，用于从传感器102接收对应于图像的多次曝光的像素数据及分类电路107。接口电路108与IC100中的存储器电路110可操作地连接。在一个实例中，像素数据接口108的通信电路105是移动行业处理器接口(MIPI)电路，其支持摄像机串行接口(CSI)通信协议以从传感器102接收像素数据。举例来说，通信电路105支持MIPICSI-2或CSI-3通信。在一个实例中，互连件103包含多个IC引脚及对应电路板迹线并连接到传感器102，以在传感器102与像素数据接口电路108之间提供整数N个数据线连接，并且互连件103可进一步包含用于时钟信号的一或多个连接。传感器102提供与对应于传感器场106的图像的多次曝光相关联的多组像素数据。举例来说，传感器102提供与在第一曝光时间，在这种情况下两个或更多个曝光中的最长曝光时间下所感测图像的第一曝光对应的第一曝光数据，及与使用较短第二曝光时间获得的第二曝光对应的第二曝光数据。在其它实例中，技术可延伸到多次曝光图像数据，包含多于两组曝光数据，并且每组曝光数据通常对应于唯一的曝光时间。这允许使用单个传感器102来利用全动态范围。IC100进一步包含处理电路112，所述处理电路与存储器电路110可操作地耦合并且根据一或多个配置参数140配置，以处理对应于图像的多次曝光的曝光数据。处理电路112包含单个预处理电路120，所述单个预处理电路操作以对输入曝光数据执行初始处理或预处理操作。预处理电路120提供通常在线性域中工作的图像滤波操作(在合并之前)。因此，单独地对每个独立曝光执行这些操作。在所说明实例中，预处理电路120包含噪声滤波电路121、偏转像素校正电路122、DC箝位去除电路123、镜头阴影校正电路124及白平衡校正电路125。噪声滤波电路121及缺陷像素校正电路122可用于增强在合并处理之后执行的色调映射逻辑134的质量。而且，DC箝位去除电路123优选地在电路125中的白平衡校正之前，并且还优选地在色调映射之前对数据进行操作，因此这些操作在合并处理之前有利地执行为预处理电路120的一部分。此外，在任何非线性操作之前，镜头阴影校正电路124有利地用于在合并处理之前对单独本文档来自技高网...

【技术保护点】
1.一种集成电路IC，其包括：存储器电路；接口电路，用于从图像传感器接收对应于图像的多次曝光的输入曝光数据，所述接口电路用于将与所述图像的第一曝光相关联的第一输入曝光数据存储在所述存储器电路的第一存储器部分中，及将与所述图像的第二曝光相关联的第二输入曝光数据存储在所述存储器电路的第二存储器部分中；及处理电路，用于处理对应于图像的多次曝光的曝光数据，所述处理电路包含：单个预处理电路，其用于：对来自所述第一存储器部分的所述第一输入曝光数据执行初始图像处理，以生成与所述图像的所述第一曝光相关联的第一预处理曝光数据，将所述第一预处理曝光数据存储在所述存储器电路的第三存储器部分中，及对来自所述第二存储器部分的所述第二输入曝光数据执行初始图像处理，以生成与所述图像的所述第二曝光相关联的第二预处理曝光数据，及合并电路，用于处理所述第一及第二预处理曝光数据，以生成表示所述图像的合并图像数据。

【技术特征摘要】
【国外来华专利技术】2016.05.18 US 15/157,5681.一种集成电路IC，其包括：存储器电路；接口电路，用于从图像传感器接收对应于图像的多次曝光的输入曝光数据，所述接口电路用于将与所述图像的第一曝光相关联的第一输入曝光数据存储在所述存储器电路的第一存储器部分中，及将与所述图像的第二曝光相关联的第二输入曝光数据存储在所述存储器电路的第二存储器部分中；及处理电路，用于处理对应于图像的多次曝光的曝光数据，所述处理电路包含：单个预处理电路，其用于：对来自所述第一存储器部分的所述第一输入曝光数据执行初始图像处理，以生成与所述图像的所述第一曝光相关联的第一预处理曝光数据，将所述第一预处理曝光数据存储在所述存储器电路的第三存储器部分中，及对来自所述第二存储器部分的所述第二输入曝光数据执行初始图像处理，以生成与所述图像的所述第二曝光相关联的第二预处理曝光数据，及合并电路，用于处理所述第一及第二预处理曝光数据，以生成表示所述图像的合并图像数据。2.根据权利要求1所述的IC，其中所述处理电路进一步包含：色调映射电路，用于对来自所述合并电路的所述合并图像数据执行色调映射处理；及后处理电路，用于对所述合并图像数据执行进一步图像处理以生成最终图像数据，及将所述最终图像数据存储在所述存储器电路的第四存储器部分中。3.根据权利要求1所述的IC，其中所述单个预处理电路用于对所述第一输入曝光数据及所述第二输入曝光数据执行噪声滤波处理、偏转像素校正、DC箝位去除、镜头阴影校正及白平衡校正中的一者。4.根据权利要求1所述的IC，其中所述合并电路包含：增益电路，用于将增益应用于所述第一及第二预处理曝光数据中的至少一者，以生成与所述图像的所述第一曝光相关联的第一增益调整曝光数据，及与所述图像的所述第二曝光相关联的第二增益调整曝光数据；移位电路，用于移位所述第一增益调整曝光数据及所述第二增益调整曝光数据，以生成与所述图像的所述第一曝光相关联的第一移位曝光数据及与所述图像的所述第二曝光相关联的第二移位曝光数据；加权电路，用于计算用于所述第一移位曝光数据的合并处理的第一权重值，及计算用于所述第二移位曝光数据的合并处理的第二权重值；及最终合并电路，用于合并所述第一及第二增益调整曝光数据，以根据所述第一及第二权重值生成所述合并图像数据；其中所述增益电路及所述加权电路中的一者可配置。5.根据权利要求4所述的IC，其中所述增益电路包含用于将可配置第一白平衡增益应用于所述第一曝光数据的电路，及用于将可配置第二白平衡增益应用于所述第二曝光数据的电路，以生成所述第一及第二增益调整曝光数据。6.根据权利要求4所述的IC，其中所述增益电路包含用于将可配置第一黑电平偏移应用于所述第一曝光数据的电路，及用于将可配置第二黑电平偏移应用于所述第二曝光数据的电路，以生成所述第一及第二增益调整曝光数据。7.根据权利要求4所述的IC，其中所述增益电路包含用于将可配置第一增益值应用于所述第一曝光数据的电路，及用于将可配置增益值应用于所述第二曝光数据的电路，以生成所述第一及第二增益调整曝光数据。8.根据权利要求4所述的IC，其中所述加权电路包含：权重计算电路，用于基于所述第一及第二移位曝光数据中的选定一者及可配置第一阈值计算初始权重值，所述权重计算电路用于：当用于所述图像中的当前像素位置的所述第一及第二移位曝光数据中的所述选定一者的值大于所述第一阈值时，计算所述初始权重值作为第一预定值，及当用于所述当前像素位置的所述第一及第二移位曝光数据中的所述选定一者的所述值小于或等于所述第一阈值时，根据一或多个可配置参数及用于所述当前像素位置的所述第一及第二移位曝光数据中的所述选定一者的所述值计算所述初始权重值；及运动自适应滤波器电路，用于计算差值作为用于所述图像中的所述当前像素位置的所述第一及第二移位曝光数据的值之间的差的绝对值，所述运动自适应滤波器电路用于：当所述差值小于可配置第二阈值时，计算运动自适应权重值作为所述第一预定值，及当所述差值大于或等于所述第二阈值时，根据所述差值计算所述运动自适应权重值；其中所述加权电路用于将所述初始权重值乘以所述运动自适应权重值来生成所述第一权重值，并且通过从所述第一预定值中减去所述第一权重值来计算所述第二权重值。9.根据权利要求4所述的IC，其中所述一或多个可配置参数可配置以控制闪烁及运动。10.根据权利要求4所述的IC，其中所述单个预处理电路用于对所述第一输入曝光数据及所述第二输入曝光数据执行噪声滤波处理、偏转像素校正、DC箝位去除、镜头阴影校正及白平衡校正中的一者。11.一种合并电路，用于处理与图像的第一曝光相关联的第一曝光数据，及与所述图像的第二曝光相关联的第二曝光数据，以生成表示所述图像的合并图像数据，所述合并电路包括：增益电路，用于将增益应用于所述第...

【专利技术属性】
技术研发人员：S·达布拉尔，R·R·阿留，
申请(专利权)人：德州仪器公司，
类型：发明
国别省市：美国,US