一种在Bayer数据域实现HDR的图像处理的方法和系统技术方案

本发明专利技术公开了一种基于可编程处理器芯片和HDR Sensor实现在Bayer数据域进行HDR图像合成、色调变换和位宽压缩的图像处理方法和系统，所述系统HDR Sensor单元，IO接口单元A、IO接口单元和B、FIFO单元和HDR处理单元；由于系统采用行内交错曝光的采样方式，HDR处理单元不需要缓存完整一帧数据，只需要缓存少数几行像素就可以开始HDR处理，降低了系统延迟，降低了存储开销。由于本系统和方法去除了图像处理系统对ISP功能中HDR特性的依赖，所以不支持HDR功能的ISP芯片也可以用于构建具备HDR效果的图像处理系统，从而使构建HDR效果的图像处理系统的方案选型更加灵活便利。

【技术实现步骤摘要】
一种在Bayer数据域实现HDR的图像处理的方法和系统
本专利技术涉及图像处理
，更具体地说，它涉及一种基于可编程处理器芯片实现在Bayer数据域进行HDR图像合成和色调映射的方法和系统。
技术介绍
在人类的日常生活场景中，从刺目的阳光到极暗的星光，环境亮度的变化范围超过8个数量级，即动态范围大于160dB。人眼由于经过长期进化能够适5～6个数量级的亮度变化，即动态范围达到100～120dB。普通的CMOSSensor(以下简称Sensor)只能提供60dB左右的动态范围，远远不能满足记录真实世界中高动态场景的需求，因此称为LDR(LowDynamicRange)Sensor。目前能够提供HDR(HighDynamicRange)即高动态范围的Sensor可以提供100～120dB的动态范围，能够更好地记录真实世界场景中的亮度信息。由于常见的数字图像显示设备通常只支持256个亮度级，并不能直接显示HDR图像，因此在图像显示之前的某个阶段需要对HDR图像进行动态范围压缩以适应显示设备的能力。局部色调映射(LocalToneMapping)是一类效果比较好的动态范围压缩算法，已经得到了广泛的研究和应用，不足之处是此类算法复杂度通常较高，运算量较大，消耗资源很大。有多种不同的原理可以实现HDRSensor，其中一种HDR实现方式是采用行内交错长短曝光的方法，即Line-basedStaggeredHDR方法，采用所述方法的HDRSensor以行为单位输出像素数据，通常是位宽为10比特或12比特的Bayer格式数据，每行中先后输出两组数据，分别对应长、短两种不同曝光量下采集的像素值。包括所述行内交错长短曝光方法在内的各种HDR实现方法都需要在Sensor后端搭配某种形式的ISP(SignalProcessor)即图像信号处理器，在所述ISP内部完成高动态范围图像的合成处理。在现有技术中，ISP内部通常是以流水线方式对图像进行HDR合成处理。一种典型的流水线是将HDRSensor输出的Bayer格式图像根据曝光量不同分离成两帧分别存储，等缓存到足够多的数据后分别进行Bayer2RGB及RGB2YUV转换得到YUV格式图像，然后对两帧YUV图像进行HDR合成得到一帧高动态图像，最后进行YUV2RGB转换得到RGB格式的图像。现有技术中，所述流水线方法存在的不足之处是色彩空间变换操作的环节较多，由于存在大量的浮点数运算，每次操作都会引入一些精度误差并影响最终的HDR处理效果。现有技术中，另外一个不足之处是由于操作步骤多，系统资源开销(芯片面积、功耗等)很大，增加了系统实施的成本。现有技术中，另外一个不足之处是出于控制系统成本的需要，常常选用运算相对简单的色调映射方法，而较少选用效果更好但是复杂度较高、运算量较大的色调映射方法。现有技术中，另外一个不足之处是ISP需要等到两帧图像全部缓存到存储器之后才能开始HDR合成处理，因此系统延迟较大，不适合有低延迟需求的应用场合。现有技术中，另外一个不足之处是如果ISP不支持HDR功能则无法与HDRSensor配合得到HDR图像。
技术实现思路
针对现有技术存在的不足，本专利技术所要实现的一个目标是，提供一种在原始Bayer数据域直接进行HDR合成处理的方法，避免多次进行颜色空间变换。本专利技术所要实现的另一个目标是，提供一种基于局部色调映射原理的HDR合成处理方法，实现良好的HDR效果。本专利技术所要实现的另一个目标是，提供一种复杂度低、运算量小的HDR合成处理方法，降低HDR处理方法的实施成本。本专利技术所要实现的另一个目标是，提供一种支持输入图像位宽为10比特或12比特的HDR合成处理方法，适应常见的HDRSensor数据位宽规格。本专利技术所要实现的另一个目标是，提供一种输出图像位宽为10比特或12比特的HDR合成处理方法，适应常见的ISP数据位宽规格。为了实现所述各个目标，本专利技术提出了一种基于可编程处理器芯片在Bayer数据域实现HDR图像合成、色调映射和位宽压缩的图像处理方法和系统。所述图像处理方法和系统能够全部或至少部分地满足所述各个目标，以解决上述
技术介绍
中提出的问题。为实现上述目的，本专利技术提供如下技术方案：一种基于可编程处理器芯片在Bayer数据域实现HDR图像合成、色调映射和位宽压缩的图像处理系统，包括：HDRSensor单元，IO接口单元(A和B)、行缓存(FIFO)单元、HDR处理单元；HDRSensor单元，用于生成至少两种曝光量的Bayer格式数据；IO接口单元A，用于与HDRSensor单元对接，将Sensor产生的图像数据输入到系统；FIFO单元，用于缓存HDRSensor产生的Bayer格式像素数据；HDR处理单元，用于对Bayer数据进行HDR合成、色调映射、位宽压缩等操作，最终生成高动态Bayer数据；IO接口单元B，用于对外输出，将HDR处理单元生成的高动态Bayer数据输出到外部，通常是一个不具备HDR功能的ISP芯片。所述各个单元中除了HDRSensor之外全部或者部分(至少包含HDR处理单元)以一个可编程处理器芯片的形式实现，其中一种表现形式是在某种通用处理器芯片(CPU,DSP)上运行软件,另一种表现形式是在大规模可编程逻辑器件(FPGA)上实现专用图像处理流水线，还有一种表现形式是用专用集成电路芯片(ASIC)或片上系统(SoC)实现专用图像处理流水线；本专利技术提出的一种基于可编程处理器芯片在Bayer数据域实现HDR图像合成、色调映射和位宽压缩的图像处理方法，包括如下步骤：以行为单位获取HDRSensor产生的位宽为10比特或12比特的低位宽图像数据；按照预定格式对所述低位宽图像数据进行分离，从一行低位宽数据中分离出两行低位宽数据，分别对应长、短两种曝光量下产生的像素值；按照一定的算法从长曝光像素中提取亮度分量；优选地，从长曝光像素中提取亮度分量的一种计算方法如下：用M表示图像在水平方向上的像素数，用N表示图像在竖直方向上的像素数；用IL表示长曝光图像，用IS表示短曝光图像，所述IL和IS均为包含M×N个像素值的二维矩阵；优选地，IL和IS均为按照Bayer(2x2)格式排列的像素值矩阵，即奇数行代表RGRGRG…像素值，偶数行代表GBGBGB…像素值，所述R、G、B分别代表红、绿、蓝三种颜色的像素；用YL表示从长曝光图像中提取的亮度分量矩阵，则YL为包含M×N个灰度值的二维亮度矩阵；用(i,j)表示所述IL，IS和YL中任一元素的坐标；用IL(i,j)表示当前位置像素，在此仅以当前位置为R像素的情况为例；用IL(i,j-1)表示当前位置左侧的G像素；用IL(i,j+1)表示当前位置右侧的G像素；用IL(i-1,j)表示当前位置正上方的G像素；用IL(i+1,j)表示当前位置正下方的G像素；用IL(i-1,j-1)表示当前位置左上方的B像素；用IL(i-1,j+1)表示当前位置右上方的B像素；用IL(i+1,j-1)表示当前位置左下方的B像素；用IL(i+1,j+1)表示当前位置右下方的B像素；使用所述各个R像素值构造YR，即YR(i,j)＝IL(i,j)进一步地，使用所述各个G像素值构造YG，即进一步地，使用所述各个B像素值构造YB，本文档来自技高网...

【技术保护点】
1.一种在Bayer数据域实现HDR的图像处理的系统，其特征在于，包括：HDR Sensor单元，IO接口单元A、IO接口单元和B、FIFO单元和HDR处理单元；HDR Sensor单元，用于生成至少两种曝光量的Bayer格式数据；IO接口单元A，用于与HDR Sensor单元对接，将Sensor产生的图像数据输入到系统；FIFO单元，用于缓存HDR Sensor产生的Bayer格式像素数据；HDR处理单元，用于对Bayer数据进行HDR合成、色调映射、位宽压缩操作，最终生成高动态Bayer数据；IO接口单元B，用于对外输出，将HDR处理单元生成的高动态Bayer数据输出到外部，是一个不具备HDR功能的ISP芯片。

【技术特征摘要】
1.一种在Bayer数据域实现HDR的图像处理的系统，其特征在于，包括：HDRSensor单元，IO接口单元A、IO接口单元和B、FIFO单元和HDR处理单元；HDRSensor单元，用于生成至少两种曝光量的Bayer格式数据；IO接口单元A，用于与HDRSensor单元对接，将Sensor产生的图像数据输入到系统；FIFO单元，用于缓存HDRSensor产生的Bayer格式像素数据；HDR处理单元，用于对Bayer数据进行HDR合成、色调映射、位宽压缩操作，最终生成高动态Bayer数据；IO接口单元B，用于对外输出，将HDR处理单元生成的高动态Bayer数据输出到外部，是一个不具备HDR功能的ISP芯片。2.根据权利要求1所述的一种在Bayer数据域实现HDR的图像处理的系统，其特征在于，所述IO接口单元A、IO接口单元和B、FIFO单元、HDR处理单元以一个可编程处理器芯片的形式实现。3.一种如权利要求1-2任一所述的在Bayer数据域实现HDR的图像处理的方法，其特征在于，包括如下步骤：以行为单位获取HDRSensor产生的位宽为10比特或12比特的低位宽图像数据；按照预定格式对所述低位宽图像数据进行分离，从一行低位宽数据中分离出两行低位宽数据，分别对应长、短两种曝光量下产生的像素值；按照一定的算法从长曝光像素中提取亮度分量；利用所述亮度分量YL，以及从系统配置中获取的一组参数，计算每个目标像素的融合权重因子；根据所述融合权重因子，以及从系统配置中获取的一组参数，计算每个目标像素的融合值；按照一定的算法对融合图像进行局部色调变换处理，得到高位宽、高动态范围的局部色调变换图像；对所述局部色调变换图像进行位宽压缩处理，得到最终的输出图像。4.根据权利要求3所述的一种在Bayer数据域实现HDR的图像处理的方法，其特征在于，所述从长曝光像素中提取亮度分量的一种计算方法如下：用M表示图像在水平方向上的像素数，用N表示图像在竖直方向上的像素数；用IL表示长曝光图像，用IS表示短曝光图像，所述IL和IS均为包含M×N个像素值的二维矩阵；IL和IS均为按照Bayer(2x2)格式排列的像素值矩阵，即奇数行代表RGRGRG…像素值，偶数行代表GBGBGB…像素值，所述R、G、B分别代表红、绿、蓝三种颜色的像素用YL表示从长曝光图像中提取的亮度分量矩阵，则YL为包含M×N个灰度值的二维亮度矩阵；用(i，j)表示所述IL，IS和YL中任一元素的坐标；用IL(i，j)表示当前位置像素，在此仅以当前位置为R像素的情况为例；用IL(i，j-1)表示当前位置左侧的G像素；用IL(i，j+1)表示当前位置右侧的G像素；用IL(i-1，j)表示当前位置正上方的G像素；用IL(i+1，j)表示当前位置正下方的G像素；用IL(i-1，j-1)表示当前位置左上方的B像素；用IL(i-1，j+1)表示当前位置右上方的B像素；用IL(i+1，j-1)表示当前位置左下方的B像素；用IL(i+1，j+1)表示当前位置右下方的B像素；使用所述各个R像素值构造YR，即YR(i，j)＝IL(i，j)；使用各个所述G像素值构造YG，即使用所述各个YR，YG，YB构造YL，即利用所述亮度分量YL，以及从系统配置中获取的一组参数，计算每个目标像素的融合权重因子；所述融合权重因子的一种计算方法如下：用Win表示HDRSensor输出数据的位宽，通常为10或12；用Ym_in表示YL元素的最大可能值，即从系统配置中获取一个阈值参数T和一个斜率参数k，使用T，k，Ymax和YL构造所述每个目标像素的融合权重因子α，即根据所述融合权重因子，以...

【专利技术属性】
技术研发人员：叶颖聪，徐洪，徐琳，
申请(专利权)人：深圳市艾为智能有限公司，
类型：发明
国别省市：广东,44