一种具有LED闪烁补偿功能的多重曝光图像融合方法和系统技术方案

本发明专利技术公开了一种具有LED闪烁补偿功能的多重曝光图像融合方法和系统，所述系统包括：图像传感器单元，接口单元、行缓冲单元、融合单元和输出单元；该方法和系统不需要LFM图像传感器，而使用常规图像传感器，通过融合处理过程补偿LED闪烁，提升了图像实时性，降低了硬件成本，处理过程只需要少量行缓存，并且可以直接在Bayer格式数据上进行处理，减少了系统延迟，降低了存储开销，可方便地扩展到各种可编程器件及专用集成电路。

A multi exposure image fusion method and system with LED flicker compensation function

【技术实现步骤摘要】
一种具有LED闪烁补偿功能的多重曝光图像融合方法和系统
本专利技术公开了一种涉及图像处理
，更具体为一种具有LED闪烁补偿功能的多重曝光图像融合方法和系统。
技术介绍
发光二极管(以下简称LED)因具有节能、环保、安全、低功耗和高亮度等特点，已广泛应用于各种日常照明、交通指示灯、汽车前照灯、道路照明等领域。LED调光使用脉宽调制方式，日常场景中LED发光具有周期性，即闪烁，周期在至秒之间不等，目前全球各地也没有形成统一的标准。人眼由于存在视觉暂留的特性，几乎不受LED闪烁的影响。在人类的日常生活场景中，如高亮的汽车LED前照灯出现在极暗的夜晚下，同一场景不同区域的亮度变化范围超过8个数量级，即动态范围大于160dB。人眼由于经过长期进化能够适应6个数量级以上的亮度变化，即动态范围高于120dB。图像传感器单次曝光只能提供70dB左右的动态范围，远远不能满足反映和记录真实世界中高动态场景的需求，因此通过多重曝光的方法，用较长曝光记录场景中光线较暗的区域，用较短曝光记录场景中光线较强的区域，通过图像融合，能够提供100～144dB的动态范围，更好地反映和记录真实世界场景中的亮度信息。现有技术中，为提供不亚于人眼的动态范围，常规图像传感器在同一时间以行交替的方式进行多重曝光，最长的曝光时间可达秒，最短的曝光时间可在秒以下，短曝光时间已远远小于LED发光的周期，因而在融合的图像中能够看到LED照明区域出现闪烁和亮度的滚动，一方面令使用者觉得不适，另一方面不能正确反映和记录交通信号灯及其它LED照明区域的真实状态，会对汽车安全和自动驾驶等应用构成致命的威胁。为改善LED闪烁问题，一般通过改进图像传感器的曝光时序，把较短的曝光时间打散，均匀分布在较长的周期中，以减弱LED闪烁的效应，这种技术称为LED闪烁消减（以下简称LFM）。现有技术中,所述行交替多重曝光融合方法的不足之处是会受到不确定周期的LED闪烁干扰，造成使用者视觉不适及交通信号灯识别错误等。现有技术中,所述LFM的不足之处是延长了每次曝光的操作时间，使多重曝光之间的延时增加，最终导致图像实时性下降和动态范围减小等。现有技术中,所述LFM另一个不足之处是延长了单次曝光的操作时间，为采用多重曝光提升动态范围，处理系统必需缓存的图像数据大幅增加，造成系统开销和成本上升。
技术实现思路
本专利技术所要解决的技术问题是提供一种复杂度低、运算量小、适用于常规的图像传感器、成本低的具有LED闪烁补偿功能的多重曝光图像融合方法和系统。本专利技术解决上述技术问题所采取的技术方案如下：一种具有LED闪烁补偿功能的多重曝光图像融合方法，包括如下步骤：S1：以行为单位，从输入获取两组原始图像数据和；S2：从输入原始数据和中提取亮度信息和；所述输入图像数据可来自于行缓存单元，也可来自于上一级融合单元的输出；S3：根据所述亮度信息，计算中每个像素的融合权重系数；S4：根据亮度信息和，计算反映每个位置发生LED闪烁严重程度的参考值；S5：根据参考值，计算LED闪烁补偿系数：S6：根据融合权重系数和LED闪烁补偿系数，计算每个像素的融合值，得到最终输出图像。优选的是，在S2中，具体包括以下子步骤：S11：用h表示一个3x3卷积核；S12：和均为按照Bayer(2x2)格式周期性排列的像素平面；S13：用所述卷积核对所述和进行卷积运算，即得出构造亮度信息和。优选的是，在S13中所述卷积运算中的除法运算使用位移操作实现快速计算，即；。优选的是，其中S3中，具体包括以下子步骤：S31：用表示所述图像和亮度值数据中任意元素的坐标；S32：用表示输入图像当前位置像素的亮度值；S33：构造平面直角坐标系，横轴为亮度，纵轴为融合权重系数；S34：从系统配置中获取分段折线方程的横坐标、、、、；S35：从系统配置中获取分段折线方程的纵坐标、、；S36：用所述横坐标、、、、和纵坐标、、构造分段折线方程，对所述进行系数映射，即计算输入图像当前位置的融合权重系数。优选的是，其中S4中参考值的一种计算方法如下：从系统配置中获取当前有效曝光时长和的比值,计算参考值，。优选的是，其中S5中，具体包括以下子步骤：S51：从系统配置中获取开始补偿LED闪烁的阈值；S52：从系统配置中获取完全补偿LED闪烁的阈值；S53：通过公式计算，即得到当前位置的LED闪烁补偿系数。优选的是，其中S6中，具体包括以下子步骤：S61：从系统配置中获取当前有效曝光时长和的比值；S62：利用、、、、计算当前位置像素的融合值，即。一种具有LED闪烁补偿功能的多重曝光图像融合系统，以下仅以4重曝光为例加以说明，所述系统包括：图像传感器单元，接口单元、行缓存单元（1到4）、融合单元（1到3）和输出单元；图像传感器单元，用于以行交替方式生成4种不同曝光时长的原始数据，曝光时长分别用、、、表示；接口单元，用于连接图像传感器单元，将其产生的行交替图像数据分离并输入到系统；行缓存单元（1到4），用于缓存和对齐图像传感器产生的4组曝光图像数据，分别用、、、表示；融合单元1，用于检测和补偿中的LED闪烁，融合和图像数据，输出融合图像；融合单元2，用于检测和补偿中的LED闪烁，并融合和图像数据，输出融合图像；融合单元3，用于检测和补偿中的LED闪烁，并融合和图像数据，输出融合图像；输出单元，根据一定的接口格式将最终融合图像输出到外部或下一级处理单元。本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。附图说明下面结合附图对本专利技术进行详细的描述，以使得本专利技术的上述优点更加明确。其中，图1为本专利技术具有LED闪烁补偿功能的多重曝光图像融合系统的流水线框图。图2为本专利技术具有LED闪烁补偿功能的多重曝光图像融合方法的流水线框图。图3为本专利技术在Bayer格式上进行3x3卷积运算提取亮度信息的原理示意图。图4为本专利技术具有LED闪烁补偿功能的多重曝光图像融合方法计算融合系数过程中的分段折线映射原理示意图。具体实施方式以下将结合附图及实施例来详细说明本专利技术的实施方式，借此对本专利技术如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本专利技术中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本专利技术的保护范围之内。如图1-4所示，其本文档来自技高网...

【技术保护点】
1.一种具有LED闪烁补偿功能的多重曝光图像融合方法，其特征在于，包括如下步骤：/nS1：以行为单位，从输入获取两组原始图像数据

【技术特征摘要】
1.一种具有LED闪烁补偿功能的多重曝光图像融合方法，其特征在于，包括如下步骤：
S1：以行为单位，从输入获取两组原始图像数据和；
S2：从输入原始数据和中提取亮度信息和；
S3：根据所述亮度信息，计算中每个像素的融合权重系数；
S4：根据亮度信息和，计算反映每个位置发生LED闪烁严重程度的参考值；
S5：根据参考值，计算LED闪烁补偿系数：
S6：根据融合权重系数和LED闪烁补偿系数，计算每个像素的融合值，得到最终输出图像。


2.根据权利要求1所述的一种具有LED闪烁补偿功能的多重曝光图像融合方法，其特征在于，在S2中，具体包括以下子步骤：
S11：用h表示一个3x3卷积核；
S12：和均为按照Bayer(2x2)格式周期性排列的像素平面；
S13：用所述卷积核对所述和进行卷积运算，即






得出构造亮度信息和。


3.根据权利要求2所述的一种具有LED闪烁补偿功能的多重曝光图像融合方法，其特征在于，在S13中所述卷积运算中的除法运算使用位移操作实现快速计算，即




；。


4.根据权利要求1所述的一种具有LED闪烁补偿功能的多重曝光图像融合方法，其特征在于，其中S3中，具体包括以下子步骤：
S31：用表示所述图像和亮度值数据中任意元素的坐标；
S32：用表示输入图像当前位置像素的亮度值；
S33：构造平面直角坐标系，横轴为亮度，纵轴为融合权重系数；
S34：从系统配置中获取分段折线方程的横坐标、、、、；
S35：从...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：深圳市艾为智能有限公司，
类型：发明
国别省市：广东;44