一种兼容3D降噪的图像宽动态方法技术

本发明专利技术公开了一种兼容3D降噪的图像宽动态方法，针对影像的宽动态和3D降噪要求和实时显示的需要，考虑到宽动态多帧融合的信息冗余，采用长短帧间隔曝光和融合算法相结合总体思路，首先通过长短帧间隔曝光策略获取图像；然后将获取的图像映射为与前一帧相同的亮度；经调整亮度后的图像根据与融合后的前一帧进行运动估计以及图像融合；每次融合过程中，若当前帧为长曝光帧，则舍弃该帧图像中的过亮区域，并对过暗区域赋予高于其余区域的权重；若当前帧为短曝光帧，则舍弃该帧图像中的过暗区域，并对过亮区域赋予高于其余区域的权重；将融合后的图像进行色调映射，最终得到宽动态范围的图像。围的图像。围的图像。

【技术实现步骤摘要】
一种兼容3D降噪的图像宽动态方法


[0001]本专利技术涉及数字图像处理领域，具体涉及影像的宽动态方法。

技术介绍

[0002]数字图像采集是利用摄像头等传感器将光信号转化成电信号并用数字形式进行存储、传输和显示的过程，数字图像处理是将采集的数字图像针对使用目的和场景进行处理优化的过程，其中常见的方法包括：图像增强和复原、图像编码压缩、图像描述等。
[0003]宽动态是解决在极端光照条件下，摄像机输出的图像无法保留亮部和暗部细节的问题的方法。当在强光源（日光、灯具或反光等）照射下的高亮度区域及阴影、逆光等相对亮度较低的区域在图像中同时存在时，摄像机输出的图像会出现明亮区域因曝光过度成为白色，而黑暗区域因曝光不足成为黑色，无法保留细节，严重影响图像质量的问题。摄像机在同一场景中对最亮区域及较暗区域的表现是存在局限的，这种局限就是通常所讲的“动态范围”。
[0004]主流的宽动态方法是采用不同的曝光值进行多次曝光，将得到的几帧图像进行融合，再通过色调映射，得到一张可在屏幕上显示的宽动态范围的图像。但这种方法对于连续的视频流具有一定的局限性：进行多次曝光得到一帧宽动态范围的图片会导致帧率大幅下降，若要保持原有的帧率，则需要对图像采集器件提出更高的要求。同时，当有3D降噪需求时，由于需要保留图片信息用于运动估计，且宽动态的色调映射操作通常需要在YUV域上进行，相比Bayer域需要两到三倍的存储资源，因此宽动态算法会大幅提高存储空间的需求，影响成本。
[0005]如今，图像处理在智能汽车、智能家居、智能监控等诸多领域发挥着越来越重要的作用，宽动态和3D降噪均为其中比较重要的需求。一种可以保持帧率，并且占用资源极低的可兼容3D降噪的宽动态方法具有实用价值。

技术实现思路

[0006]专利技术目的：针对影像的宽动态和3D降噪要求，提出一种兼容3D降噪的图像宽动态方法，可以保持帧率，并且运行时占用内存存储资源低。
[0007]技术方案：一种兼容3D降噪的图像宽动态方法，包括：通过长短帧交替曝光策略获取连续的帧图像，并实时进行逐帧图像融合，所述图像融合过程中包括运动估计处理；
[0008]所述图像融合过程中，将待融合的一帧图像称为当前帧；在进行当前帧图像融合前，先将当前帧图像与上一帧图像映射为同一亮度；每次融合过程中，若当前帧为长曝光帧，则舍弃该帧图像中的过亮区域，并对过暗区域赋予高于其余区域的权重；若当前帧为短曝光帧，则舍弃该帧图像中的过暗区域，并对过亮区域赋予高于其余区域的权重；
[0009]最后，将完成所有帧融合后的图像进行色调映射，得到宽动态范围图像。
[0010]进一步的，所述长短帧交替曝光策略中，每帧的曝光增益和曝光时间计算方法包括：
[0011]步骤A：计算每一帧的基础曝光增益和曝光时间，包括：
[0012]设置初始化的基础曝光增益和曝光时间、，根据下式计算得到下一帧的基础曝光增益和曝光时间、：
[0013][0014]其中，、为上一帧的基础曝光增益和曝光时间，为亮度目标值，为上一次融合后的图像的亮度平均值，函数根据拍摄图像设备的传感器的物理性质预先确定得到；
[0015]步骤B：根据基础曝光增益和曝光时间计算实际曝光增益和曝光时间，包括：
[0016]首先，根据帧数确定将要采集的下一帧为长曝光帧或短曝光帧，对于长曝光帧和短曝光帧，分别用以下公式计算对应的实际曝光增益和曝光时间：
[0017][0018]其中，、分别表示长曝光帧的实际曝光增益和曝光时间，、分别表示短曝光帧的实际曝光增益和曝光时间；、分别为长曝光帧和短曝光帧的增益系数，两者取值范围均为[0.1,0.5]。
[0019]进一步的，根据当前帧图像为长曝光帧或短曝光帧，所述图像映射的映射关系分别采用以下公式：
[0020][0021]其中，、分别表示长曝光帧图像和短曝光帧图像，、分别表示调整亮度后的长曝光帧图像和短曝光帧图像。
[0022]进一步的，若当前帧为长曝光帧，对应的图像融合的数学表达式为：
[0023][0024]若当前帧为短曝光帧，对应的图像融合的数学表达式为：
[0025][0026]其中，表示本次融合后的图像，表示图像中坐标为的像素点的像素值，为融合权重，取值范围为[0.1,0.5]，当没有3D降噪需求时，取值为0.5，当需要进行3D降噪时，将取值为3D降噪权重，即范围为[0.1,0.5)；是对图像过亮或过暗区域进行融合的权重，取值范围为；表示上一次融合后的图像，表示图像经运动估计后像素点匹配到的对应点的像素值，表示调整亮度后的长曝光帧图像中坐标为的像素点的像素值，表示调整亮度后的短曝光帧图像中坐标为的像素点的像素值，、分别为图像过暗和过亮的判定阈值；
[0027]在每次图像融合后，将得到的图像替换存储设备中的图像。
[0028]进一步的，，，其中，为图像动态范围值，系数取值范围为[0.01,0.1]。
[0029]进一步的，根据图像亮度的收敛性判断是否执行所述图像宽动态方法；所述图像的亮度的收敛性通过自动曝光调节的收敛条件进行判定，当上一次融合后的图像的亮度平均值满足时，执行所述图像宽动态方法，其中为亮度收敛的阈值，其取值范围为[0.05,0.2]。
[0030]有益效果：主流的宽动态方法是采用不同的曝光值进行多次曝光，将得到的几帧图像进行融合，再通过色调映射，得到一张可在屏幕上显示的宽动态范围的图像。但这种方法对于连续的视频流具有一定的局限性：进行多次曝光只能得到一帧宽动态范围的图片会导致帧率大幅下降，若要保持原有的帧率，则需要对图像采集器件提出更高的要求。本专利技术方法采用了新的曝光策略，通过长短帧交替曝光，然后将下一帧图像直接与上一次融合后的帧图像融合，而非传统的对每一帧图像均进行多次曝光再融合，从而可以在保持原帧率的前提下使用宽动态方法。
[0031]此外，由于传统的宽动态的色调映射操作通常需要在YUV域上进行，相比Bayer域需要两到三倍的存储资源。同时，当有3D降噪需求时，由于需要保留图片信息用于运动估计，即需要存储上一帧的图像信息作为参考帧，因此兼容3D降噪的宽动态算法会大幅提高存储空间的需求，影响成本。在本专利技术中，通过直接在Bayer域上进行亮度映射，再进行融合的处理方式，每次只需存储上一帧处理后得到的一张Bayer格式图像用于与下一次的图像融合，得到新的一帧输出图像，同时进行3D和宽动态的图像融合，实现兼容3D降噪和宽动态，相对传统方法大幅降低了存储资源的消耗。
附图说明
[0032]图1为本专利技术原理示意图。
具体实施方式
[0033]下面结合附图对本专利技术做更进一步的解释。
[0034]如图1所示，一种兼容3D降噪的图像宽动态方法，通过长短帧交替曝光策略获取连续的帧图像，并实时进行逐帧图像融合，图像融合过程中包括运动估计处理。在图像融合过程中，将待融合的一帧图像称为当前帧。在进行当前帧图像融合前，先将当前帧图像与上一帧图像映射为同一亮本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种兼容3D降噪的图像宽动态方法，其特征在于，包括：通过长短帧交替曝光策略获取连续的帧图像，并实时进行逐帧图像融合，所述图像融合过程中包括运动估计处理；所述图像融合过程中，将待融合的一帧图像称为当前帧；在进行当前帧图像融合前，先将当前帧图像与上一帧图像映射为同一亮度；每次融合过程中，若当前帧为长曝光帧，则舍弃该帧图像中的过亮区域，并对过暗区域赋予高于其余区域的权重；若当前帧为短曝光帧，则舍弃该帧图像中的过暗区域，并对过亮区域赋予高于其余区域的权重；最后，将完成所有帧融合后的图像进行色调映射，得到宽动态范围图像。2.根据权利要求1所述的兼容3D降噪的图像宽动态方法，其特征在于，所述长短帧交替曝光策略中，每帧的曝光增益和曝光时间计算方法包括：步骤A：计算每一帧的基础曝光增益和曝光时间，包括：设置初始化的基础曝光增益和曝光时间、，根据下式计算得到下一帧的基础曝光增益和曝光时间、：其中，、为上一帧的基础曝光增益和曝光时间，为亮度目标值，为上一次融合后的图像的亮度平均值，函数根据拍摄图像设备的传感器的物理性质预先确定得到；步骤B：根据基础曝光增益和曝光时间计算实际曝光增益和曝光时间，包括：首先，根据帧数确定将要采集的下一帧为长曝光帧或短曝光帧，对于长曝光帧和短曝光帧，分别用以下公式计算对应的实际曝光增益和曝光时间：其中，、分别表示长曝光帧的实际曝光增益和曝光时间，、分别表示短曝光帧的实际曝光增益和曝光时间；、分别为长曝光帧和短曝光帧的增益系数，两者取值范围均为[0.1,0.5]。3.根据权利要求2所述的兼容3D降噪的图像宽动态方法，其特征在于...

【专利技术属性】
技术研发人员：季北辰，王彬，程银，聂玮成，周康，程晨，
申请(专利权)人：江苏游隼微电子有限公司，
类型：发明
国别省市：