基于图像特征点有效亮度的相机自动曝光方法技术

本发明专利技术公开了一种基于图像特征点有效亮度的相机自动曝光方法。该方法包括：通过对相机进行光度响应标定，得到相机光度响应函数的拟合结果；对相机采集的图像进行特征点提取；在所有特征点周围建立局部窗口，根据像素是否处于特征点局部窗口内建立掩膜；对于掩膜所覆盖图像区域像素剔除过曝点后求平均亮度；根据掩膜内像素平均亮度与相机光度响应函数估计平均环境光强；根据相机光度响应函数与平均环境光强计算目标曝光时间，并利用滑动平均确定最终曝光时间；本发明专利技术可应用于可见光相机的自动曝光调整问题，充分考虑图像特征点丰富区域曝光质量，可快速迭代到合理曝光时间。

Automatic Exposure Method of Camera Based on Effective Brightness of Image Feature Points

The invention discloses a camera automatic exposure method based on the effective brightness of image feature points. The method includes: calibrating the photometric response of the camera to get the fitting result of the photometric response function of the camera; extracting the feature points of the image collected by the camera; establishing a local window around all the feature points, and establishing a mask according to whether the pixels are in the local window of the feature points; eliminating the over-exposed points for the pixels in the image covered by the mask; and calculating the average brightness according to the mask. The average ambient light intensity is estimated by the average brightness of the pixels in the film and the photometric response function of the camera; the target exposure time is calculated by the photometric response function of the camera and the average ambient light intensity, and the final exposure time is determined by the sliding average; the invention can be applied to the automatic exposure adjustment of the visible light camera, fully considering the exposure quality of the rich region of the image feature points, and can quickly iterate to a reasonable one. Time of exposure.

【技术实现步骤摘要】
基于图像特征点有效亮度的相机自动曝光方法
本专利技术涉及相机自动曝光技术，尤其涉及一种基于图像特征点有效亮度的相机自动曝光方法。
技术介绍
随着计算机视觉与图像处理技术在物体检测、识别、跟踪等领域的进步，极大促进了视觉系统在各式各样的无人系统上的应用。相机传感器所采集的图像作为后续算法的直接输入，图像中物体特征，细节等信息将对算法精度造成很大影响。然而，高质量的图像采集的常常受传感器和算法的限制，在一些复杂高动态环境下，容易造成图像过曝或过暗，从而导致信息丢失。相机自动曝光的目的是通过调节相关控制参数，使得相机能够采集到细节丰富的高质量图像。现有的相机曝光控制方式主要有3种：调节镜头光圈，调节放大增益，控制曝光时间。第1种方式涉及到相关硬件操作，实时性不足；第2种方式容易导致成像不稳定，且造成噪声增大；因此现有方法常常使用第3种方式进行曝光控制。传统算法通过评估整幅图像的平均亮度或统计亮度直方图进行曝光调整，这种方法对于简单、低对比度的场景较为有效，但无法应对高动态范围的场景；有算法通过图像所包含的信息进行图像成像质量评估进而进行曝光调整。常用的有图像信息评估有图像的梯度，熵等。但是图像梯度在纯色环境下或图像大范围过曝或过暗时会严重缺失；图像熵涉及到概率模型，在高动态环境下曝光调整不够直观，参数调整需依赖较多人工经验；也有算法将图像平均划分为若干个区域并确定其中某几个为感兴趣区域，随后对感兴趣区域进行平均亮度统计，该方法能够更好地保证图像目标区域的合理曝光，不过其感兴趣区域选取过于粗糙并不适用于场景变化较大情景。
技术实现思路
本专利技术针对可见光相机的自动曝光调整问题中现有根据图像亮度进行曝光调整技术的不足，提出一种基于图像特征点有效亮度的相机自动曝光方法，充分考虑图像特征点丰富区域曝光质量，可快速迭代到合理曝光时间。本专利技术的目的是通过以下技术方案来实现的：一种基于特征点有效亮度的相机自动曝光方法，包含以下步骤：(1)通过光度响应标定，得到相机光度响应函数的拟合结果g；(2)对相机采集的图像进行特征点提取；(3)在所有特征点周围建立局部窗口，根据像素是否处于特征点局部窗口内建立掩膜；(4)对于掩膜所覆盖的图像区域内像素剔除过曝点后求平均亮度Im；(5)判断平均亮度Im是否达到目标平均亮度I0：计算平均亮度Im与目标平均亮度I0的差值ΔI＝|Im-I0|，当ΔI小于设定阈值δ时，认为已调整到合适曝光时间，返回步骤(2)继续监测；否则，执行步骤(6)；(6)根据平均亮度Im与相机光度响应函数估计平均环境光强Em；(7)根据相机光度响应函数与平均环境光强计算目标曝光时间，并利用滑动平均确定最终曝光时间，设置曝光时间并执行步骤(2)继续监测。进一步地，所述步骤(1)中，对相机进行光度响应标定，光度响应函数f描述了环境光强E与相机曝光时间Δt到图像像素亮度I之间的映射关系，f可逆，定义其逆函数g为：g(I)＝lnf-1＝ln(E)+ln(Δt)其中，通过相机在一系列不同曝光下对某一固定场景采集的图像数据，可对g进行拟合。进一步地，所述步骤(2)中进行特征点提取，并进行非极大值抑制，防止特征点过于集中。进一步地，所述步骤(3)中，建立的掩膜形式如下：其中，Mi为像素点i处掩膜值，di为像素点i距离最近特征点的距离，Thresh表示局部窗口阈值大小。进一步地，所述步骤(4)中，平均亮度Im的公式如下：其中，ui表示像素点i的值，Mi为像素点i处掩膜值，λ为抑制过曝参数，用于剔除过曝点，N为掩膜所覆盖像素点数量。进一步地，所述步骤(6)中，平均环境光强Em的公式如下：ln(Em)＝g(Im)-ln(Δtn)其中，Δtn为当前图像对应的曝光时间。进一步地，所述步骤(7)中，目标曝光时间ΔtT的公式如下：最终曝光时间，即下一帧图像对应的曝光时间Δtn+1的公式如下：Δtn+1＝αΔtT+(1-α)Δtn其中，Δtn为当前图像对应的曝光时间，α为平滑系数，用于平滑曝光时间调整的步长，防止曝光时间出现剧烈变化的情况。本专利技术的有益效果是：相比于传统基于全图或固定划分感兴趣区域的方法，本专利技术所采用的基于特征点周围局部窗口作为感兴趣区域进行分析，能够更加精确与高效地确定图像信息量丰富区域。此外，本方法还利用相机光度响应函数进行曝光时间调整指导，能够快速迭代到合理曝光时间。附图说明图1是本专利技术基于图像特征点有效亮度的相机自动曝光方法的流程图；图2是本专利技术的相机光度响应标定示意图，其中，(a)不同曝光下采集的同一场景图像，(b)光度响应函数逆函数拟合结果；图3是本专利技术的图像感兴趣区域选取，其中，(a)未进行非极大值抑制的特征点提取效果，(b)进行非极大值抑制的特征点提取效果，(c)根据特征点分布建立的掩膜；图4是三种方法在复杂高动态范围场景下调整的最终曝光时间所采集的图像，其中，(a)基于全图亮度的曝光方法，(b)相机固有曝光方法，(c)本专利技术的基于图像特征点有效亮度曝光方法；图5是三种方法对于环境光强突然变化时的曝光调整过程记录；图6是相机固有曝光方法与本专利技术曝光方法对于ORB-SLAM2位姿跟踪精度影响对比测试，其中，(a)相机固有曝光方法，(b)本专利技术曝光方法。具体实施方式下面结合附图对本专利技术具体实施方式做进一步说明。如图1所示，本专利技术提供的一种基于图像特征点有效亮度的相机自动曝光方法，具体实施方式如下：(1)通过光度响应标定，得到相机光度响应函数的拟合结果g。环境光强与相机曝光时间到图像像素亮度之间的映射关系为：I＝f(X)＝f(EΔt)其中，对于图像上每一个像素点，E表示单位时间内照射到该像素点的辐照度，即环境光强，X表示该像素点在曝光时间Δt内接收到的总能量，光度响应函数f表示了从X到像素点亮度I的非线性映射。f可逆，定义其逆函数为：g(I)＝lnf-1＝ln(E)+ln(Δt)其中，通过相机在一系列不同曝光下对某一固定场景采集的图像数据(如图2中的(a)所示)，可对g进行拟合，拟合结果如图2中的(b)所示。(2)对相机实时采集的图像进行特征点提取，如图3所示，图3中(a)、(b)分别为进行非极大值抑制前后的特征点分布，可见通过非极大值抑制，特征点过于集中的现象得到很大缓解。(3)在所有特征点周围建立局部窗口，根据像素是否处于特征点局部窗口内建立掩膜：其中，Mi为像素点i处掩膜取值，di为像素点i距离最近特征点的距离，Thresh表示局部窗口阈值大小，本实施例设置Thresh＝15。(4)对于掩膜所覆盖的图像区域内像素剔除过曝点后求平均亮度Im：其中，ui表示像素点i的值，Mi为像素点i处掩膜值，λ为抑制过曝参数，用于剔除过曝点，N为掩膜所覆盖像素点数量。(5)判断平均亮度Im是否达到目标平均亮度I0：计算平均亮度Im与目标平均亮度I0的差值ΔI：ΔI＝|Im-I0|当ΔI小于设定阈值δ时，认为已调整到合适曝光时间，返回步骤(2)继续监测，本实施例设置阈值δ＝15，一般取10～20均可；否则，执行步骤(6)；(6)根据平均亮度Im与相机光度响应函数估计平均环境光强Em：ln(Em)＝g(Im)-ln(Δtn)其中，Δtn为当前图像对应的曝光时间。(7)根据相机光度响应函数与平均环境光强计算目标曝光时间，并利用滑动平均确本文档来自技高网...

【技术保护点】
1.一种基于图像特征点有效亮度的相机自动曝光方法，其特征在于，包含以下步骤：(1)通过光度响应标定，得到相机光度响应函数的拟合结果g；(2)对相机采集的图像进行特征点提取；(3)在所有特征点周围建立局部窗口，根据像素是否处于特征点局部窗口内建立掩膜；(4)对于掩膜所覆盖的图像区域内像素剔除过曝点后求平均亮度Im；(5)判断平均亮度Im是否达到目标平均亮度I0：计算平均亮度Im与目标平均亮度I0的差值ΔI＝|Im‑I0|，当ΔI小于设定阈值δ时，认为已调整到合适曝光时间，返回步骤(2)继续监测；否则，执行步骤(6)；(6)根据平均亮度Im与相机光度响应函数估计平均环境光强Em；(7)根据相机光度响应函数与平均环境光强计算目标曝光时间，并利用滑动平均确定最终曝光时间，设置曝光时间并执行步骤(2)继续监测。

【技术特征摘要】
1.一种基于图像特征点有效亮度的相机自动曝光方法，其特征在于，包含以下步骤：(1)通过光度响应标定，得到相机光度响应函数的拟合结果g；(2)对相机采集的图像进行特征点提取；(3)在所有特征点周围建立局部窗口，根据像素是否处于特征点局部窗口内建立掩膜；(4)对于掩膜所覆盖的图像区域内像素剔除过曝点后求平均亮度Im；(5)判断平均亮度Im是否达到目标平均亮度I0：计算平均亮度Im与目标平均亮度I0的差值ΔI＝|Im-I0|，当ΔI小于设定阈值δ时，认为已调整到合适曝光时间，返回步骤(2)继续监测；否则，执行步骤(6)；(6)根据平均亮度Im与相机光度响应函数估计平均环境光强Em；(7)根据相机光度响应函数与平均环境光强计算目标曝光时间，并利用滑动平均确定最终曝光时间，设置曝光时间并执行步骤(2)继续监测。2.根据权利要求1所述的基于图像特征点有效亮度的相机自动曝光方法，其特征在于：所述步骤(1)中，对相机进行光度响应标定，光度响应函数f描述了环境光强E与相机曝光时间Δt到图像像素亮度I之间的映射关系，f可逆，定义其逆函数g为：g(I)＝lnf-1＝ln(E)+ln(Δt)其中，通过相机在一系列不同曝光下对某一固定场景采集的图像数据，可对g进行拟合。3.根据权利要求1所述的基于图像特征点...

【专利技术属性】
技术研发人员：胡文学，陈昆，沈会良，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33