【技术实现步骤摘要】
【国外来华专利技术】
本申请涉及用于数码相机的曝光控制，并且更具体地涉及事件引导的自动曝光控制。
技术介绍
1、曝光控制(exposure control，ec)对于数字摄影[17]是必不可少的，以便捕获具有适当动态范围的图像或视频帧，用于高质量可视化[30]或可靠的基于视觉的应用，包含物体检测和跟踪[24]、同时定位与地图构建(simultaneous localization and mapping，slam)[44]、识别[23]和机器人[29]。在没有ec的情况下，图像可能是饱和的，这会影响检测算法。参见图1a。如图1b所示，适当的ec可减轻这种饱和并且有助于检测算法良好地工作。
2、自动曝光(auto-exposure，ae)通过用复杂的反馈控制器[29，30，44]调整曝光参数来促进ec。相应地，根据辐照度预测[29，30]或通过利用图像评估[18，38，44]来确定最佳曝光水平。两者都需要曝光良好的图像，在自然场景下，尤其是在恶劣的照明条件或不可预测的相对运动的情况下可能无法提供曝光良好的图像，从而导致针对自动曝光控制的大量试验失败[38]。综上所述，两个具有挑战性的问题是：
3、·恶劣的照明条件：有源像素传感器(active pixel sensor，aps)的低动态范围(<60db)和高延迟(对于30fps相机>33毫秒)通常需要多个图像样本，以使当前ae方法收敛于稳定的曝光设置。恶劣的照明条件可能随机干扰稳定点并且使ae方法不稳定，从而导致图像严重饱和。
4、·不可预测的相对运动：a
5、近年来，将事件和图像帧的组合用于曝光控制已成为流行的研究领域。该领域的大多数先前工作[7，40，41]直接使用事件表示方法(如时间表面[21]或事件堆叠[11])来生成事件帧，然后将所述事件帧与图像帧组合。近年来，研究人员对使用优化框架来组合两种模态产生了兴趣[34，43]。wang等人[43]使用运动补偿框架结合高帧率图像来过滤事件。pan等人[34]使用积分模型来描述潜像，然后完成去模糊和帧重建。然而，该工作没有考虑完整的图像形成过程。所述工作假设线性相机辐射响应，当面对非线性相机辐射测量响应时，其几乎不会收敛于最佳设置。此外，所述工作可以生成正确的对比度图像，但不能直接估计辐照度。
6、常规地，大多数基于视觉的系统依赖于内置ae算法[17，28]来调整曝光时间。ae的研究方法可以分为三种类型。第一种类型使用图像统计作为反馈。最常见的方法[19，36]将图像的平均强度移动到中档(例如，对于8位图像为128)。改进的方法采用图像熵[24]和直方图[27，30]来增加稳健性。然而，收敛于适当曝光需要许多图像样本和场景照度的均匀分布，从而使得在自然场景中调整很缓慢。
7、第二种类型的研究利用先验知识(如预定义模式[29])来提高收敛速度。但是此类方法在未知场景中效果不佳。
8、第三种类型引入基于质量的损失函数，以在自然场景中获得更好的性能。shim等人[37]使用图像梯度作为度量。他们计算了用γ映射合成的每个图像的线性损失，以找到适当的曝光调整步骤。为了实现更快收敛，他们在[38]中进一步引入非线性损失。zhang等人[44]改善损失并考虑slam任务的相机响应功能。然而，基于度量的方法容易受到运动模糊的影响。模糊的图像几乎不能为计算质量损失提供正确的信息，从而限制其性能。
9、自然场景具有非常高的动态范围，远高于相机可以感测到的动态范围。因此，需要ae方法来控制由传感器接收到的光的总量(即，曝光)以帮助大多数像素免于饱和。
10、基于仪表的自动曝光(meter-based auto-exposure，m-ae)：m-ae的任务是使用光度计[15]来测量辐射率并计算第j次捕获hj(u)的最佳相机曝光：(u；t)，并计算第j次捕获的hj(u)的最佳相机曝光：
11、
12、其中u＝(x；y)t是像素位置，t是时间，ku定义经校准的相机镜头参数，fm是用于估计曝光的线性函数。估计结果是不准确的，因为光度计仅可以给出场景照度的平均值。此外，用于计量的光学系统也使得使用所述光学系统的相机体积庞大且昂贵。
13、基于图像的自动曝光(image-based auto-exposure，i-ae)：在没有光度计的情况下，大多数基于视觉的系统直接使用图像来调整曝光：
14、hj(u)＝f1(ij-1)，
15、其中fi是将图像映射到最佳曝光的函数，iji-2＝{ii(u)|i＝i＝1,…,j–1}是含有第j次捕获之前的图像的图像集。大多数i-ae方法都依赖于反馈管线来逐渐收敛于最佳曝光。这不仅浪费图像样本，而且还使i-ae容易受到具有挑战性的自然照度的影响。
技术实现思路
1、本申请通过扩展pan等人[34]的公式来解决现有技术的问题，所述公式使用积分模型来描述潜像，然后完成去模糊和帧重建，以便拟合非线性情况，然后将其与根据硬件参数计算的对比度值组合，从而允许快速辐照度计算。这是通过引入新的传感器，即动态视觉传感器(dynamic vision sensor，dvs)[5]以用常规有源像素传感器(aps)进行ec来实现的。
2、该新的事件引导的自动曝光(event-guided auto-exposure，eg-ae)利用动态视觉传感器的高动态范围和低延迟特性来引导有源像素传感器的曝光设置。图像和事件的物理连接用于估计辐照度变化，所述辐照度变化被进一步馈送到eg-ae中以便计算曝光设置。
3、事件引导的自动曝光(eg-ae)：与有源像素传感器(aps)互补，动态视觉传感器(dvs)提供低延迟事件流，所述低延迟事件流编码场景在极高动态范围内的照度变化。这意味着所述事件流可以是引导相机曝光的理想数据。因此，eg-ae的任务是利用两种模态来估计场景照度并计算最佳曝光：
4、hj(u)＝feg(ij-1,ε)，
5、其中feg是利用事件集ε和图像集ij-1来给出最佳曝光的函数。eg-ae的主要挑战来自于找到两种模态之间的物理连接，以及开发出充分利用该连接来计算相机曝光控制的辐照度的有效框架。
6、dvs的优点包含高动态范围(high dynamic range，hdr，>130db[5])、低延迟(1微秒[12])和低运动模糊[10]，这使dvs成为在恶劣环境中操作的理想传感器。dvs的hdr和低运动模糊使其具有计算场景的照度而不受相对运动的影响的hdr感测能力。dvs的低延迟允许在aps曝光之前完成曝光调整，从而将响应时间极大地缩短至微秒级。然而，由于dvs仅响应于照度变化，因此其无法单独用于直接计算正确的绝对照度。需要利用来自aps的绝对信号和来自dvs的相对信号两者的估计框架。本申请使用有效的基于事本文档来自技高网...
【技术保护点】
1.一种用于数码相机的事件引导的自动曝光控制方法，包括以下步骤：
2.根据权利要求1所述的事件引导的自动曝光控制方法，其中所述扫掠步骤和所述线性映射场景场的步骤涉及使光源遍及所述场景进行扫掠，使得光从所述场景中的物体的反射产生场景辐射信号，所述场景辐射信号由镜头变换成传感器辐照度信号。
3.根据权利要求1所述的事件引导的自动曝光控制方法，其中事件和图像是由事件相机中的APS和DVS生成的。
4.根据权利要求3所述的事件引导的自动曝光控制方法，其中所述事件相机是DAVIS346声发射(AE)事件相机。
5.根据权利要求1所述的事件引导的自动曝光控制方法，其中所述APS在曝光时间期间累积所述辐照度并以非线性方式将其变换为数字图像，并且所述DVS与所述APS异步工作以编码辐照度对数的相对变化并生成带时间戳和地址的事件流。
6.根据权利要求5所述的事件引导的自动曝光控制方法，其中所述带时间戳和地址的事件流和每个事件是4维元组。
7.根据权利要求1所述的事件引导的自动曝光控制方法，其中所述基于事件的辐照度估计(I-IE
8.根据权利要求7所述的事件引导的自动曝光控制方法，其中所述参考辐照度是常数。
9.根据权利要求5所述的事件引导的自动曝光控制方法，其中DVS的高动态范围(HDR)感测能力被用于引导用于APS辐照度累积的曝光设置。
10.根据权利要求7所述的事件引导的自动曝光控制方法，其中最新的不饱和像素被用于恢复所述参考辐照度，并且所恢复的参考辐照度与从先前的不饱和像素估计的辐照度组合。
...【技术特征摘要】
【国外来华专利技术】
1.一种用于数码相机的事件引导的自动曝光控制方法，包括以下步骤：
2.根据权利要求1所述的事件引导的自动曝光控制方法，其中所述扫掠步骤和所述线性映射场景场的步骤涉及使光源遍及所述场景进行扫掠，使得光从所述场景中的物体的反射产生场景辐射信号，所述场景辐射信号由镜头变换成传感器辐照度信号。
3.根据权利要求1所述的事件引导的自动曝光控制方法，其中事件和图像是由事件相机中的aps和dvs生成的。
4.根据权利要求3所述的事件引导的自动曝光控制方法，其中所述事件相机是davis346声发射(ae)事件相机。
5.根据权利要求1所述的事件引导的自动曝光控制方法，其中所述aps在曝光时间期间累积所述辐照度并以非线性方式将其变换为数字图像，并且所述dvs与所述aps异步工作以编码辐照度...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。