【技术实现步骤摘要】
本专利技术涉及图像重建领域技术，具体地涉及一种事件相机引导的高动态高速场景成像方法及系统。
技术介绍
1、传统相机的动态范围和时间分辨率有限，在真实场景中获取图像时经常会出现低动态范围和运动模糊耦合退化的情况，导致生成图像细节缺失。高动态范围hdr成像致力于从单张或多张低动态范围ldr图像中恢复信息丰富且视觉上令人愉悦的hdr图像。然而当前基于图像帧的高动态范围成像方法(hdrcnn，deephdr，hdrunet，kunet)往往针对静态场景，无法解决包含高速运动目标的动态场景，这使得高动态范围成像难以广泛应用于真实动态场景中。运动去模糊旨在从模糊图像中恢复出潜在清晰图像，然而基于图像帧的运动去模糊方法通常假设特定的运动模式，导致在具有复杂运动的真实动态场景中的性能下降。
2、事件相机是一种基于生物仿生学的新型视觉传感器，在解决低动态范围图像重建和运动去模糊任务上有着显著优势。一方面，事件相机具有高动态范围特性，可以感知大于120db的动态范围，通过挖掘事件的高动态范围特征信息，可以补偿低动态范围图像中的饱和区域。另一方面，事件相机以微秒分辨率记录亮度变化，即使面对复杂的非线性运动，也可以准确记录场景信息，用来重建潜在的清晰图像帧。这类方法通过建立事件流和传统图像帧的亮度一致性关系，补偿非线性运动去模糊任务。
3、在基于事件相机的图像复原任务中，现有任务往往针对单一退化场景，如基于事件的hdr成像(neur-img，hdrev)和基于事件的运动去模糊(evdi，e-cir，esl-net++)，然而从模
技术实现思路
1、针对当前算法难以解决真实动态场景中低动态范围和运动模糊耦合问题，本专利技术提出了一种基于事件相机引导的高动态范围清晰图像重建方法，提升高速高动态场景高动态范围清晰成像能力。
2、为实现这一目的，本专利技术提出以下技术方案：
3、步骤s1：构建混合成像系统并拍摄真实动态场景hdr成像数据集。
4、其中搭建的混合成像系统由传统rgb相机、事件相机和高速rgb相机组成，本专利技术在此基础上建立了硬件同步触发机制；拍摄得到的数据集包含配对的低动态范围模糊图像l、事件流和低动态范围清晰图像s(t)，并实施空间校准保证数据视场一致。
5、步骤s2：构建基于事件的联合hdr成像和运动去模糊的网络e-bl2sh。该网络包含动态范围增强和运动去模糊两个过程，输入低动态范围模糊图像，事件流和需要恢复图像的时间戳，输出高动态范围清晰图像。
6、其中动态范围增强过程利用图像编码器ti编码模糊ldr图像，利用事件编码器te编码事件体素，并将生成特征级联；然后构建动态范围融合网络，利用多级深度特征融合模块，将级联特征进行融合，生成高动态范围特征；
7、其中运动去模糊过程将事件流进一步按恢复图像的事件戳t分为左右两部分事件流，并分别进行编码得到具有位置表征的两个事件体素；构建事件编码器和分别对左右事件体素进行编码，提取其高时间分辨率特征；然后构建运动去模糊模型，利用两个多重感受野运动残差估计模块(mrfr)来估计运动残差特征，用来补偿运动过程，从而恢复出清晰的hdr图像
8、步骤s3：构建动态范围解耦网络drd，解决了动态场景中hdr清晰图像难以获取的问题。具体的，该网络从生成的hdr清晰图像中解耦出3帧交替曝光的ldr清晰图像其中三者曝光值分别对应ev-2,ev+0,ev+2,从而使包含低亮度、中等亮度、高亮度的图像。这一操作将优化问题从hdr域的转移到了ldr域。
9、步骤s4：构建动态范围融合网络(drc)，将ldr域的约束传递到hdr域从而进一步约束清晰的hdr图像具体的，该网络生成的ldr清晰图像重建出hdr清晰图像i′(t)，从而为提供约束。
10、步骤s5：构建自监督优化框架约束上述网络，该框架由hdr-ldr约束，ldr-ldr约束，ldr-hdr约束和hdr-hdr约束构成。
11、hdr-ldr约束用以建立与清晰ldr观测图像的s(t)之间的联系,基于此设计损失函数
12、
13、其中d表示从中选取与ldr清晰图像的s(t)曝光相同的图像，并执行dcombo损失函数，该函数计算了两张图像之间的l1损失，感知损失和对抗损失，这些损失分别在像素和特征级别上对图像执行约束。
14、ldr-ldr约束建立起三帧曝光图像和之间的关系，基于此设计损失函数
15、
16、其中表示将图像亮度线性乘以4倍。
17、ldr-hdr约束建立了与重构的hdr清晰图像i′(t)的关系，基于此设计损失函数
18、
19、其中由融合生成，该过程由传统多曝光融合算法实现。
20、hdr-hdr约束建立了与重构的hdr清晰图像i′(t)的关系，保证清晰且包含高动态范围内容，基于此设计损失函数
21、
22、总的损失函数由上述四个损失函数组成，以此指导训练网络。
23、
24、基于同一专利技术构思，本方案还设计了一种实现事件相机引导的高动态高速场景成像方法的系统，该系统包括，包括据采集模块：拍摄获取动态范围场景hdr成像数据集，数据集包括包含配对校准的低动态范围模糊图像、事件流和低动态范围清晰图像s(t)；
25、主网络：包含动态范围增强模块，利用图像编码器编码低动态模糊图像，利用事件编码器编码事件流体素，并生成特征级联；然后利用多级深度特征融合模块，将级联特征进行融合，生成高动态范围特征fh；运动去模糊模块，将事件流进一步按恢复图像的事件戳t分为左右两部分事件流，并分别进行编码得到具有位置表征的两个事件体素；构建事件编码器和分别对左右事件体素进行编码，提取其高时间分辨率特征；然后利用两个多重感受野运动残差估计模块来估计运动残差特征，用来补偿运动过程，从而恢复出清晰的hdr图像辅助网络模块：动态范围解耦网络，从清晰的hdr图像解耦出清晰的ldr图像动态范围融合网络，将ldr域的约束传递到hdr域，生成重构的hdr清晰图像i′(t)；
26、损失模块：利用自监督优化框架约束住网络和辅助网络模块，该框架包括hdr-ldr约束，用以建立与清晰ldr观测图像的s(t)之间的联系，保证生成是清晰的；
27、ldr-ldr约束，建立起中曝光图像之间的关系，从而保证动态范围的完整性；
28、ldr-hdr约束，建立本文档来自技高网...
【技术保护点】
1.一种事件相机引导的高动态高速场景成像方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的事件相机引导的高动态高速场景成像方法，其特征在于：步骤1的数据集通过搭建的混合成像系统采集，所述系统包括传统RGB相机、事件相机和高速RGB相机。
3.根据权利要求1所述的事件相机引导的高动态高速场景成像方法，其特征在于：运动去模糊模块，利用两个多感受野运动残差估计模块从高动态范围特征FH和左右事件估计残差特征RL和RR；将FH、RL和RR级联并利用卷积解码出清晰的高动态范围图像帧
4.根据权利要求1所述的事件相机引导的高动态高速场景成像方法，其特征在于：步骤3的具体过程为，动态范围解耦网络从生成的HDR清晰图像中解耦出3帧交替曝光的LDR清晰图像其中三者曝光值分别对应EV-2,EV+0,EV+2,从而使包含低亮度、中等亮度、高亮度的图像。
5.根据权利要求1所述的事件相机引导的高动态高速场景成像方法，其特征在于：所述动态范围解耦网络利用级联卷积模块来挖掘的浅层特征，然后利用多层卷积来模拟生成多帧LDR清晰图像
6.根据权利
7.一种用于实现权利要求1-6任一项所述方法的系统，其特征在于：
8.一种电子设备，其特征在于，包括：一个或多个处理器；存储装置，用于存储一个或多个程序；
9.一种计算机可读介质，其上存储有计算机程序，其特征在于：所述程序被处理器执行时实现权利要求1-6中任一项所述的方法。
...【技术特征摘要】
1.一种事件相机引导的高动态高速场景成像方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的事件相机引导的高动态高速场景成像方法，其特征在于：步骤1的数据集通过搭建的混合成像系统采集，所述系统包括传统rgb相机、事件相机和高速rgb相机。
3.根据权利要求1所述的事件相机引导的高动态高速场景成像方法，其特征在于：运动去模糊模块，利用两个多感受野运动残差估计模块从高动态范围特征fh和左右事件估计残差特征rl和rr；将fh、rl和rr级联并利用卷积解码出清晰的高动态范围图像帧
4.根据权利要求1所述的事件相机引导的高动态高速场景成像方法，其特征在于：步骤3的具体过程为，动态范围解耦网络从生成的hdr清晰图像中解耦出3帧交替曝光的ldr清晰图像其中三者曝光值分别对应ev-2,ev+0,ev+2,从而...
【专利技术属性】
技术研发人员：李晓鹏，范赐恩，赵晨，余磊，曾昭源，
申请(专利权)人：武汉大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。