【技术实现步骤摘要】
本专利技术属于像差恢复领域，具体涉及一种基于事件传感器和时空融合像差恢复算法的极简成像系统。
技术介绍
1、随着光学技术的不断进步与发展，人们对于高像质、大视场、小体积和轻重量的需求逐渐增加，这已经成为光学系统设计的新的发展趋势。传统的光学系统在追求高像质的同时往往占据较大的体积和空间，不利于集成和便携。这对于一些特殊应用场景，如盲人辅助设备、无人机、虚拟现实眼镜、机器人等，提出了新的挑战。
2、面对移动端日渐提升的需求，极简光学系统作为一种可供选择的成像系统慢慢进入大众视野。具体来说，极简光学系统通常只由1-3片球面透镜组成。因此该成像系统的优点十分明显，轻薄、低载荷且易加工，同时由于镜片少、结构简单，使用时几乎不会收到碰撞、移动带来的偏心、倾斜的影响，适合部署于移动端，包括无人机、机器人等场景。但是由于为了保持紧凑结构，采用了简单、少量的光学原件，光学设计时可优化参数少，极简光学系统往往会有比较严重的像差，使得成像质量下降，退化的图像质量对其下游应用带来了挑战。
3、当前主流的解决方法是利用计算成像算法，结合极简光学系统像差分布和数据驱动的后处理图像恢复算法，对带有像差的图像进行恢复。然而，在目前针对极简光学系统的计算成像框架中，面对极简光学系统这种大像差系统时，由于信息损失较大，现有的数据驱动无法恢复出高质量清晰图像，重建结果中会存在伪影以及模糊不清的地方。因此，为了得到更好的恢复效果，需要对算法进行关于拍摄场景的信息补充。与此同时，时序信息是最容易获得的额外信息，只需要保持相机运动拍摄周围场景即可
技术实现思路
1、为解决现有技术中的问题，本专利技术提出了一种基于事件传感器和时空融合像差恢复算法的极简光学系统。事件相机是一种神经形态启发的感知设备。与以固定帧率捕获同步帧的传统相机不同，事件相机在事件发生的精确时间以微秒级的延迟异步地产生事件输出，它具有极低的延时(～1μs)、极高的时间分辨率、显著增大的动态范围(140db)和极低的功耗。事件相机能够提供更多的时序信息，能够帮助极简光学系统在极端环境下的像差恢复。
2、本专利技术提出的一种基于事件传感器和时空融合像差恢复算法的极简成像系统。利用极简光学系统搭建的像差恢复系统，减少系统重量、体积和成本，解决极简光学系统中像质下降的问题，通过引入额外的事件数据，作为时序信息补充，与原有像差恢复空间信息的处理流程进行融合，实现高质量的像差恢复任务。
3、本专利技术是通过以下方法来实现的：
4、一种基于事件传感器和时空融合像差恢复算法的极简成像系统，其包括：
5、极简光学装置，用于捕获带像差的周围场景视觉信息；
6、事件相机成像传感器，用于收集带像差的场景动态视觉信息，同时输出数字图像和事件信息；
7、计算处理器，搭载有基于事件辅助的时空融合像差恢复单元，计算处理设备同时输入带像差的数字图像和事件信息，输出清晰的数字图像；
8、所述基于事件辅助的时空融合像差恢复单元采用时空融合像差恢复算法进行像差恢复，所述时空融合像差恢复算法包括如下步骤：
9、1)获取清晰无像差的数据igt，根据极简光学装置的参数通过像差仿真获取模糊有像差的数据iaber；
10、2)对清晰无像差数据igt顺次进行插帧处理和像差仿真，将经过插帧和像差仿真后的数据集逐一放进事件模拟器中生成相应的原始事件数据，记为ievent；
11、3)将igt、iaber和ievent中的数据逐一配对，构成训练数据对，即多个训练数据对构成像差恢复算法数据集；
12、4)训练时空融合像差恢复模型并利用训练好的时空融合像差恢复模型进行像差恢复。
13、根据本专利技术的优选方案，步骤4)的时空融合像差恢复模型包括事件表征模块、时空融合模块、特征处理单元和图像重建单元；事件表征模块对原始事件数据ievent进行统一、归一化的事件表征；时空融合模块包括时间融合模块和空间融合模块；时间融合模块提取事件数据中包含的额外时序信息，并将其转化成额外的空间信息；空间融合模块是将时间融合模块转化的空间信息与经过特征处理单元后的模糊、带像差的数据iaber进行空间融合。
14、所述的事件表征模块对原始事件数据ievent进行统一、归一化的事件表征，具体为：
15、a)将原始事件数据ievent按固定时间戳长度进行切片处理；
16、b)将一个切片内的事件数据利用3d卷积聚合固定时间戳内的空间信息，在不损失较多事件的时间信息的前提下，有效减少事件数据的内存消耗；
17、c)利用多层感知机将步骤b)经过3d卷积聚合后的事件进行映射到高维空间，提取事件数据中有效的时空信息，从而对事件信息进行有效的表征，记为ieventfeature。
18、根据本专利技术的优选方案，步骤4)中，时空融合像差恢复模型的训练步骤包括：
19、4.1)特征处理单元和图像重建单元的训练
20、4.1.1)批量载入训练数据，训练数据包括模糊有像差的数据iaber、清晰无像差的数据igt；
21、4.1.2)将模糊有像差的数据iaber输入进特征处理单元和图像重建单元，得到预测数据ipred；
22、4.1.3)将预测数据ipred和清晰无像差的数据igt之间计算像素绝对值损失；
23、4.1.4)根据4.1.3)计算的像素绝对值损失，进行反向梯度优化，更新上述两个单元的参数；判断当前训练迭代次数是否达到预期的训练迭代次数，若达到，则结束训练，若未达到，则返回步骤4.1.1)，继续训练；
24、4.2)事件表征模块和时空融合模块的训练
25、4.2.1)批量载入训练数据，训练数据包括模糊有像差的数据iaber、清晰无像差的数据igt和原始事件数据ievent；
26、4.2.2)将模糊有像差的数据iabert输入进4.1)中已经训练完成的特征处理单元，得到高维的特征图，记为iaberfeature；
27、4.2.3)将原始事件数据ievent输入进事件表征模块，得到高维的事件特征图，记为ieventfeature；
28、4.2.3)时间融合模块将富含时序信息的高维事件特征ievent feature转化成空间信息；空间融合模块将时间融合模块转化的空间信息与4.2.2)中得到的iaber featur进行空间融合，得到一个融合特征图，记为ifusion feature；
29、4.2.4)将清晰无像差的数据igt输入进4.1)中已经训练完成的特征处理单元，得到高维的特征图，记为igtfeature；
30、4.2.5)将4.2.3)得到的ifusion feature和4.2.4)得到的igt feature利用融合损失函数进行约束，融合损失函数具体本文档来自技高网...
【技术保护点】
1.一种基于事件传感器和时空融合像差恢复算法的极简成像系统，其特征在于，包括：
2.根据权利要求1所述的基于事件传感器和时空融合像差恢复算法的极简成像系统，其特征在于，所述步骤1)中获取清晰无像差的数据Igt为：直接使用已有的公开数据集，其中清晰无像差的数据作为真值，记为Igt。
3.根据权利要求1所述的基于事件传感器和时空融合像差恢复算法的极简成像系统，其特征在于，所述步骤1)中模糊有像差的数据Iaber的获取方法为：将带像差的极简光学装置的参数输入光学仿真模型，将Igt逐一输入进光学仿真模型，输出为模糊、有像差的数据集，记为Iaber；其中，带像差的极简光学装置的参数包括仿真图像尺寸、传感器尺寸、透镜面定义参数以及材料参数，所述光学仿真模型为光线追迹仿真模型或波动光学仿真模型。
4.根据权利要求1所述的基于事件传感器和时空融合像差恢复算法的极简成像系统，其特征在于，所述步骤2)具体为：
5.根据权利要求1或4所述的基于事件传感器和时空融合像差恢复算法的极简成像系统，其特征在于，所述的事件模拟器为ESIM、V2E或DVS-Volt
6.根据权利要求1所述的基于事件传感器和时空融合像差恢复算法的极简成像系统，其特征在于，步骤4)的时空融合像差恢复模型包括事件表征模块、时空融合模块、特征处理单元和图像重建单元；事件表征模块对原始事件数据Ievent进行统一、归一化的事件表征；时空融合模块包括时间融合模块和空间融合模块；时间融合模块提取事件数据中包含的额外时序信息，并将其转化成额外的空间信息；空间融合模块是将时间融合模块转化的空间信息与经过特征处理单元后的模糊、带像差的数据Iaber进行空间融合。
7.根据权利要求6所述的基于事件传感器和时空融合像差恢复算法的极简成像系统，其特征在于，所述的事件表征模块对原始事件数据Ievent进行统一、归一化的事件表征，具体为：
8.根据权利要求6所述的基于事件传感器和时空融合像差恢复算法的极简成像系统，其特征在于，时间融合模块是基于ResBlock或Transformer结构的特征提取与转化模块；空间融合模块是基于光流或可变形卷积结构的特征对齐以及融合模块；所述特征处理单元和图像重建单元为基于纯RGB图像的像差恢复网络结构，其中特征处理单元视为纯RGB像差恢复网络的编码器，图像重建单元视为纯RGB像差恢复网络的解码器，所述特征处理单元由RRDB或ResBlock模块组成，对时空融合后的特征进行进一步的特征提取与处理，图像重建单元由卷积层和上采样层组成，将特征处理单元处理后的特征重建为图像。
9.根据权利要求1所述的基于事件传感器和时空融合像差恢复算法的极简成像系统，其特征在于，步骤4)中，时空融合像差恢复模型的训练步骤包括：
10.根据权利要求1所述的基于事件传感器和时空融合像差恢复算法的极简成像系统，其特征在于，所述的极简光学装置为单片球面透镜或单片菲涅尔透镜；计算处理器为GPU计算单元。
...【技术特征摘要】
1.一种基于事件传感器和时空融合像差恢复算法的极简成像系统，其特征在于，包括：
2.根据权利要求1所述的基于事件传感器和时空融合像差恢复算法的极简成像系统，其特征在于，所述步骤1)中获取清晰无像差的数据igt为：直接使用已有的公开数据集，其中清晰无像差的数据作为真值，记为igt。
3.根据权利要求1所述的基于事件传感器和时空融合像差恢复算法的极简成像系统，其特征在于，所述步骤1)中模糊有像差的数据iaber的获取方法为：将带像差的极简光学装置的参数输入光学仿真模型，将igt逐一输入进光学仿真模型，输出为模糊、有像差的数据集，记为iaber；其中，带像差的极简光学装置的参数包括仿真图像尺寸、传感器尺寸、透镜面定义参数以及材料参数，所述光学仿真模型为光线追迹仿真模型或波动光学仿真模型。
4.根据权利要求1所述的基于事件传感器和时空融合像差恢复算法的极简成像系统，其特征在于，所述步骤2)具体为：
5.根据权利要求1或4所述的基于事件传感器和时空融合像差恢复算法的极简成像系统，其特征在于，所述的事件模拟器为esim、v2e或dvs-voltmeter。
6.根据权利要求1所述的基于事件传感器和时空融合像差恢复算法的极简成像系统，其特征在于，步骤4)的时空融合像差恢复模型包括事件表征模块、时空融合模块、特征处理单元和图像重建单元；事件表征模块对原始事件数据ievent进行统一、归一化的事件表征；时空融合模块包括时间融合模块和...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。