一种基于异步事件流的视频重建方法和系统技术方案

本发明专利技术提供了一种基于异步事件流的视频重建方法和系统，包括：获取需要重建为视频的异步事件流，并将异步事件流转换为中介表示；将中介表示输入预先构建的异步事件流图像重建系统，得到灰度图像序列；按照时间顺序连接灰度图像序列中的各灰度图像，构成视频；本发明专利技术提供的异步事件流图像重建系统中，事件融合模块整合了一段时间内的关键信息，下采样模块采用循环结构增强帧间的联系，跳跃连接中部署了增强重要信息、抑制噪声的结构，本发明专利技术整合了各时刻的关键信息，复现了沉默像素位置的光强，去除了伪影和噪声，能够提升重建视频的质量。量。量。

【技术实现步骤摘要】
video with an event camera》中的E2VID方法搭建了一个端到端的U型网络框架，取得了较好的效果，但生成的结果中仍存在伪影等问题，2020年欧洲计算机视觉会议的《Reducing the Sim
‑
to
‑
Real Gap for Event Cameras》中的E2VID+在E2VID方法的基础上调整了训练策略，得到了更好的结果，但是效果依然有改进空间。

技术实现思路

[0005]为克服上述现有技术的不足，本专利技术提出一种基于异步事件流的视频重建方法，包括：
[0006]获取需要重建为视频的异步事件流，并将所述异步事件流转换为中介表示；
[0007]将所述中介表示输入预先构建的异步事件流图像重建系统，得到灰度图像序列；
[0008]按照时间顺序连接灰度图像序列中的各灰度图像，构成视频；
[0009]其中，所述异步事件流图像重建系统是基于整合一段时间内的关键信息的事件融合模块、采用循环结构增强帧间的联系的下采样模块、抑制噪声的跳跃连接以及缩减通道恢复图像尺寸的上采样模块构成的；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于异步事件流的视频重建方法，其特征在于，包括：获取需要重建为视频的异步事件流，并将所述异步事件流转换为中介表示；将所述中介表示输入预先构建的异步事件流图像重建系统，得到灰度图像序列；按照时间顺序连接灰度图像序列中的各灰度图像，构成视频；其中，所述异步事件流图像重建系统是基于整合一段时间内的关键信息的事件融合模块、采用循环结构增强帧间的联系的下采样模块、抑制噪声的跳跃连接以及缩减通道恢复图像尺寸的上采样模块构成的；每个中介表示由一段事件流中的所有事件计算而来。2.如权利要求1所述的方法，其特征在于，所述异步事件流图像重建系统的构建，包括：构造异步事件流图像重建系统的结构，所述结构包括依次连接的事件融合模块、下采样模块、残差块、上采样模块和尾部，其中，所述下采样模块包括多个依次连接的下采样结构，所述上采样模块包括多个依次连接的上采样结构，上采样结构的数目与下采样结构的数目相同，所述下采样结构和上采样结构以所述残差块为中心对称布置，每个下采样结构还通过跳跃连接将输出的数据经过注意力机制层后传输至对称分布的上采样结构，所述事件融合模块还通过跳跃连接将输出的数据传输至尾部；所述事件融合模块用于接收当前时刻之前以及当前时刻之后预设时长的中介表示并融合两部分中介表示，所述下采样模块用于进行下采样，所述残差块用于进行残差计算，所述上采样模块用于进行上采样，所述尾部用于输出灰度图像；基于COCO数据集和选定的前景图片集，采用ESIM方法模拟得到训练用的异步事件流和对应灰度视频；将所述训练用的异步事件流转换为训练用的中介表示；以所述训练用的中介表示为输入，以对应灰度视频中的各灰度图像为输出，对所述结构进行训练，得到异步事件流图像重建系统。3.如权利要求2所述的方法，其特征在于，所述事件融合模块，包括：共享卷积层、全局池化层、第一全连接层、第二全连接层和第三全连接层；所述共享卷积层用于处理当前时刻之前以及当前时刻之后预设时长的中介表示，得到当前时刻之前预设时长的中介表示对应的第一特征图以及当前时刻之后预设时长的中介表示对应的第二特征图；所述全局池化层用于对第一特征图和第二特征图对应像素加和后的数据进行降维，得到第一注意图，并将第一注意图输入第一全连接层；所述第一全连接层用于缩减所述第一注意图的通道数目，得到第二注意图，并将所述第二注意图分别输入第二全连接层和第三全连接层；所述第二全连接层用于恢复第二注意图的通道数目，生成第一特征图对应的注意图；所述第三全连接层用于恢复第二注意图的通道数目，生成第二特征图对应的注意图；以第一特征图及对应注意图的乘积加上第二特征图及对应注意图的乘积的和为所述事件融合模块的输出。4.如权利要求2所述的方法，其特征在于，所述下采样结构包括依次连接的卷积层、激活层和长短时记忆卷积层；所述卷积层用于输入数据，所述长短时记忆卷积层用于输出数据；所述长短时记忆卷积层中具有增强相邻帧间的联系的当前特征的状态图。
5.如权利要求2所述的方法，其特征在于，所述残差块包括两个依次连接的残差结构；每个所述残差结构分别包括依次连接的第一卷积层、第一激活层、第二卷积层和第二激活层；第一卷积层的输入数据还通过跳跃连接与第二卷积层输出的数据加和后输入第二激活层；前一个残差结构的第一卷积层用于获取残差块的输入数据，后一个残差结构的第二激活层用于输出残差块的输出数据。6.如权利要求2所述的方法，其特征在于，所述上采样结构包括：依次连接的第一层、第二层、第三层和第四层；所述第一层用于输入数据，所述第四层用于输出数据；其中，所述第一层为双线性插值层；所述第二层为两个并联的卷积层；所述第三层为注意力机制层；所述第四层为激活层。7.如权利要求2所述的方...

【专利技术属性】
技术研发人员：张轶，芦悦，刘哲，金松昌，史殿习，杨烟台，张玉晖，
申请(专利权)人：中国人民解放军军事科学院国防科技创新研究院，
类型：发明
国别省市：