本发明专利技术涉及图像处理技术领域，尤其涉及一种基于事件引导的图像去模糊方法，包括：S1：获取事件相机的去模糊数据集；S2：采用事件时空体素网格表示法对事件流进行处理，获得事件体素；S3：构建基于事件引导的去模糊网络，基于事件引导的去模糊网络包括特征提取网络和去模糊主干网络；S4：构建总损失函数，利用总损失函数和GT图像对基于事件引导的去模糊网络进行训练，获得训练好的基于事件引导的去模糊网络；S5：将模糊图像和事件体素输入至训练好的基于事件引导的去模糊网络进行特征提取和特征融合，获得去模糊后的清晰图像。本发明专利技术能够解决现有的去模糊方法的计算量大和不具备实时性等问题。
【技术实现步骤摘要】
本专利技术涉及图像处理，尤其涉及一种基于事件引导的图像去模糊方法。
技术介绍
1、事件相机是一种新型的仿生视觉传感器，它不以恒定速率捕获图像，而是仅响应场景中光强发生变化的地方。事件生成过程如图1所示，当光强变化超过设定阈值时，事件相机会以微秒级的时间分辨率标记时间戳，并输出事件。特殊的成像方式使得事件相机具有高时间分辨率的特性，能够以非常高的速度捕获事件数据，因此对于快速移动的物体或者高动态范围的场景非常具有优势。现有的方法是将模糊图像看作是一系列潜像的积分，而事件则表示潜像之间的变化。通过将事件数据与潜像相关联来对模糊生成的过程进行建模，利用单个模糊帧及其事件数据重建高帧率、清晰的视频。且现有技术还提出了事件增强稀疏学习网络（eslnet），利用稀疏学习的框架，联合考虑事件和模糊图像的强度观测来从事件相机中恢复高质量图像。现有技术利用事件流作为辅助来去除图像模糊，但依然存在数据集制作不规范、易受噪声损坏和阈值不确定性等的问题，导致现有技术不能对模糊图像与事件流中包含的运动信息进行有效的处理。
技术实现思路
1、本专利技术为解决现有技术因存在数据集制作不规范、易受噪声损坏和阈值不确定性等的问题，导致不能对模糊图像与事件流中包含的运动信息进行有效的处理的问题，提供一种基于事件引导的图像去模糊方法，创建了可作为基准的事件相机去模糊网络数据集，且解决现有的去模糊方法的计算量大和不具备实时性等问题。
2、本专利技术提出的基于事件引导的图像去模糊方法，具体包括如下步骤：
3、s1：获取事件相机的去模糊数据集，去模糊数据集由模糊图像、gt图像和事件流构成。
4、步骤s1具体包括如下步骤：
5、s11：将在gopro数据集中选取的来自270个视频的清晰图片序列作为待测数据集，且待测数据集的分辨率为1280*720；
6、s12：利用事件相机模拟器的帧插值算法对待测数据集进行处理，使待测数据集的帧速率提升为360fps，获得gt图像；
7、s13：对gt图像所包含的图片依次进行灰度和双三次插值的下采样操作，使gt图像所包含图片的分辨率均调整为240*180；
8、s14：利用事件相机模拟器生成与gt图像相对应的事件流；
9、s15：将调整后的gt图像所包含的每个视频中的每13张连续视频帧均划分为一组，并对每组连续帧进行平均，获得占空比t=13/15的模糊图像。
10、s2：采用事件时空体素网格表示法对事件流进行处理，获得事件体素。
11、s3：构建基于事件引导的去模糊网络，基于事件引导的去模糊网络包括特征提取网络和去模糊主干网络。
12、s4：构建暗通道损失函数，暗通道损失函数与l1损失函数构成总损失函数，利用总损失函数和gt图像对基于事件引导的去模糊网络进行训练，获得训练好的基于事件引导的去模糊网络。
13、总损失函数：
14、（1）；
15、（2）；
16、（3）；
17、其中，λ为平衡参数，为l1损失函数，为暗通道损失函数，为gt图像对应的暗通道图像，为去模糊后的清晰图像对应的暗通道图像，l(gt)为gt图像，l（pred）为去模糊后的清晰图像。
18、s5：将模糊图像和事件体素输入至训练好的基于事件引导的去模糊网络进行特征提取和特征融合，获得去模糊后的清晰图像。
19、优选地，特征提取网络包括1*1卷积层、3*3卷积层、relu激活层和通道注意力模块，其中，将模糊图像输入至1*1卷积层进行特征映射的提取，获得特征图像a1，将事件体素输入至1*1卷积层进行特征映射的提取，获得特征图像b1，特征图像b1经3*3卷积层进行两次卷积及相应的relu激活操作，对应获得特征图像b2，将事件体素还输入至1*1卷积层进行卷积操作，获得特征图像b3，将特征图像b2和特征图像b3相加，获得特征图像b4，将特征图像a1和特征图像b4相乘后输入至通道注意力模块进行处理，获得特征图像c；
20、去模糊主干网络包括编码器、解码器和1*1卷积层，其中，特征图像c依次输入至跳跃连接的编码器和解码器进行编码和解码，获得特征图像d1，特征图像d1经1*1卷积层进行卷积操作，获得去模糊后的清晰图像。
21、优选地，通道注意力模块包括池化层、3*3卷积层、relu激活层和sigmoid激活层，输入至通道注意力模块的特征图像c1经池化层进行池化操作，获得特征图像c2，特征图像c2经3*3卷积层进行卷积及相应的relu激活操作，获得特征图像c3，特征图像c3经3*3卷积层进行卷积及相应的sigmoid激活操作，获得特征图像c4，将特征图像c4与特征图像c1相乘，获得特征图像c。
22、优选地，编码器包括四层编码层，且每一层编码层均包括5*5卷积层、残差块和relu激活层，输入至编码层的特征图像d1经5*5卷积层进行卷积操作，获得特征图像d2，特征图像d2经残差块进行三次残差及相应的relu激活操作，获得特征图像d3；
23、解码器包括四层解码层，且每一层解码层均包括5*5反卷积层、残差块和relu激活层，输入至解码层的特征图像e1经5*5反卷积层进行反卷积操作，获得特征图像e2，特征图像e2经残差块进行三次残差及相应的relu激活操作，获得特征图像e3。
24、优选地，残差块包括3*3卷积层和relu激活层，输入至残差块的特征图像f1经3*3卷积层进行卷积及相应的relu激活操作，获得特征图像f2，特征图像f2经3*3卷积层进行卷积操作后，获得残差块的输出特征图像f3。
25、与现有技术相比，本专利技术能够取得如下有益效果：
26、（1）与现有技术使用的esim事件相机模拟器不同，本专利技术使用的事件相机模拟器v2e无需依赖ros环境，在windows上即可很好的合成事件流。另外，本专利技术通过将生成事件流的图片序列从8倍改成3倍，使生成的事件流具有数据量小，集成度高，时间戳严格对齐等突出优点。
27、（2）本专利技术提出的基于事件引导的去模糊网络能够接受混合类型的输入数据，通过融合模糊图像和相应曝光时间内的事件流，生成一系列潜在的清晰图像。本专利技术通过特征提取网络中的卷积块和激活函数组合来提取事件流和模糊图像的灰度帧数据的信息，并将事件特征与图像特征相乘后引入通道注意力模块，通过提高特征提取网络对关键信息的敏感性来关注模糊图像中的严重模糊区域。
28、（3）本专利技术利用pytorch中的内置函数——unfold函数，实现了暗通道先验在基于事件引导的去模糊网络中的反向传播，并采用l1损失函数来约束模糊图像暗通道和清晰图像按通道之间的差异性，使基于事件引导的去模糊网络得到了更好的训练。
本文档来自技高网...
【技术保护点】
1.一种基于事件引导的图像去模糊方法，其特征在于，具体包括如下步骤：
2.根据权利要求1所述的基于事件引导的图像去模糊方法，其特征在于，所述特征提取网络包括1*1卷积层、3*3卷积层、Relu激活层和通道注意力模块，其中，将所述模糊图像输入至所述1*1卷积层进行特征映射的提取，获得特征图像A1，将所述事件体素输入至所述1*1卷积层进行特征映射的提取，获得特征图像B1，所述特征图像B1经所述3*3卷积层进行两次卷积及相应的Relu激活操作，对应获得特征图像B2，将所述事件体素还输入至所述1*1卷积层进行卷积操作，获得特征图像B3，将所述特征图像B2和所述特征图像B3相加，获得特征图像B4，将所述特征图像A1和所述特征图像B4相乘后输入至所述通道注意力模块进行处理，获得特征图像C；
3.根据权利要求2所述的基于事件引导的图像去模糊方法，其特征在于，所述通道注意力模块包括池化层、3*3卷积层、Relu激活层和Sigmoid激活层，输入至所述通道注意力模块的特征图像C1经所述池化层进行池化操作，获得特征图像C2，所述特征图像C2经所述3*3卷积层进行卷积及相应的Relu激活操作，获得特征图像C3，所述特征图像C3经所述3*3卷积层进行卷积及相应的Sigmoid激活操作，获得特征图像C4，将所述特征图像C4与所述特征图像C1相乘，获得特征图像C。
4.根据权利要求2所述的基于事件引导的图像去模糊方法，其特征在于，所述编码器包括四层编码层，且每一层编码层均包括5*5卷积层、残差块和Relu激活层，输入至所述编码层的特征图像D1经所述5*5卷积层进行卷积操作，获得特征图像D2，所述特征图像D2经所述残差块进行三次残差及相应的Relu激活操作，获得特征图像D3；
5.根据权利要求4所述的基于事件引导的图像去模糊方法，其特征在于，所述残差块包括3*3卷积层和Relu激活层，输入至所述残差块的特征图像F1经所述3*3卷积层进行卷积及相应的Relu激活操作，获得特征图像F2，所述特征图像F2经所述3*3卷积层进行卷积操作后，获得所述残差块的输出特征图像F3。
...
【技术特征摘要】
1.一种基于事件引导的图像去模糊方法，其特征在于，具体包括如下步骤：
2.根据权利要求1所述的基于事件引导的图像去模糊方法，其特征在于，所述特征提取网络包括1*1卷积层、3*3卷积层、relu激活层和通道注意力模块，其中，将所述模糊图像输入至所述1*1卷积层进行特征映射的提取，获得特征图像a1，将所述事件体素输入至所述1*1卷积层进行特征映射的提取，获得特征图像b1，所述特征图像b1经所述3*3卷积层进行两次卷积及相应的relu激活操作，对应获得特征图像b2，将所述事件体素还输入至所述1*1卷积层进行卷积操作，获得特征图像b3，将所述特征图像b2和所述特征图像b3相加，获得特征图像b4，将所述特征图像a1和所述特征图像b4相乘后输入至所述通道注意力模块进行处理，获得特征图像c；
3.根据权利要求2所述的基于事件引导的图像去模糊方法，其特征在于，所述通道注意力模块包括池化层、3*3卷积层、relu激活层和sigmoid激活层，输入至所述通道注意力模块的特征图像c1经所述池化...
【专利技术属性】
技术研发人员：赵宇宸，吕恒毅，孙铭，冯阳，张以撒，
申请(专利权)人：中国科学院长春光学精密机械与物理研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。