一种图像去模糊方法及电子设备技术

技术编号：40741053 阅读：2 留言：0更新日期：2024-03-25 20:00

本申请提出一种图像去模糊方法及电子设备，所述方法包括：获取待处理的模糊图像；获取与所述模糊图像在相同曝光时间窗口内产生的脉冲流；根据所述脉冲流对所述模糊图像进行去模糊处理；获取去模糊处理后获得的清晰图像。本申请通过利用脉冲流作为辅助视觉线索来增强高速运动场景中的图像去模糊处理，在高速运动场景中能够增强图像去模糊的效果，能够有效恢复清晰图像。

全部详细技术资料下载

【技术实现步骤摘要】

本申请属于图像处理，具体涉及一种图像去模糊方法及电子设备。

技术介绍

1、在图像质量评价中，物体是否清晰是最重要的指标之一。而受限于拍摄条件和场景，成片常常会存在各种各样原因引起的模糊。现在的视频格式是十九世纪胶片思维和电影视觉暂留技术的产物，这种视频格式天生不具备记录高速运动物体的能力。例如对于每秒30帧的视频来说，平均每33ms放映一帧图像，而这帧图像是几毫秒曝光时间的外部光线叠加。这样的视频格式有两个问题，一是每33ms时间里，绝大部分时间都没有记录传达任何信息；二是图像是在几毫秒的曝光时间中记录的，对于高速运动物体而言，几毫秒也会有较大的位移，从而在图像上形成运动模糊（motion blur）。

2、可见，传统数码相机可以产生理想的视觉效果，但在高速场景中会出现运动模糊。现有的基于深度学习的去模糊算法往往是基于帧的单模态算法，而从模糊图片中获取运动线索较为困难，这使其难以应用于真实场景下的严重模糊。所以如何对高速运动场景中的图像进行去模糊处理，成为技术人员面临的难题。

技术实现思路

1、本申请提出一种图像去模糊方法及电子设备，能够实现高速运动场景中的图像去模糊处理。

2、本申请第一方面实施例提出了一种图像去模糊方法，所述方法包括：

3、获取待处理的模糊图像；

4、获取与所述模糊图像在相同曝光时间窗口内产生的脉冲流；

5、根据所述脉冲流对所述模糊图像进行去模糊处理；

6、获取去模糊处理后获得的清晰图像。</p>

7、在本申请的一些实施例中，所述根据所述脉冲流对所述模糊图像进行去模糊处理，包括：

8、将所述模糊图像及所述脉冲流输入预先训练好的神经网络；

9、利用所述神经网络对所述模糊图像进行去模糊处理；

10、其中，所述神经网络包括去模糊子网络、脉冲重建子网络以及融合模块，所述去模糊子网络通过所述融合模块与所述脉冲重建子网络相连。

11、在本申请的一些实施例中，所述融合模块包括：运动幅度注意力模块；

12、所述运动幅度注意力模块获取对所述模糊图像进行深层特征提取后获得的第一图像深层特征图，根据所述第一图像深层特征图及所述脉冲流进行注意力加权处理。

13、在本申请的一些实施例中，所述根据所述第一图像深层特征图及所述脉冲流进行注意力加权处理，包括：

14、对所述第一图像深层特征图进行上采样恢复到初步彩色去模糊图；

15、从脉冲流中通过统计时间间隔获取简单重建图像，将所述简单重建图像和所述初步彩色去模糊图进行差分得到硬阈值的静止区域掩码；

16、采用通道注意力将所述硬阈值的静止区域掩码精炼为内容感知的运动幅度注意力掩码；

17、将所述运动幅度注意力掩码和所述初步彩色去模糊图进行相乘，得到注意力加权后的初步彩色去模糊图。

18、在本申请的一些实施例中，所述融合模块还包括：交叉注意力模块；

19、所述交叉注意力模块获取所述注意力加权后的初步彩色去模糊图，并获取对所述脉冲重建子网络输入的脉冲流进行深层特征提取后得到的第一脉冲深层特征图，将所述注意力加权后的初步彩色去模糊图与所述第一脉冲深层特征图通过转置注意力及深度卷积进行融合处理，得到第二脉冲深层特征图。

20、在本申请的一些实施例中，所述方法还包括：在所述去模糊子网络，对所述模糊图像进行深层特征提取前对所述模糊图像进行第一编码处理；以及，

21、在所述脉冲重建子网络，对所述脉冲重建子网络输入的脉冲流进行深层特征提取前进行第二编码处理；

22、其中，所述第一编码处理后的模糊图像与所述第二编码处理后的脉冲流具有相同的分辨率。

23、在本申请的一些实施例中，所述融合模块还包括：

24、第二交叉注意力模块，将所述第二脉冲深层特征图与所述第一图像深层特征图进行第二融合处理，输出第二图像深层特征图。

25、在本申请的一些实施例中，所述方法还包括：在所述去模糊子网络，进行与所述第一编码处理对应的第一解码处理，得到清晰彩色图像；

26、在所述脉冲重建子网络，进行与所述第二编码处理对应的第二解码处理，得到脉冲重建灰度图像。

27、在本申请的一些实施例中，所述将所述模糊图像及所述脉冲流输入预先训练好的神经网络的步骤之前，所述方法还包括：

28、对神经网络进行训练的步骤，包括：

29、将模糊图像及在相同曝光时间窗口内产生的脉冲流作为训练数据；

30、将所述模糊图像输入去模糊子网络，将所述在相同曝光时间窗口内产生的脉冲流输入脉冲重建子网络；

31、将真实彩色图像及其相应的灰度图作为监督信号，使用损失函数对所述去模糊子网络输出的清晰彩色图像及所述脉冲重建子网络输出的脉冲重建灰度图像进行监督，训练所述神经网络。

32、本申请第二方面实施例提出了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，还包括主传感器和脉冲传感器，所述主传感器用于接收待处理的模糊图像，所述脉冲传感器用于产生脉冲流，所述处理器运行所述计算机程序以实现如上所述的方法。

33、本申请第三方面的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行实现上述第一方面所述的方法。

34、本申请实施例中提供的技术方案，至少具有如下技术效果或优点：

35、在本申请实施例中，通过获取与待处理的模糊图像在相同曝光时间窗口内产生的脉冲流；根据脉冲流对待处理的模糊图像进行去模糊处理，从而通过利用脉冲流作为辅助视觉线索来增强高速运动场景中的图像去模糊处理，在高速运动场景中能够增强图像去模糊的效果，能够有效恢复图像。

36、本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变的明显，或通过本申请的实践了解到。

本文档来自技高网...

【技术保护点】

1.一种图像去模糊方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述根据所述脉冲流对所述模糊图像进行去模糊处理，包括：

3.根据权利要求2所述的方法，其特征在于，所述融合模块包括：运动幅度注意力模块；

4.根据权利要求3所述的方法，其特征在于，所述根据所述第一图像深层特征图及所述脉冲流进行注意力加权处理，包括：

5.根据权利要求4所述的方法，其特征在于，所述融合模块还包括：交叉注意力模块；

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：在所述去模糊子网络，对所述模糊图像进行深层特征提取前对所述模糊图像进行第一编码处理；以及，

7.根据权利要求5所述的方法，其特征在于，所述融合模块还包括：

8.根据权利要求6所述的方法，其特征在于，所述方法还包括：在所述去模糊子网络，进行与所述第一编码处理对应的第一解码处理，得到清晰彩色图像；

9.根据权利要求2所述的方法，其特征在于，所述将所述模糊图像及所述脉冲流输入预先训练好的神经网络的步骤之前，所述方法还包括：

10.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，还包括主传感器和脉冲传感器，所述主传感器用于接收待处理的模糊图像，所述脉冲传感器用于产生脉冲流，所述处理器运行所述计算机程序以实现如权利要求1-9任一项所述的方法。

...

【技术特征摘要】

1.一种图像去模糊方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述根据所述脉冲流对所述模糊图像进行去模糊处理，包括：

3.根据权利要求2所述的方法，其特征在于，所述融合模块包括：运动幅度注意力模块；

4.根据权利要求3所述的方法，其特征在于，所述根据所述第一图像深层特征图及所述脉冲流进行注意力加权处理，包括：

5.根据权利要求4所述的方法，其特征在于，所述融合模块还包括：交叉注意力模块；

<...

【专利技术属性】
技术研发人员：余肇飞，陈世炎，张济远，郑雅菁，黄铁军，
申请(专利权)人：北京大学，
类型：发明
国别省市：

全部详细技术资料下载我是这个专利的主人