【技术实现步骤摘要】
本专利技术涉及图像处理以及计算机视觉，尤其是基于耀斑掩码引导和多感受野感知的图像耀斑去除方法。
技术介绍
1、耀斑是一种常见的光学现象，当强光在镜头系统内发生散射或反射时，会在拍摄的照片中产生独特的放射状亮区和光斑，这便是耀斑。耀斑现象可能会导致低对比度和抑制光源周围的细节，降低图像的视觉质量和视觉算法的性能。以空中物体跟踪为例，由透镜耀斑引入的亮点容易误导算法跟踪耀斑而不是飞行物体。而且在监控镜头、智能手机摄像头、无人机和自动驾驶摄像头等移动的平台中，日常磨损、指纹和灰尘会起到光栅的作用，加剧镜头耀斑，使其严重影响这些平台的性能，所以从图像中去除耀斑对于提高户外的计算机视觉系统的适用性和稳定性具有重要的研究意义。另外，耀斑图案取决于透镜的光学特性、透镜保护玻璃、红外截止玻璃、光源的位置和强度、制造缺陷、划痕和日常使用中积累的灰尘。正是因为耀斑的成因多种多样，表现形式也多种多样。典型的耀斑包括光晕、条纹、亮线、饱和点、反射等。这种多样性使得去除耀斑成为一个十分具有挑战性的问题。
2、目前图像耀斑去除方案大体上被分为三大类，即硬件解决方案、软件解决方案以及数据驱动解决方案。大多数硬件解决方案侧重于改善相机的光学系统以消除耀斑，例如优化的透镜镜筒设计、透镜罩或反射涂层。广泛使用的技术是在透镜元件上施加抗反射涂层，以通过破坏干涉来减少内部反射。但是在此情况下，抗反射涂层添加到所有光学表面是昂贵的，并且这种涂层的厚度只能针对特定波长和入射角进行优化。此外，它们只能在捕获过程中减少耀斑，但不能处理耀斑现有图像，并且这些硬件解决
技术实现思路
1、本专利技术提出基于耀斑掩码引导和多感受野感知的图像耀斑去除方法，能有效去除耀斑图像上的耀斑。
2、本专利技术采用以下技术方案。
3、基于耀斑掩码引导和多感受野感知的图像耀斑去除方法，包括以下步骤：步骤s1、收集耀斑图像并进行数据预处理，预处理方法包括数据配对、数据随机裁切、数据增强处理，得到训练数据集；
4、步骤s2、设计全局特征提取模块，采用通道注意力和空间注意力提取耀斑图像全局特征；
5、步骤s3、设计多感受野动态融合模块，该模块采用膨胀卷积模块来提取不同感受野的耀斑图像特征，并采用动态权重融合模块来融合多感受野的耀斑图像特征；
6、步骤s4、设计耀斑去除网络，该网络由初始特征提取模块、u形编码器解码器模块以及图像复原模块组成；
7、步骤s5、利用耀斑掩码设计用于指导步骤s4所设计网络参数优化的损失函数；
8、步骤s6、使用步骤s1得到的训练数据集训练步骤s4中的耀斑去除网络，得到训练好的基于耀斑掩码引导和多感受野感知的图像耀斑去除模型；
9、步骤s7、将待测耀斑图像输入训练好的基于耀斑掩码引导和多感受野感知的图像耀斑去除模型中，预测生成去耀斑图像。
10、步骤s1的具体实现步骤如下：
11、步骤s11、根据数据集中所提供的耀斑图、光源图和背景图生成配对的耀斑图像、带有光源的干净图像以及耀斑掩码；
12、步骤s12、将每张尺寸为h×w×3的耀斑图像随机裁切为p×p×3大小的图像，并对其对应的带有光源的干净图像以及耀斑掩码采用相同的随机裁切方式，其中，h、w是耀斑图像的高度和宽度，p是裁切出图像的高度和宽度；
13、步骤s13、随机采用以下8种中的1种增强方式对待训练配对图像进行数据增强：保持原始图像、垂直翻转、旋转90度、旋转90度后垂直翻转、旋转180度、旋转180度后垂直翻转、旋转270度、旋转270度后垂直翻转。
14、步骤s2的具体实现步骤如下：
15、步骤s21、设计通道注意力模块，输入图像特征经过gelu激活函数、自适应平均池化adaptiveavgpool、1×1卷积、gelu激活函数、1×1卷积和sigmoid激活函数得到通道注意力权重attc，与attc相乘得到通道注意力加权后的特征具体公式表示如下：
16、其中，gelu(*)表示gelu激活函数，sigmoid(*)表示sigmoid激活函数，adaptiveavgpool(*)表示自适应平均池化，conv1×1(*)表示卷积核大小为1×1的卷积层，attc表示通道注意力权重；
17、步骤s22、设计空间注意力模块，输入图像特征经过3×3卷积、1×1卷积、gelu激活函数、1×1卷积和sigmoid激活函数得到空间注意力权重atts，与atts相乘得到空间注意力加权后的特征具体公式表示如下：
18、
19、
20、其中，gelu(*)表示gelu激活函数，sigmoid(*)表示sigmoid激活函数，conv1×1(*)表示卷积核大小为1×1的卷积层，conv3×3(*)表示卷积核大小为3×3的卷积层，atts表示空间注意力权重；
21、步骤s23、设计全局特征提取模块，输入图像特征经过groupnorm层、步骤s21的通道注意力模块和步骤s22的空间注意力模块后与相加得到特征经过groupnorm层、3×3卷积、1×1卷积和gelu激活函数后与相加得到输出特征具体公式表示如下：
22、
23、
24、其中，gelu(*)表示gelu激活函数，conv1×1(*)表示卷积核大小为1×1的卷积层，conv3×3(*)表示卷积核大小为3×3的卷积层，groupnorm(*)表示组归一化层，cam(*)表示步骤s21的通道注意力模块，sam(*)表示步骤s22的空间注意力模块。
25、步骤s3的具体实现步骤如下：
26、步骤s31、设计膨胀卷积模块，输入图像特征分别经扩张率为2、4、8的膨胀卷积和gelu激活函数得到输出特征fdial1，fdial2，fdial3(fdial1，fdial2，)，具体公式表示如下：
27、
28、
29、
30、其中，gelu(*)表示gelu激活函数，dilatedr＝2(*)表示扩张率为2的膨胀卷积，dilatedr＝4(*)表示扩张率为4的膨胀卷积，dilatedr＝8(*)表示扩张率为8的膨胀卷积；
31、步骤s32、设计动态权重融合模块，输入为步骤s31中的3个膨胀卷积模块的输出特征fdial1，fdial2，fdial3，将这3个特征分别经过自适应平均本文档来自技高网...
【技术保护点】
1.基于耀斑掩码引导和多感受野感知的图像耀斑去除方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的基于耀斑掩码引导和多感受野感知的图像耀斑去除方法，其特征在于：步骤S1的具体实现步骤如下：
3.根据权利要求1所述的基于耀斑掩码引导和多感受野感知的图像耀斑去除方法，其特征在于：步骤S2的具体实现步骤如下：
4.根据权利要求1所述的基于耀斑掩码引导和多感受野感知的图像耀斑去除方法，其特征在于：步骤S3的具体实现步骤如下：
5.根据权利要求1所述的基于耀斑掩码引导和多感受野感知的图像耀斑去除方法，其特征在于：步骤S4的具体实现步骤如下：
6.根据权利要求1所述的基于耀斑掩码引导和多感受野感知的图像耀斑去除方法，其特征在于：步骤S5的具体实现方法如下：设计损失函数，由基本损失Lbase和掩码损失Lmask组成，网络的总目标损失函数L如下：
7.根据权利要求1所述的基于耀斑掩码引导和多感受野感知的图像耀斑去除方法，其特征在于：步骤S6的具体实现方法如下：按每个批次N对耀斑图像进行划分，将步骤S1中训练数据集划分
...【技术特征摘要】
1.基于耀斑掩码引导和多感受野感知的图像耀斑去除方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的基于耀斑掩码引导和多感受野感知的图像耀斑去除方法，其特征在于：步骤s1的具体实现步骤如下：
3.根据权利要求1所述的基于耀斑掩码引导和多感受野感知的图像耀斑去除方法，其特征在于：步骤s2的具体实现步骤如下：
4.根据权利要求1所述的基于耀斑掩码引导和多感受野感知的图像耀斑去除方法，其特征在于：步骤s3的具体实现步骤如下：
5.根据权利要求1所述的基于耀斑掩码引导和多感受野感知的图像耀斑去除方法，其特征在于：步骤s4的具体实现步骤如下：
6.根据权利要求1所述的...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。