【技术实现步骤摘要】
本专利技术属于计算摄像领域。
技术介绍
1、高光谱图像(hsi)由宽光谱范围内的许多波段组成。与常见的彩色图像不同，hsi将光谱划分为比三个波段多得多的波段，并且它们的波长可以扩展到可见光之外。这些财产使得hsi在遥感应用方面特别具有吸引力和实用性，例如人脸识别、分类等。然而，由于现有高光谱成像技术的局限性，捕获到的hsi经常遭受严重的破坏，这使得开发鲁棒的去噪算法成为迫切需要。
2、传统上，通常采用优化算法来解决hsi去噪，使用不同的手工制作的先验来探索hsi的领域知识，即沿频谱的全局相关性和空间频谱相关性。被广泛研究的典型先验包括，全变分，小波，低秩等。通过考虑光谱和空间冗余，非局部相似性也被广泛用于与变量分裂算法和基于张量的字典学习的共轭。这些方法通常不需要大量的训练数据，甚至不需要训练，但大多数方法都很耗时，并且它们的性能与手工制作的先验与hsi的基本特征的匹配程度密切相关，这削弱了它们在复杂噪声的真实世界去噪中的性能。
3、最近关于hsi去噪的工作将注意力转移到基于学习的方法上，以对hsi的复杂内在特征进行建模，例如，与滑动窗口卷积的谱间相关性，以及与3d卷积的局部空间谱相关性。通过各种常用的技术，例如残差连接、跳过连接和递归网络，这些方法比基于优化的方法获得了更好的结果。然而，它们的性能和效率仍然有限，并且仍然缺乏对谱间和谱内相关性的彻底考虑。此外，尽管大多数hsi恢复模型使用跳过连接来防止低级信息的丢失，但此类模块的开发大多停留在原始的添加或拼接版本。然而，这些普通的特征要么忽略了编码器和解
技术实现思路
1、本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。
2、为此，本专利技术的目的在于提出一种基于混合注意力机制的光谱去噪方法，用于实现光谱去噪。
3、为达上述目的，本专利技术第一方面实施例提出了一种基于混合注意力机制的光谱去噪方法，包括：
4、获取带噪的高光谱图像；
5、构造于高光谱图像去噪的混合注意力网络，所述混合注意力网络包括：多头递归光谱注意力块、渐进谱信道注意模块、跳跃连接注意力模块；
6、将所述带噪的高光谱图像输入混合注意力网络，实现光谱去噪。
7、另外，根据本专利技术上述实施例的一种基于混合注意力机制的光谱去噪方法还可以具有以下附加的技术特征：
8、进一步地，在本专利技术的一个实施例中，所述多头递归光谱注意力块用于计算每个波段中沿光谱进行像素平均的权重，通过一个循环合并步骤执行注意力操作。
9、进一步地，在本专利技术的一个实施例中，所述计算每个波段中沿光谱进行像素平均的权重，包括：
10、给定从3d卷积中提取的特征图f∈rh×w×s×c，使用两个多层感知器，将输入特征转换为候选特征z和合并权重w，表示为：
11、z＝tanh(mlp1(f))
12、w＝sigmoid(mlp2(f))
13、mlp(x)＝w1·(tanh(w2·x))，
14、其中，w1，w2∈rc×c。
15、进一步地，在本专利技术的一个实施例中，所述通过一个循环合并步骤执行注意力操作，包括：
16、通过基于合并权重w累积每个波段的候选特征z来执行，表示为：
17、oi＝(1-wi)⊙zi+wi⊙oi-1，
18、其中，oi、zi、wi分别是第i个波段的输出特征、候选特征和合并权重。
19、进一步地，在本专利技术的一个实施例中，所述渐进谱信道注意模块用于增强每个波段的特征，包括动态通道混合和静态通道混合过程，表示为：
20、y＝scm(gelu(dcm(x)))，
21、其中，x和y是输入和输出特征图。
22、进一步地，在本专利技术的一个实施例中，所述静态通道混合过程通过一个静态的注意力图来混合所有通道的信息，表示为：
23、scm(x)＝x·w。
24、进一步地，在本专利技术的一个实施例中，所述动态通道混合过程采用像素级别的动态权重进行通道混合，包括：
25、通过线性投影计算每个输入的缩放权重s，其中w2∈rc×c；
26、通过逐元素乘法将静态注意力图w1与缩放权重s进行缩放；
27、使用新的注意力图进行通道混合，表示为：
28、dcm(x)＝w1·s⊙x
29、s＝x·w2。
30、进一步地，在本专利技术的一个实施例中，所述跳跃连接注意力模块用于通过从两个卷积层计算的注意力权重明确地加权不同来源的特征，具体通过将第i深度级别的权重表示为mi，表示为：
31、
32、mi＝σ(conv3x3(f))
33、，
34、其中，σ表示sigmoid函数。
35、为达上述目的，本专利技术第二方面实施例提出了一种基于混合注意力机制的光谱去噪装置，包括以下模块：
36、获取模块，用于获取带噪的高光谱图像；
37、构造模块，用于构造于高光谱图像去噪的混合注意力网络，所述混合注意力网络包括：多头递归光谱注意力块、渐进谱信道注意模块、跳跃连接注意力模块；
38、去噪模块，用于将所述带噪的高光谱图像输入混合注意力网络，实现光谱去噪。
39、为达上述目的，本专利技术第三方面实施例提出了一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上所述的一种基于混合注意力机制的光谱去噪方法。
40、本专利技术实施例提出的基于混合注意力机制的光谱去噪方法，该网络同时考虑了光谱间和光谱内的相关性以及低水平和高水平空间光谱有意义特征之间的相互作用，具体来说，本专利技术通过引入一个多头递归光谱注意力(mhrsa)块来代替普通的光谱融合方法，mhrsa采用两个简单的mlp而不是密集卷积来直接将输入特征转换为候选值和注意力图，这使得它不仅在计算上高效，而且在模型参数方面也很轻。mhrsa的另一个重要特征是通过多头特征分区进行高效的双向上下文聚合。本专利技术还提出了一种渐进谱信道注意(psca)，psca)依次应用动态信道混合和静态信道混合，以渐进地混合每个频带的谱内特征。此外，本专利技术重提出了一种新的跳跃连接注意力，它自适应地结合了编码器和解码器的低级别和高级别特征。跳跃连接注意力为每个空间光谱位置分配逐元素融合权重，这允许后续层选择性地关注信息量更大的区域，从而获得更好的去噪结果。
本文档来自技高网...【技术保护点】
1.一种基于混合注意力机制的光谱去噪方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，所述多头递归光谱注意力块用于计算每个波段中沿光谱进行像素平均的权重，通过一个循环合并步骤执行注意力操作。
3.根据权利要求2所述的方法，其特征在于，所述计算每个波段中沿光谱进行像素平均的权重，包括：
4.根据权利要求2或3所述的方法，其特征在于，所述通过一个循环合并步骤执行注意力操作，包括：
5.根据权利要求1所述的方法，其特征在于，所述渐进谱信道注意模块用于增强每个波段的特征，包括动态通道混合和静态通道混合过程，表示为：
6.根据权利要求5所述的方法，其特征在于，所述静态通道混合过程通过一个静态的注意力图来混合所有通道的信息，表示为：
7.根据权利要求5所述的方法，其特征在于，所述动态通道混合过程采用像素级别的动态权重进行通道混合，包括：
8.根据权利要求1所述的方法，其特征在于，所述跳跃连接注意力模块用于通过从两个卷积层计算的注意力权重明确地加权不同来源的特征，具体通过将第i深度级别
9.一种基于混合注意力机制的光谱去噪装置，其特征在于，包括以下模块：
10.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-8中任一所述的基于混合注意力机制的光谱去噪方法。
...【技术特征摘要】
1.一种基于混合注意力机制的光谱去噪方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，所述多头递归光谱注意力块用于计算每个波段中沿光谱进行像素平均的权重，通过一个循环合并步骤执行注意力操作。
3.根据权利要求2所述的方法，其特征在于，所述计算每个波段中沿光谱进行像素平均的权重，包括：
4.根据权利要求2或3所述的方法，其特征在于，所述通过一个循环合并步骤执行注意力操作，包括：
5.根据权利要求1所述的方法，其特征在于，所述渐进谱信道注意模块用于增强每个波段的特征，包括动态通道混合和静态通道混合过程，表示为：
6.根据权利要求5所述的方法，其特征在于，所述静态通道混合过程...
【专利技术属性】
技术研发人员：付莹，赖泽强，张耿，冯向朋，李思远，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。