【技术实现步骤摘要】
面向高光谱图像重建的神经网络架构组合优化方法及系统
[0001]本专利技术涉及的是一种图像处理领域的技术，具体是一种面向高光谱图像重建的神经网络架构组合优化方法及系统。
技术介绍
[0002]高光谱图像(HSI)是种可以沿波长逐点捕获和分析一片空间区域光谱的精细技术，相比于单通道图像和常用的RGB三通道彩色图像，高光谱图像拥有更高的光谱分辨率，可以直接检测观察对象的光谱特征、进而对物质进行区分，高光谱图像也因此被广泛应用于遥感、医学、农业、食品等领域。然而，拍摄高光谱图像需要使用价格昂贵、体积巨大的相机，并且单个场景的成像时间长，难以对动态场景进行记录。拍摄高光谱图像的难度大，导致目前公开的相关数据集远不如RGB图像，进一步阻碍相关研究的推广。针对这个问题，目前有利用优化滤光片设计与高光谱图像重构网络的联合优化方法，以及基于通道约束多特征融合的图像超分辨率重建方法，这些技术均可用于高光谱图像的重建任务，但是神经网络模型的输入依然需要多光谱图像甚至(低空间分辨率的)高光谱图像，获取难度大。因此，从最常见的RGB图像出发，通过相...
【技术保护点】
【技术特征摘要】
1.一种面向高光谱图像重建的神经网络架构组合优化方法，其特征在于，根据输入RGB图像进行非线性映射和高光谱图像的空间一致性建模，得到高光谱图像和对应的相机光谱响应后，根据非负稀疏约束下的网络权重确定最佳相机参数响应；对RGB图像中每个像素，通过堆叠高光谱图像上相同位置的像素还原出该点对应的环境光光谱响应，再通过环境光光谱响应和相机光谱响应响应计算得到重建的RGB图像作为样本，对构建得到的基于Transformer的高光谱图像重建网络进行训练并在在线阶段实现高光谱图像重建。2.一种实现权利要求1所述方法的面向高光谱图像重建的神经网络架构组合优化系统，其特征在于，包括：相机光谱响应选择模块和高光谱图像重建模块，其中：基于可微分搜索(DARTS)的相机光谱响应选择模块从训练数据中的高光谱图像对相机光谱响应进行筛选得到三通道图像；基于自注意力机制的高光谱图像重建模块根据三通道图像重建得到高光谱图像。3.根据权利要求2所述的神经网络架构组合优化系统，其特征是，所述的相机光谱响应选择模块包括：通道压缩层和相机光谱响应选择层，其中：通道压缩层根据高光谱图像信息，进行通道降维处理，得到三通道图像特征；相机光谱响应选择层根据三通道图像特征，依次进行卷积操作下采样、转置卷积上采样，得到场景RGB图像结果。4.根据权利要求3所述的神经网络架构组合优化系统，其特征是，所述的相机光谱响应选择层输出n个节点构成的网络架构，其中每个节点i、j对应一个潜在特征图X
i
、X
j
，节点之间的路径是神经网络层操作，节点i、j之间的有向边<i,j>与变换X
i
的操作O
<i,j>
相关联，具体满足：X
j
＝∑
i<j
O
<i,j>
(X
i
)，其中：Ω表示搜索空间中的候选操作，每个操作表示要应用于X
i
上的某个函数O(
·
)，使用Softmax函数将操作的分类选择用概率表示，松弛到所有的可能操作上，进而使得搜索空间连续，softmax结果为：向量决定节点对<i,j>的操作混合权重，|O|是向量α维度，即候选操作的数量；exp(
·
)为指数运算。5.根据权利要求2所述的神经网络架构组合优化系统，其特征是，所述的筛选是指：其中：O
<i,j>
的结果将替换的结果将替换表示编码架构α中参数最大的操作。6.根据权利要求2所述的神经网络架构组合优化系统，其特征是，所述的高光谱图像重建模块包括：总层数为n的嵌入层(Embedding)、编码单元(Encoder)、解码单元(Decoder)和映射层(Mapping)，其中：嵌入层根据选择模块输出的RGB图像，提取图像嵌入特征并生成特征图，编码单元根据特征图，进行下采样与自注意力信息建模，编码单元通过依次进行两遍自注意力网络处理和下采样处理得到空间分辨率逐步降低的深层特征，同时层数i的神经网络层输出特征通过跳跃连接将该特征传递到层数为n
‑
i的神经网络层，解码单元根据逐层传递的深层特征和跳跃连接的浅层特征，拼接后依次进行两遍上采样处理和自注意力网络处理得到空间分辨率逐步增加的图像特征，直到空间分辨率达到和输入图像一致；映射层根据解码单元输出的图像特征，将光谱特征维度调整到目标高光谱图像光谱数...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。