本发明专利技术公开了一种基于双光路RGB融合的高分辨率高光谱成像方法及装置，本发明专利技术方法包括：将针对同一场景两个光路的RGB图像进行融合得到融合图像；对时间步从最大时间步数T开始进行逆序均匀采样；首先计算时间步为最大时间步数T时的加噪高频信息；然后针对每一个时间步，根据时间步的加噪高频信息求解时间步的加噪高频信息直至时获得无噪高频信息；最终将融合图像和无噪高频信息相加得到高光谱图像。本发明专利技术旨在针对同一场景两个光路的RGB图像获得高分辨率的高光谱图像，从而显著提升高光谱图像的获取精度，大幅降低高光谱图像的获取成本。大幅降低高光谱图像的获取成本。大幅降低高光谱图像的获取成本。
【技术实现步骤摘要】
基于双光路RGB融合的高分辨率高光谱成像方法及装置
[0001]本专利技术涉及高光谱成像
，具体涉及一种基于双光路RGB融合的高分辨率高光谱成像方法及装置。
技术介绍
[0002]高光谱成像以窄带记录现实世界的场景光谱，其中每个波段捕获特定光谱波长的信息，与普通RGB图像相比，高光谱图像具有更多通道，储存了更丰富的场景信息，基于这一特点，高光谱图像在遥感、医学诊断、目标检测等领域有广泛的应用。传统高光谱相机光路复杂，难以实现高分辨率和高信噪比成像，导致高光谱图像应用价值的降低，并且通过现有成像设备获取高分辨率高光谱图像存在成本高昂的问题，如何精确、低成本地获取高分辨率的高光谱图像这一关键技术问题吸引了众多关注。
技术实现思路
[0003]本专利技术要解决的技术问题：针对现有技术的上述问题，提供一种基于双光路RGB融合的高分辨率高光谱成像方法及装置，本专利技术旨在针对同一场景两个光路的RGB图像获得高空间分辨率的高光谱图像，从而显著提升高光谱图像的获取精度，大幅降低高光谱图像的获取成本。
[0004]为了解决上述技术问题，本专利技术采用的技术方案为：一种基于双光路RGB融合的高分辨率高光谱成像方法，包括：S101，将针对同一场景两个光路的RGB图像进行融合得到融合图像；S102，对时间步从最大时间步数T开始进行逆序均匀采样；S103，首先计算时间步为最大时间步数T时的加噪高频信息；然后针对每一个时间步，根据时间步的加噪高频信息以及下式求解时间步的加噪高频信息直至时获得无噪高频信息：，上式中，表示时间步的加噪权重的累乘，表示时间步的加噪权重，为预先训练好的噪声预测网络，和为两个光路的RGB图像，为时间步的方差项，为高斯噪声；S104，将融合图像和无噪高频信息相加得到高光谱图像。
[0005]可选地，步骤S101中进行融合得到融合图像的函数表达式为：，
，上式中，和分别为两条光路的相机采样函数矩阵的广义逆，和为两个光路的RGB图像的光谱上采样结果，和为两个光路的RGB图像。
[0006]可选地，步骤S103中加噪高频信息的计算函数表达式为：，上式中，表示时间步的加噪权重的累乘，表示对两个光路的RGB图像进行光谱上采样然后沿通道维进行逐像素相加得到高频信息，表示高斯噪声的标签值，且有：，，上式中，和为中间变量，和表示两个光路的RGB图像的训练样本，和为两个光路的RGB图像的训练样本对应的高光谱图像，和分别为两条光路的相机采样函数矩阵的广义逆。
[0007]可选地，步骤S202中时间步的方差项的计算函数表达式为：，上式中，表示加噪权重的累乘，表示加噪权重的累乘，表示时间步的加噪权重。
[0008]可选地，所述噪声预测网络包括：光谱融合模块SFM，用于将针对同一场景两个光路的RGB图像进行融合得到图像；信息激活模块IAM，用于将光谱融合获得的图像、当前时刻t的加噪高频信息沿着通道维逐像素相加进行信息激活得到激活后的加噪高频信息；多尺度噪声预测模块NPRDM，用于将激活后的加噪高频信息进行多尺度噪声预测得到高斯噪声。
[0009]可选地，所述光谱融合模块SFM进行光谱融合的函数表达式为：，上式中，表示光谱融合获得的图像，表示卷积核为3
×
3的二维卷积层，表示沿通道维堆叠操作，表示光谱上采样操作，和表示同一场景的两张RGB图像的训练样本；所述信息激活模块IAM进行信息激活的函数表达式为：，上式中，代表GELU激活层，表示卷积核为3
×
3的二维卷积层，
表示光谱融合获得的图像，表示当前时刻t的加噪高频信息；所述多尺度噪声预测模块NPRDM将激活后的加噪高频信息进行多尺度噪声预测得到高斯噪声包括：S201，将激活后的加噪高频信息利用噪声提取模块NEB得到特征；所述噪声提取模块NEB包括依次相连的卷积核为3
×
3的二维卷积层、GELU激活层以及卷积核为3
×
3的二维卷积层；S202，将特征首先通过卷积核为4
×
4的二维卷积层进行通道下采样，然后再利用噪声提取模块NEB得到特征；将特征首先通过卷积核为4
×
4的二维卷积层进行通道下采样，然后再利用噪声提取模块NEB得到特征；S203，将特征首先通过卷积核为2
×
2的二维反卷积层进行通道上采样，再与特征堆叠后利用噪声提取模块NEB得到特征；将特征首先通过卷积核为2
×
2的二维反卷积层进行通道上采样，再与特征堆叠后利用噪声提取模块NEB得到特征通过卷积核为3
×
3的二维卷积层得到高斯噪声。
[0010]可选地，步骤S103之前还包括训练噪声预测网络：S301，基于成像模型建立下式所示的高光谱图像和RGB图像的映射关系：，上式中，为光谱上采样矩阵，为高频信息；S302，获取用于作为训练数据的RGB
‑
高光谱图像对、，和表示同一场景两个光路的RGB图像的训练样本，和表示和对应的高光谱图像；S303，根据成像模型将和同一场景两个光路的RGB图像进行光谱上采样，然后沿通道维进行逐像素相加得到高频信息；S304，生成高斯噪声的标签值，并对时间步数进行顺序均匀采样；S305，分别设定各个时间步的加噪权重，并计算各个时间步的加噪高频信息；S306，将加噪高频信息、同一场景两个光路的RGB图像和、时间步数三个参数送入噪声预测网络，并采用损失函数进行梯度下降优化从而得到训练好的噪声预测网络，所述损失函数的函数表达式为：，上式中，表示噪声预测网络的网络参数的梯度，为高斯噪声的标签值，为噪声预测网络预测得到的噪声。
[0011]此外，本专利技术还提供一种基于双光路RGB融合的高分辨率高光谱成像装置，包括分光棱镜、高透滤光片、第一RGB传感器、第二RGB传感器和图像处理模块，所述分光棱镜输出
的一路光线经过高透滤光片在第一RGB传感器中形成同一场景的第一个光路的RGB图像，所述分光棱镜输出的另一路光线在第二RGB传感器形成同一场景的第二个光路的RGB图像，所述第一RGB传感器、第二RGB传感器分别与图像处理模块相连，所述图像处理模块用于被编程或配置以执行所述基于双光路RGB融合的高分辨率高光谱成像方法以将同一场景两个光路的RGB图像进行高光谱成像得到高光谱图像。
[0012]此外，本专利技术还提供一种基于双光路RGB融合的高分辨率高光谱成像装置，包括相互连接的微处理器和存储器，所述微处理器被编程或配置以执行所述基于双光路RGB融合的高分辨率高光谱成像方法。
[0013]此外，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序用于被微处理器编程或配置以执行所述基于双光路RGB融合的高分辨率高光谱成像方法。
[0014]和现有技术相比，本专利技术主要具有下述优点：1、本专利技术基于高光谱图像和RGB图像的映射关系，借助了基于噪声预测网络的扩散模型实现了对高光谱图像高频信息的准确预测，从而能够基于所输入的RGB图像，获取高空间分辨率（10本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于双光路RGB融合的高分辨率高光谱成像方法，其特征在于，包括：S101，将针对同一场景两个光路的RGB图像进行融合得到融合图像；S102，对时间步从最大时间步数T开始进行逆序均匀采样；S103，首先计算时间步为最大时间步数T时的加噪高频信息；然后针对每一个时间步，根据时间步的加噪高频信息以及下式求解时间步的加噪高频信息直至时获得无噪高频信息：，上式中，表示时间步的加噪权重的累乘，表示时间步的加噪权重，为预先训练好的噪声预测网络，和为两个光路的RGB图像，为时间步的方差项，为高斯噪声；S104，将融合图像和无噪高频信息相加得到高光谱图像。2.根据权利要求1所述的基于双光路RGB融合的高分辨率高光谱成像方法，其特征在于，步骤S101中进行融合得到融合图像的函数表达式为：，，上式中，和分别为两条光路的相机采样函数矩阵的广义逆，和为两个光路的RGB图像的光谱上采样结果，和为两个光路的RGB图像。3.根据权利要求1所述的基于双光路RGB融合的高分辨率高光谱成像方法，其特征在于，步骤S103中加噪高频信息的计算函数表达式为：，上式中，表示时间步的加噪权重的累乘，表示对两个光路的RGB图像进行光谱上采样然后沿通道维进行逐像素相加得到高频信息，表示高斯噪声的标签值，且有：，，上式中，和为中间变量，和表示两个光路的RGB图像的训练样本，和为两个光路的RGB图像的训练样本对应的高光谱图像，和分别为两条光路的相机采样函数矩阵的广义逆。4.根据权利要求3所述的基于双光路RGB融合的高分辨率高光谱成像方法，其特征在于，步骤S202中时间步的方差项的计算函数表达式为：
，上式中，表示加噪权重的累乘，表示加噪权重的累乘，表示时间步的加噪权重。5.根据权利要求1所述的基于双光路RGB融合的高分辨率高光谱成像方法，其特征在于，所述噪声预测网络包括：光谱融合模块SFM，用于将针对同一场景两个光路的RGB图像进行融合得到图像；信息激活模块IAM，用于将光谱融合获得的图像、当前时刻t的加噪高频信息沿着通道维逐像素相加进行信息激活得到激活后的加噪高频信息；多尺度噪声预测模块NPRDM，用于将激活后的加噪高频信息进行多尺度噪声预测得到高斯噪声。6.根据权利要求5所述的基于双光路RGB融合的高分辨率高光谱成像方法，其特征在于，所述光谱融合模块SFM进行光谱融合的函数表达式为：，上式中，表示光谱融合获得的图像，表示卷积核为3
×
3的二维卷积层，表示沿通道维堆叠操作，表示光谱上采样操作，和表示同一场景的两张RGB图像的训练样本；所述信息激活模块IAM进行信息激活的函数表达式为：，上式中，代表GELU激活层，表示卷积核为3
×
3的二维卷积层，表示光谱融合获得的图像，表示当前时刻t的加噪高频信息；所述多尺度噪声预测模块NPRDM将激活后的加噪高频信息进行多尺度噪声预测得到高斯噪声包括：S201，将激活后的加噪高频信息利用噪声提取模块NEB得到特征；所述噪声提取模块NEB包括依次相连的卷积核为3
×
3的二维卷积层、GELU激活层...
【专利技术属性】
技术研发人员：李树涛，吴耀航，佃仁伟，郭安静，
申请(专利权)人：湖南大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。