光谱重建方法、装置、电子设备和存储介质制造方法及图纸

本公开是关于光谱重建方法、装置、电子设备和存储介质，所述方法包括：对目标图像进行浅层特征提取处理，得到所述目标图像的浅层特征；将所述浅层特征输入特征匹配模块进行特征匹配，得到特征匹配结果，其中，所述特征匹配模块包括多个依次连接的稠密残差注意力块DRAB，所述DRAB包括多个依次连接的多尺度残差注意力块MRAB，除最后一个所述MRAB之外的每个所述MRAB的输入和输出进行级联后作为下一个所述MRAB的输入，最后一个所述MRAB的输入和输出进行级联所得到的结果，与首个所述MRAB的输入的和作为所述特征匹配模块的输出；对所述特征匹配结果进行特征融合处理，得到特征融合结果；根据所述特征融合结果，重建所述目标图像对应的多光谱图像。的多光谱图像。的多光谱图像。

【技术实现步骤摘要】
光谱重建方法、装置、电子设备和存储介质


[0001]本公开涉及数据传输
，具体涉及一种光谱重建方法、装置、电子设备和存储介质。

技术介绍

[0002]作为物体的指纹，光谱不仅能够准确表征颜色，还可以用于物质特性化，其已广泛应用于纺织、成衣制造、颜料、油墨、印刷、成像以及文化遗产保护、医疗诊断、遥感、食品质量检测等行业。鉴于光谱在多个领域的实际应用需求，光谱重建技术为获取物体的光谱信息提供了有效途径。但是相关技术中，光谱重建技术的效率较低、精度较差。

技术实现思路

[0003]为克服相关技术中存在的问题，本公开实施例提供一种光谱重建方法、装置、电子设备和存储介质，用以解决相关技术中的缺陷。
[0004]根据本公开实施例的第一方面，提供一种光谱重建方法，包括：
[0005]对目标图像进行浅层特征提取处理，得到所述目标图像的浅层特征；
[0006]将所述浅层特征输入特征匹配模块进行特征匹配，得到特征匹配结果，其中，所述特征匹配模块包括多个依次连接的稠密残差注意力块DRAB，所述DRAB包括多个依次连接的多尺度残差注意力块MRAB，除最后一个所述MRAB之外的每个所述MRAB的输入和输出进行级联后作为下一个所述MRAB的输入，最后一个所述MRAB的输入和输出进行级联所得到的结果，与首个所述MRAB的输入的和作为所述特征匹配模块的输出；
[0007]对所述特征匹配结果进行特征融合处理，得到特征融合结果；
[0008]根据所述特征融合结果，重建所述目标图像对应的多光谱图像。
[0009]在一个实施例中，在所述DRAB内，除首个所述MRAB之外的每个所述MRAB的输入，在经过通道压缩后输入至所述MRAB；和/或，
[0010]在所述DRAB内，最后一个所述MRAB的输入和输出进行级联所得到的结果，进行通道压缩后与首个所述MRAB的输入的和作为所述特征匹配模块的输出。
[0011]在一个实施例中，所述MRAB包括通道注意力块CA、双下采样空间注意力块DDSA、以及三个多尺度残差块MRB，其中，首个所述MRB的输入分别作为第二个所述MRB、所述CA和所述DDSA的输入，第二个所述MRB的输出与所述CA的输出的乘积，和第二个所述MRB的输出与所述DDSA的输出的和的级联结果，作为第三个所述MRB的输入，第三个所述MRB的输出作为所述MRAB的输出。
[0012]在一个实施例中，第三个所述MRB的输入，在经过通道压缩后输入至第三个所述MRB。
[0013]在一个实施例中，所述MRB包括多个相互平行的路径、激活层和至少一个卷积层，其中，每个所述路径均包括不同数量的卷积层，多个所述路径的输出进行级联所得到的结果作为所述激活层的输入，所述激活层的输出作为所述至少一个卷积层的输入，所述至少
一个卷积层用于特征融合及通道压缩，所述至少一个卷积层的输出与所述MRB的输入的和作为所述MRB的输出。
[0014]在一个实施例中，所述CA包括池化层、两个卷积层、激活层和归一化层，其中，所述池化层的输出作为第一个卷积层的输入，第一个卷积层用于通道压缩，第一个卷积层的输出作为所述激活层的输入，所述激活层的输出作为第二个卷积层的输入，第二个卷积层用于通道扩展，第二个卷积层的输出作为所述归一化层的输入，所述归一化层的输出作为所述CA的输出。
[0015]在一个实施例中，所述DDSA包括多个下采样路径和卷积层，其中，所述多个下采样路径中的至少一个路径同时进行通道和空间的下采样，所述多个下采样路径的输出按照一定顺序依次相乘得到的结果作为所述卷积层的输入，所述卷积层用于通道维度的扩展，所述卷积层的输出作为所述DDSA的输出。
[0016]在一个实施例中，所述DDSA还包括归一化层，所述多个下采样路径包括第一下采样路径、第二下采样路径和第三下采样路径，其中，所述第一下采样路径用于通道维度的下采样，所述第二下采样路径和所述第三下采样路径用于通道和空间的下采样，所述第一下采样路径的输出与所述第二下采样路径的输出的乘积作为所述归一化层的输入，所述归一化层的输出与所述第三下采样路径的输出的乘积作为所述卷积层的输入。
[0017]在一个实施例中，所述特征匹配模块还包括多个依次连接的稠密残差快DRB，最后一个所述DRB的输出作为首个所述DRAB的输入，其中，所述DRB包括多个依次连接的多尺度残差块MRB。
[0018]在一个实施例中，所述对所述特征匹配结果进行特征融合处理，得到特征融合结果，包括：
[0019]对每个所述DRAB的输出和每个所述DRB的输出进行级联后进行通道压缩，得到与所述浅层特征通道数相同的通道压缩结果；
[0020]将所述通道压缩结果与所述浅层特征的和确定为所述特征融合结果。
[0021]在一个实施例中，所述根据所述特征融合结果，重建所述目标图像对应的多光谱图像，包括：
[0022]将所述特征融合结果经过激活函数处理后输入适应性多尺度块AMB，并将所述AMB的输出进行通道压缩，得到所述目标图像对应的多光谱图像，其中，所述AMB包括多个特征处理路径，每个所述特征处理路径包括依次连接的卷积层、激活层和卷积层，相同的所述特征处理路径内的两个所述卷积层的卷积核尺寸相同，不同的所述特征处理路径内的所述卷积层的卷积核尺寸不同，每个所述特征处理路径具有对应的权重，所述多个特征处理路径的输出按照对应的权重进行加权求和后，得到所述AMB的输出。
[0023]根据本公开实施例的第二方面，提供一种光谱重建装置，包括：
[0024]提取模块，用于对目标图像进行浅层特征提取处理，得到所述目标图像的浅层特征；
[0025]匹配模块，用于将所述浅层特征输入特征匹配模块进行特征匹配，得到特征匹配结果，其中，所述特征匹配模块包括多个依次连接的稠密残差注意力块DRAB，所述DRAB包括多个依次连接的多尺度残差注意力块MRAB，除最后一个所述MRAB之外的每个所述MRAB的输入和输出进行级联后作为下一个所述MRAB的输入，最后一个所述MRAB的输入和输出进行级
联所得到的结果，与首个所述MRAB的输入的和作为所述特征匹配模块的输出；
[0026]融合模块，用于对所述特征匹配结果进行特征融合处理，得到特征融合结果；
[0027]重建模块，用于根据所述特征融合结果，重建所述目标图像对应的多光谱图像。
[0028]在一个实施例中，在所述DRAB内，除首个所述MRAB之外的每个所述MRAB的输入，在经过通道压缩后输入至所述MRAB；和/或，
[0029]在所述DRAB内，最后一个所述MRAB的输入和输出进行级联所得到的结果，进行通道压缩后与首个所述MRAB的输入的和作为所述特征匹配模块的输出。
[0030]在一个实施例中，所述MRAB包括金字塔通道注意力块CA、双下采样空间注意力块DDSA、以及三个多尺度残差块MRB，其中，首个所述MRB的输入分别作为第二个所述MRB、所述CA和所述DDSA本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种光谱重建方法，其特征在于，包括：对目标图像进行浅层特征提取处理，得到所述目标图像的浅层特征；将所述浅层特征输入特征匹配模块进行特征匹配，得到特征匹配结果，其中，所述特征匹配模块包括多个依次连接的稠密残差注意力块DRAB，所述DRAB包括多个依次连接的多尺度残差注意力块MRAB，除最后一个所述MRAB之外的每个所述MRAB的输入和输出进行级联后作为下一个所述MRAB的输入，最后一个所述MRAB的输入和输出进行级联所得到的结果，与首个所述MRAB的输入的和作为所述特征匹配模块的输出；对所述特征匹配结果进行特征融合处理，得到特征融合结果；根据所述特征融合结果，重建所述目标图像对应的多光谱图像。2.根据权利要求1所述的光谱重建方法，其特征在于，在所述DRAB内，除首个所述MRAB之外的每个所述MRAB的输入，在经过通道压缩后输入至所述MRAB；和/或，在所述DRAB内，最后一个所述MRAB的输入和输出进行级联所得到的结果，进行通道压缩后与首个所述MRAB的输入的和作为所述特征匹配模块的输出。3.根据权利要求2所述的光谱重建方法，其特征在于，所述MRAB包括通道注意力块CA、双下采样空间注意力块DDSA、以及三个多尺度残差块MRB，其中，首个所述MRB的输入分别作为第二个所述MRB、所述CA和所述DDSA的输入，第二个所述MRB的输出与所述CA的输出的乘积，和第二个所述MRB的输出与所述DDSA的输出的和的级联结果，作为第三个所述MRB的输入，第三个所述MRB的输出作为所述MRAB的输出。4.根据权利要求3所述的光谱重建方法，其特征在于，第三个所述MRB的输入，在经过通道压缩后输入至第三个所述MRB。5.根据权利要求3所述的光谱重建方法，其特征在于，所述MRB包括多个相互平行的路径、激活层和至少一个卷积层，其中，每个所述路径均包括不同数量的卷积层，多个所述路径的输出进行级联所得到的结果作为所述激活层的输入，所述激活层的输出作为所述至少一个卷积层的输入，所述至少一个卷积层用于特征融合及通道压缩，所述至少一个卷积层的输出与所述MRB的输入的和作为所述MRB的输出。6.根据权利要求3所述的光谱重建方法，其特征在于，所述CA包括池化层、两个卷积层、激活层和归一化层，其中，所述池化层的输出作为第一个卷积层的输入，第一个卷积层用于通道压缩，第一个卷积层的输出作为所述激活层的输入，所述激活层的输出作为第二个卷积层的输入，第二个卷积层用于通道扩展，第二个卷积层的输出作为所述归一化层的输入，所述归一化层的输出作为所述CA的输出。7.根据权利要求3所述的光谱重建方法，其特征在于，所述DDSA包括多个下采样路径和卷积层，其中，所述多个下采样路径中的至少一个路径同时进行通道和空间的下采样，所述多个下采样路径的输出按照一定顺序依次相乘得到的结果作为所述卷积层的输入，所述卷积层用于通道维度的扩展，所述卷积层的输出作为所述DDSA的输出。8.根据权利要求7所述的光谱...

【专利技术属性】
技术研发人员：汪丽霞，
申请(专利权)人：北京小米移动软件有限公司，
类型：发明
国别省市：