一种基于深度卷积神经网络的频谱超分辨率在线重建方法技术

本发明专利技术公开了一种基于深度卷积神经网络的频谱超分辨率在线重建方法，结合离线在线频谱重建的动态框架进行在线重建，包括模型构建、离线训练、在线重建和在线评估四个部分。模型构建步骤通过多层卷积层搭建深度卷积神经网络，并基于自适应矩估计算法优化网络模型参数；离线训练步骤将高分辨率频谱数据作为训练标签，其预处理后对应的低分辨率频谱数据作为训练集输入数据；在线重建步骤是将传输的低分辨率频谱输入到已经训练好的模型中，完成超分辨率重建，实现低分辨率频谱数据到高分辨率频谱数据的转换；在线评估步骤利用传输的少量高分辨率频谱数据评估模型重建性能，以确定是否要重新进行离线训练步骤。本方法可将低分辨率频谱数据重建为高分辨率频谱数据，从而有效降低星地传输数据量，减缓星地间数据传输压力。

An on-line spectral super-resolution reconstruction method based on deep convolution neural network

【技术实现步骤摘要】
一种基于深度卷积神经网络的频谱超分辨率在线重建方法
本专利技术涉及一种基于深度卷积神经网络的频谱超分辨率在线重建方法，属于认知无线电通信领域。
技术介绍
卫星频谱感知具有感知范围广、频谱利用率高、设备功耗低等优点，随着接入卫星的地面终端设备数量的增加，卫星频谱传感系统传输的数据量在同一时间内成倍增长，对数据的传输需求越来越大。然而，卫星与地面站之间的传输距离较远，传输能力有限。当前解决星地间海量数据传输受限问题一般有两种方式：一种是通过数据压缩、提高调制解调体制效率等软件方式提高传输链路能力；另一种是通过布局更多地面接收站、使用中继卫星等硬件设备解决传输受限问题，然而高昂的投入成本，换来传输能力有限的提升。因此，在满足感知性能的前提下，我们考虑增大卫星采样数据间隔的方式降低传输量，在地面信关站通过数据恢复方法来重建接收数据的更多信息细节。近年来，随着计算机运算能力的提升以及海量数据，深度学习技术迅速发展，并在各个研究领域都得到了广泛的应用并取得了显著的成果。深度卷积神经网络是拥有稀疏性、参数共享、非线性、平移不变性等优点，注重学习空间上的相关性，在图像处理和分类方面具有优异性能，将图像恢复方法迁移到频谱重建上，把时频域频谱看作是灰度图，时频域相当于图像的高和宽，功率谱密度值相当于像素值。因此应用深度卷积神经网络来对频谱进行恢复重建是可行的、合理的。基于以上观点，这里研究的基于深度卷积神经网络(DeepConvolutionalNeuralNetworks，DCNN)的频谱超分辨率在线重建方法，通过在离线阶段对历史HR频谱的时频域进行自相关分析，学习HR频谱和LR频谱间的特征映射；通离线在线的动态框架，将实时的LR频谱数据输入到训练好的神经网络模型中，实现实时LR频谱的重建，从而缓解星地间传输压力；通过间隔发送的一段HR频谱，在线评估模型性能，保证模型的重建能力。
技术实现思路
专利技术目的：为了克服现有技术中存在的不足，本专利技术提供一种基于深度卷积神经网络的频谱超分辨率在线重建方法，结合离线在线频谱重建的动态框架，通过挖掘历史HR频谱数据与其对应的LR频谱数据的特征映射关系，实现在线重建实时LR频谱数据，并用周期性发送的小段HR频谱数据进行模型的性能监控，既保证了模型重建的性能，也缓解了星地间传输的压力。技术方案：为实现上述目的，本专利技术采用的技术方案为：一种基于深度卷积神经网络的频谱超分辨率在线重建方法，结合离线在线频谱重建的动态框架进行在线重建，包括模型构建、离线训练、在线重建和在线评估四个部分，具体步骤如下：(1)模型构建：利用多层卷积层搭建深度卷积神经网络，网络模型参数通过自适应矩估计优化算法进行优化；(2)离线训练：对传输的HR频谱(High-resolution，高分辨率频谱)进行数据预处理得到大尺寸LR频谱(Low-resolution，低分辨率频谱)，然后将大尺寸LR频谱和对应的HR频谱一同作为训练样本输入到网络模型中进行训练；对传输的HR频谱进行数据预处理的过程包括：对采集到的真实HR频谱进行归一化，对归一化后的HR频谱进行降质，获得LR频谱；对LR频谱进行零插值操作，将LR频谱扩大至HR频谱的尺寸，得到大尺寸LR频谱；(3)在线重建：数据重建服务器利用训练确定的网络模型重建传输的LR频谱，得到重建的HR频谱；过程包括：对卫星传输的LR频谱进行归一化，对归一化后的LR频谱进行零插值操作，将LR频谱扩大至HR频谱的尺寸，得到大尺寸LR频谱；将大尺寸LR频谱输入到训练好的网络模型中；(4)在线评估：基于周期性传输的少量HR数据，将其降质后使用训练好的网络模型进行HR重建，并分析重建的HR频谱与传输的HR频谱进行对比的误差，确定是否需要重新进行离线训练。本专利技术方法通过在离线阶段对历史HR频谱的时频域进行自相关分析，学习HR频谱和LR频谱间的特征映射；通过离线在线动态框架，将实时的LR频谱数据输入到训练好的神经网络模型中，实现实时LR频谱的重建，从而缓解星地间传输压力；通过间隔发送的小段HR频谱，在线评估模型的重建性能。具体的，所述步骤(1)中，设计深度卷积神经网络构建网络模型，通过网络模型学习LR频谱到HR频谱间端到端的一个特征映射，估计LR频谱中缺失的高频信息从而实现HR频谱的重建，网络模型使用修正线性单元作为卷积层的激活函数，用于隐藏层神经元输出；激活函数的形式为：y＝max(0,x)其中：x为深度神经网络的输入向量；max(0,x)为取0和x中的最大值，即当x≤0时，输出为0，当x＞0时，输出为x；网络模型由三层卷积层构成，分别为特征提取层、非线性映射层和频谱重建层：F1(X)＝max(0,W1*X+B1)F2(X)＝max(0,W2*F1(X)+B2)F(X)＝W3*F2(X)+B3其中：X表示大尺寸LR频谱，*表示卷积运算；F1(X)为特征提取层的输出，权重W1包含n1个尺寸为c×f1×f1的特征提取层卷积核，B1表示特征提取层的偏置，且B1是一个n1维向量，n1为不为零的整数；c为特征提取层卷积核的深度，f1同时用于表示特征提取层卷积核的长和宽；特征提取层使用n1个卷积核做卷积操作，每个卷积核输出一张特征映射图，组成n1维特征映射图；F2(X)为非线性映射层的输出，权重W2包含n2个尺寸为n1×f2×f2的非线性映射层卷积核，B2表示非线性映射层的偏置，且B2是一个n2维向量，n2为不为零的整数；f2同时用于表示非线性映射层卷积核的长和宽；非线性映射层对特征提取层的输出进行非线性映射，输出n2维特征映射图；F(X)为频谱重建层的输出，权重W3包含n3个大小为n2×f3×f3的频谱重建层卷积核，B3表示频谱重建层的偏置，且B3是一个n3维向量，n3为不为零的整数；f3为同时用于表示频谱重建层卷积核的长和宽；频谱重建层对非线性映射层输出的特征映射图重叠区域进行平均化操作，获得完整的重建的HR频谱；网络模型的损失函数L(θ)为均方误差函数：其中：F(Xk；θ)为对大尺寸LR频谱Xk进行重建得到的重建HR频谱，即频谱重建层的输出；θ＝{W1,W2,W3,B1,B2,B3}为网络模型参数，K为训练集或验证集的大小，k为训练集或验证集中元素的序号，{Yk}为真实HR频谱集合，{Xk}为与{Yk}对应的大尺寸LR频谱集合；网络模型使用自适应矩估计优化算法迭代更新网络模型参数θ，在LR频谱和HR频谱间更好地建立端到端的特征映射，使得重建HR频谱F(Xk；θ)与对应的真实HR频谱Yk之间的误差达到最小；网络模型的性能评估准则为平均绝对误差(MAE)值，用以评估真实HR频谱与重建HR频谱间的功率谱密度归一化误差值，其公式为：其中：M为频点总数，N是时间长度，y(i,j)是真实HR频谱中第i个频点j时刻的功率谱密度归一化值，是重建HR频谱中第i个频点j时刻的功率谱密度归一化值，i为频点序号，j为时间序号。...

【技术保护点】
1.一种基于深度卷积神经网络的频谱超分辨率在线重建方法，其特征在于：结合离线在线频谱重建的动态框架进行在线重建，包括模型构建、离线训练、在线重建和在线评估四个部分，具体步骤如下：/n(1)模型构建：利用多层卷积层搭建深度卷积神经网络，网络模型参数通过自适应矩估计优化算法进行优化；/n(2)离线训练：对传输的HR频谱进行数据预处理得到大尺寸LR频谱，然后将大尺寸LR频谱和对应的HR频谱一同作为训练样本输入到网络模型中进行训练；/n对传输的HR频谱进行数据预处理的过程包括：对传输的HR频谱进行归一化，对归一化后的HR频谱进行降质，获得LR频谱；对LR频谱进行零插值操作，将LR频谱扩大至HR频谱的尺寸，得到大尺寸LR频谱；/n(3)在线重建：数据重建服务器利用训练确定的网络模型重建传输的LR频谱，得到重建的HR频谱；/n过程包括：对卫星传输的LR频谱进行归一化，对归一化后的LR频谱进行零插值操作，将LR频谱扩大至HR频谱的尺寸，得到大尺寸LR频谱；将大尺寸LR频谱输入到训练好的网络模型中；/n(4)在线评估：基于周期性传输的少量HR数据，将其降质后使用训练好的网络模型进行HR重建，并分析重建的HR频谱与传输的HR频谱进行对比的误差，确定是否需要重新进行离线训练。/n...

【技术特征摘要】
1.一种基于深度卷积神经网络的频谱超分辨率在线重建方法，其特征在于：结合离线在线频谱重建的动态框架进行在线重建，包括模型构建、离线训练、在线重建和在线评估四个部分，具体步骤如下：
(1)模型构建：利用多层卷积层搭建深度卷积神经网络，网络模型参数通过自适应矩估计优化算法进行优化；
(2)离线训练：对传输的HR频谱进行数据预处理得到大尺寸LR频谱，然后将大尺寸LR频谱和对应的HR频谱一同作为训练样本输入到网络模型中进行训练；
对传输的HR频谱进行数据预处理的过程包括：对传输的HR频谱进行归一化，对归一化后的HR频谱进行降质，获得LR频谱；对LR频谱进行零插值操作，将LR频谱扩大至HR频谱的尺寸，得到大尺寸LR频谱；
(3)在线重建：数据重建服务器利用训练确定的网络模型重建传输的LR频谱，得到重建的HR频谱；
过程包括：对卫星传输的LR频谱进行归一化，对归一化后的LR频谱进行零插值操作，将LR频谱扩大至HR频谱的尺寸，得到大尺寸LR频谱；将大尺寸LR频谱输入到训练好的网络模型中；
(4)在线评估：基于周期性传输的少量HR数据，将其降质后使用训练好的网络模型进行HR重建，并分析重建的HR频谱与传输的HR频谱进行对比的误差，确定是否需要重新进行离线训练。


2.根据权利要求1所述的基于深度卷积神经网络的频谱超分辨率在线重建方法，其特征在于：所述步骤(1)中，设计深度卷积神经网络构建网络模型，通过网络模型学习LR频谱到HR频谱间端到端的一个特征映射，估计LR频谱中缺失的高频信息从而实现HR频谱的重建，网络模型使用修正线性单元作为卷积层的激活函数，用于隐藏层神经元输出；激活函数的形式为：
y＝max(0,x)
其中：x为深度神经网络的输入向量；max(0,x)为取0和x中的最大值，即当x≤0时，输出为0，当x＞0时，输出为x；
网络模型由三层卷积层构成，分别为特征提取层、非线性映射层和频谱重建层：
F1(X)＝max(0,W1*X+B1)
F2(X)＝max(0,W2*F1(X)+B2)
F(X)＝W3*F2(X)+B3
其中：X表示大尺寸LR频谱，*表示卷积运算；
F1(X)为特征提取层的输出，权重W1包含n1个尺寸为c×f1×f1的特征提取层卷积核，B1表示特征提取层的偏置，且B1是一个n1维向量，n1为不为零的整数；c为特征提取层卷积核的深度，f1同时用于表示特征提取层卷积核的长和宽；特征提取层使用n1个卷积核做卷积操作，每个卷积核输出一张特征映射图，组成n1维特征映射图；
F2(X)为非线性映射层的输出，权重W2包含n2个尺寸为n1×f2×f2的非线性映射层卷积核，B2表示非线性映射层的偏置，且B2是一个n2维向量，n2为不为零的整数；f2同时用于表示非线性映射层卷积核的长和宽；非线性映射层对特征提取层的输出进行非线性映射，输出n2维特征映射图；
F(X)为频谱重建层的输出，权重W3包含n3个大小为n2×f3×f3的频谱重建层卷积核，B3表示频谱重建层的偏置，且B3是一个n3维向量，n3为不为零的整数；f3为同时用于表示频谱重建层卷积核的长和宽；频谱重建层对非线性映射层输出的特征映射图重叠区域进行平均化操作，获得完整的重建的HR频谱；
网络模型的损失函数L(θ)为均方误差函数：



其中：F(Xk；θ)为对大尺寸LR频谱Xk进行重建得到的重建HR频谱，即频谱重建层的输出；θ＝{W1,W2,W3,B1,B2,B3}为网络模型参数，K为训练集或验证集的大小，k为训练集或验证集中元素的序号，{Yk}为HR频谱集合，{Xk}为与{Yk}对应的大尺寸LR频谱集合；
网络模型使用自适应矩估计优化算法迭代更新网络模型参数θ，使得重建HR频谱F(Xk；θ)与对应的真实HR频谱Yk之间的误差达到最小；
网络模型的性能评估准则为平均绝对误差值，用以评估真实HR频谱与重建HR频谱间的功率谱密度归一化误差值，其公式为：



其中：M为频点总数，N是时间长度，y(i,j)是真实HR频谱中第i个频点j...

【专利技术属性】
技术研发人员：丁晓进，冯李杰，张更新，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏;32