一种构建注意力机制网络的方法技术

本发明专利技术公开了一种构建注意力机制网络的方法，首先将样本数据通过数据扩增技术扩大后形成训练样本，将得到的训练样本划分为训练集、验证集和测试集；其次通过采样网络对训练图像进行压缩，得到压缩信号，并通过重构网络对压缩信号进行重构，得到重构结果；接着计算重构结果与训练图像之间的误差，根据该误差使用优化器对采样网络和重构网络进行训练，并使用训练后的采样网络和重构网络对测试集进行重构，统计信号重构的峰值信噪比；最后根据统计得到的峰值信噪比对采样网络和重构网络进行优化，得到最终的采样网络和重构网络。经过不断训练和优化得到的采样网络可以保留更多的图像结构信息，实现更好的信号重构。实现更好的信号重构。实现更好的信号重构。

【技术实现步骤摘要】
一种构建注意力机制网络的方法


[0001]本专利技术涉及信号重构
，具体涉及一种构建注意力机制网络的方法，所述注意力机制网络用于压缩感知信号的重构。

技术介绍

[0002]关联成像(correlated imaging)，也称鬼成像(ghost imaging)，是一种基于光场涨落的量子或者经典关联特性，通过参考光场与目标探测光场之间的强度关联运算，可以非定域地获取目标图像信息的新型成像技术。然而传统的关联成像存在采样次数较多，成像时间长，系统结构复杂的问题，并不适用于在水体这种复杂多变的环境中成像。
[0003]压缩感知是一种应用于信号采样与处理的新兴技术，其充分的利用了信号的两个重要性质：稀疏性和可压缩性，可以有效的降低采样次数并减少存储量。因此，压缩感知技术已经取代了传统的信号压缩方法，并在各个领域得到了广泛的应用。然而，在信号重构方面，传统的压缩感知技术仍然面临着算法复杂度高、重构时间长、迭代次数多等问题。

技术实现思路

[0004]本专利技术针对现有技术中存在的问题，提供了一种构建注意力机制网络的方法，该网络模型结构简单，参数量少，具有较低的计算复杂度和更好的重构精度。
[0005]为了解决上述技术问题，本专利技术的技术方案是：一种构建注意力机制网络的方法，所述注意力机制网络包括依次连接的采样网络和重构网络，用于压缩感知信号的重构，包括以下步骤：
[0006]S1:将样本数据通过数据扩增技术扩大后形成训练样本，将得到的训练样本划分为训练集、验证集和测试集；/>[0007]S2:构建采样网络，通过采样网络对该训练集中的训练图像进行压缩，得到压缩信号；
[0008]S3:构建重构网络，通过重构网络对该压缩信号进行重构，得到重构结果；
[0009]S4:计算重构结果与训练图像之间的误差；
[0010]S5:根据计算得到的误差使用优化器对采样网络和重构网络进行训练，并使用训练后的采样网络和重构网络对测试集中的图像进行重构，统计信号重构结果的峰值信噪比；
[0011]S6:根据统计得到的峰值信噪比，调整步骤S5中的训练参数，对采样网络和重构网络进行优化，得到最终的采样网络和重构网络。
[0012]进一步的，所述采样网络包括第一卷积层、第二卷积层、反卷积层和求和层，所述第二卷积层和反卷积层连接所述第一卷积层，所述求和层连接所述反卷积层和第二卷积层。
[0013]进一步的，所述采样网络包括依次连接的第一卷积层和第二卷积层。
[0014]进一步的，所述重构网络包括多个残差块，每个所述残差块包括依次连接的第三
卷积层、第四卷积层和注意力机制模块，所述注意力机制模块包括依次连接的全局平均池化层和全连接层。
[0015]进一步的，所述重构网络输出特征图，该特征图与采样网络的求和层的输出结果进行加法融合得到注意力机制网络的重构结果。
[0016]进一步的，所述重构网络输出特征图，该特征图与采样网络的第二卷积层的输出结果进行加法融合得到注意力机制网络的重构结果。
[0017]进一步的，所述步骤S4中，计算重构结果与训练图像之间的误差采用如下函数：
[0018][0019]其中N表示训练图像的像素个数，X、Y分别代表采样网络输入的训练图像和重构网络输出的重构结果。
[0020]进一步的，所述步骤S4中，计算重构结果与训练图像之间的误差采用如下公式：
[0021][0022][0023]其中N表示训练图像的像素个数，E
i
表示图像中每个像素位置的边界能量，d
i
表示第i个像素到边界的欧氏距离。
[0024]进一步的，所述步骤S4中，计算重构结果与训练图像之间的误差采用如下公式：
[0025][0026]其中N表示训练图像包含N个像素，X、Y分别代表采样网络输入的训练图像和重构网络输出的重构结果。
[0027]进一步的，所述步骤S4中，计算重构结果与训练图像之间的误差采用如下公式：
[0028][0029]V(Y)＝∑
i,j
Y
i+1,j
‑
Y
i,j
|+|Y
i,j+1
‑
Y
i,j
|
[0030]其中N表示训练图像包含N个像素，X、Y分别代表采样网络输入的训练图像和重构网络输出的重构结果，λ为超参数。
[0031]本专利技术提供的构建注意力机制网络的方法，该构建注意力机制网络包含采样网络和重构网络两部分。本专利技术对采样网络和重构网络通过不断训练和优化以得到最终的采样网络和重构网络，从而使最终的采样网络可以自主的学习测量矩阵来对信号进行压缩处理，该方式不仅可以保留更多的图像结构信息，同时可以实现更好的重建。此外本专利技术提出的网络模型结构简单，参数量少，具有较低的计算复杂度和更好的重构精度。
附图说明
[0032]图1是本专利技术一具体实施例中构建注意力机制网络的方法的流程图；
[0033]图2是本专利技术一具体实施例中采样网络和重构网络的框架示意图；
[0034]图3是本专利技术一具体实施例中重构网络的框架示意图。
[0035]图中所示：10、采样网络；11、第一卷积层；12、第二卷积层；13、反卷积层；14、求和层；20、重构网络；21、第三卷积层；22、第四卷积层；23、全局平均池化层；24、全连接层。
具体实施方式
[0036]下面结合附图对本专利技术作详细描述：
[0037]如图1所示，本专利技术提供了一种构建注意力机制网络的方法，所述注意力机制网络包括依次连接的采样网络10和重构网络20，用于压缩感知信号的重构，包括以下步骤，需要说明的是，最初构建的采样网络为初始的采样网络，经过训练和优化后得到最后的采样网络，最初构建的重构网络为初始的重构网络，经过训练和优化后得到最后的重构网络。
[0038]S1:将样本数据通过数据扩增技术扩大后形成训练样本，将得到的训练样本划分为训练集、验证集和测试集，本实施例中，将训练样本按照8:1:1分为训练集、验证集和测试集，本实施例中可以通过旋转、平移、翻折等数据扩增技术将样本数据扩大形成训练样本。
[0039]S2:构建采样网络10，通过采样网络10对该训练集中的训练图像进行压缩，得到压缩信号，如图2所示，本实施例中，该采样网络10包括第一卷积层11、第二卷积层12、反卷积层13和求和层14，所述反卷积层14连接所述第一卷积层11，所述求和层14连接所述第二卷积层12和反卷积层14。其中第一卷积层11使用k*k大小的卷积核，按照步长k对图像信号进行压缩，这里的k为整数，且能被输入图像的宽和高整除，此处即是能被训练图像的宽和高整除，比如k可以是8，如此可以减少卷积参数且保留更多图像细节，当然k也可以是其他值，需说明的是，卷积核越大，网络需要训练优化的参数越多。该第一卷积层输出的特征通道数根据采样率来选取。对于一个包含N个像素的图像信号，如果本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种构建注意力机制网络的方法，所述注意力机制网络包括依次连接的采样网络和重构网络，用于压缩感知信号的重构，包括以下步骤：S1:将样本数据通过数据扩增技术扩大后形成训练样本，将得到的训练样本划分为训练集、验证集和测试集；S2:构建采样网络，通过采样网络对该训练集中的训练图像进行压缩，得到压缩信号；S3:构建重构网络，通过重构网络对该压缩信号进行重构，得到重构结果；S4:计算重构结果与训练图像之间的误差；S5:根据计算得到的误差使用优化器对采样网络和重构网络进行训练，并使用训练后的采样网络和重构网络对测试集中的图像进行重构，统计信号重构结果的峰值信噪比；S6:根据统计得到的峰值信噪比，调整步骤S5中的训练参数，对采样网络和重构网络进行优化，得到最终的采样网络和重构网络。2.根据权利要求1所述的构建注意力机制网络的方法，其特征在于，所述采样网络包括第一卷积层、第二卷积层、反卷积层和求和层，所述第二卷积层和反卷积层连接所述第一卷积层，所述求和层连接所述反卷积层和第二卷积层。3.根据权利要求1所述的构建注意力机制网络的方法，其特征在于，所述采样网络包括依次连接的第一卷积层和第二卷积层。4.根据权利要求1所述的构建注意力机制网络的方法，其特征在于，所述重构网络包括多个残差块，每个所述残差块包括依次连接的第三卷积层、第四卷积层和注意力机制模块，所述注意力机制模块包括依次连接的全局平均池化层和全连接层。5.根据权利要求1所述的构建注意力机制网络的方法，其特征在于，所述重构网络输出特征图，该特征图与采样网络的求和层的输出结果进行加法融合得到注意力机制网络的重构结果。6.根据权利要求1所述的构建...

【专利技术属性】
技术研发人员：孙立颖，韩捷飞，连博博，
申请(专利权)人：苏州蛟视智能科技有限公司，
类型：发明
国别省市：