一种基于深度强化学习的磁异常检测方法技术

发明专利技术名称一种基于深度强化学习的磁异常检测方法摘要本发明专利技术公开了一种基于深度强化学习的磁异常检测方法，方法包括：在检测地点采集磁信号，获得不同情况下的磁场信号；利用小波变换及重构方法对采集的磁信号进行带通滤波，滤除属于噪声部分的高频和极低频信号，再利用滤波后的信号构建训练集；搭建深度强化学习模型，其中的智能体由两个结构相同的深度卷积神经网络构成，分别为目标网络和Q网络，同时引入经验回放池，使智能体与环境在训练集内进行交互，得到最优的磁异常检测策略；将待检测信号经过小波带通滤波后，输入训练好的深度强化学习模型，根据模型的输出结果判断待检测信号中是否存在磁异常。信号中是否存在磁异常。信号中是否存在磁异常。

【技术实现步骤摘要】
一种基于深度强化学习的磁异常检测方法


[0001]本专利技术涉及信号处理、深度学习神经网络、强化学习技术，属于磁异常信号的检测领域。

技术介绍

[0002]磁异常检测属于一种无接触被动式检测方法，不依赖于地球磁场特性，不受天气条件的限制，隐蔽性好，不易被检测目标察觉，在水下铁磁目标探测、地质矿产勘探、沉船探测等领域有着广泛的应用。
[0003]传统的磁异常检测方法可以分为两类：一类是根据目标磁异常信号的特征来判断是否存在磁目标，如基于标准正交基函数(OBF)的方法；另一类研究作为噪声的地磁背景信号的统计特征，对比分析有无磁目标时的信号差异，利用噪声特征来判断是否存在磁目标，如基于最小信息熵(MED)、高阶过零率(HOC)等信息的方法。在应用这些方法时，往往存在一些比较理想的假设条件，如OBF方法需要知道CPA距离和目标的运动速度才能得到较好的检测结果，MED和HOC往往假设噪声背景信号服从高斯白噪声分布等。
[0004]由于我们生活的地球本身就存在强大的地磁场，这个地磁场又是时变的，即使在同一地点的不同时刻，地磁场也存在较大的变本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度强化学习的磁异常检测方法，其特征在于，实现步骤如下：步骤1：在检测地点采集不同磁异常情况下的磁信号，并为信号设置标签F，存在磁异常的信号标签F设置为1，不存在磁异常的信号标签F设置为0，建立磁信号的训练样本集；步骤2：对信号进行小波变换，将属于高频的细节系数和属于极低频的细节系数置零，仅保留磁异常信号所在频段的分解系数，然后进行重构，得到带通滤波后的磁信号；步骤3：搭建深度强化学习模型，其中的智能体由两个结构相同的深度卷积神经网络构成，分别为目标网络和Q网络，同时引入经验回放池，使智能体与环境在训练集内进行交互，得到最优的磁异常检测策略；步骤4：将待检测信号进行步骤2中所述的小波带通滤波处理，处理后的结果作为步骤3得到的深度强化学习模型的输入，根据模型的输出判断待检测信号中是否存在磁异常。2.根据权利要求1所述的一种基于深度强化学习的磁异常检测方法，其特征在于，步骤1中所说的不同磁异常情况，包括没有铁磁目标、铁磁目标在不同CPA距离、不同移动速度等多种情况，即测量数据要基本覆盖检测目标可能出现的各种情况；当没有铁磁目标物体存在时，采集信号的标签F设置为0；当存在铁磁目标物体时，采集信号的标签F设置为1。3.根据权利要求1所述的一种基于深度强化学习的磁异常检测方法，其特征在于，步骤3中，深度强化学习模型包括状态空间S、动作空间A、奖励函数R以及智能体；其中状态空间S由训练集中所有训练样本组成，每个训练样本对应一个环境状态s；动作空间A为状态所对应的训练样本信号的标签，即是否存在磁异常，A＝{0，1}，其中，0表示不存在磁异常，1表示存在磁异常；奖励函数R为：在当前环境状态s
t
下，智能体执行动作a
t
，对比动作a
t
与当前检测结果下的标签是否一致，如果一致，环境返回给智能体正的奖励r
t
＝1，否则返回负的奖励r
t
＝
‑
1，奖励函数R定义为：式中F
t
表示动作a
t
所对应信号的标签；每个智能体由两个相同结构的深度卷积神经网络组成，分别为目标网络和Q网络；两个网络都由1个输入层、3个卷积层、3个最大池化层、1个Flatten层、1个全连接层和1个输出层组成，其中，卷积层与最大池化层交替组合；以全连接层输出每个动作对应的Q值为依据，选择Q值最大的对应动作作为输出，公式为：O＝σ[w
f
·
Y+b]式中，O为最终得到的Q值，σ为ReLU激活函数，w
f
为全连接层的权重系数，b为偏置系数。4.根据权利要求3所述的一种基于深度强化学习的磁异常检测方法，其特...

【专利技术属性】
技术研发人员：王成栋，雷廷宇，彭程飞，周家齐，李勇，陈勇，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：