一种基于贝叶斯神经网络的卫星异常检测方法技术

本发明专利技术公开了一种基于贝叶斯神经网络的卫星异常检测方法，包括：与使用传统神经网络的异常检测的方法不同，将贝叶斯思想引入神经网络，网络的权重不再是单值，而是符合某种概率分布。贝叶斯思想赋予神经网络不确定性，给予神经网络这一黑盒模型更好的数学解释。首先，依据卫星数据来构建传统的长短时神经网络。其次，引入贝叶斯思想，建立贝叶斯长短时神经网络，使用dropout方法来进行近似推断，通过最小化网络权重的近似分布和后验分布之间KL散度来学习网络权重。接着，通过蒙特卡洛采样近似权重分布的方式输出网络结果。然后，采用预测熵和互信息这两种度量方式来计算异常检测分类结果的不确定性。最后，通过人工或者自编码器来对具有高不确定的分类样本进行进一步的判断，从而能够更好地提高异常检测的准确率。

A method of satellite anomaly detection based on Bayesian neural network

【技术实现步骤摘要】
一种基于贝叶斯神经网络的卫星异常检测方法
本专利技术涉及一种基于贝叶斯神经网络的新型卫星异常数据检测方法，是针对卫星异常数据检测的方法，属于工程应用与信息科学的交叉领域。
技术介绍
卫星是一个由相互关联、相互制约的众多部件组成的复杂系统，它是遥测感知、无线通信、导航控制等多学科技术的融合，卫星开启了人类探索浩瀚宇宙的大门。由于卫星长期处在太阳辐射等恶劣的外太空环境下，其在轨运行期间可能会发生无法预料的异常或故障，提前采取措施及时发现这些无法预料的异常或故障，能够保障卫星长期稳定运行。因此，异常检测在卫星故障排查和实时健康检测等领域起着重要的作用。考虑到卫星复杂的设计结构和恶劣的工作环境，无法直接在外太空的环境下进行异常检测。目前，采用最多的方法是通过在卫星各部件上安装多个传感器直接采集卫星各部件的在轨运行数据，将在轨运行数据传输到地面遥测中心存储为时序数据，然后对卫星时序遥测数据进行分析，实现对卫星的异常检测。为保障卫星在轨运行的安全性和稳定性，开展卫星实时异常检测技术具有显著的经济和社会效益。卫星故障的前期表现是卫星异常，及时发现卫星异常并采取措施将有可能避免故障的发生。由于卫星的造价高、制造周期长等特点，现有的方法无法在不损坏卫星本身的前提下以低人力、财力、成本的方式对其进行实时异常检测，因此，通过对卫星遥测数据进行分析，并实时检测其潜在异常，识别故障发生前期的微小异常，并通过地面监控系统对卫星运行状态进行相应的调整，可及时避免故障的发生，从而提升卫星在轨运行的稳定性和可靠性，延长卫星在轨寿命并确保其能顺利完成飞行任务。卫星的异常检测严重依赖模型的准确度，一个过度自信的决策可能低估异常遥测数据带来的危险。并且，该领域数据集不平衡(卫星遥测数据中的正常数据远远多于异常)，这种情况会导致传统模型在采样的类别上发生过拟合现象。将神经网络看作一个概率模型，则传统的神经网络的参数学习可以视为点估计。从概率论的角度来说，使用点估计作为基于任何分类的权重是不合理的。另一方面，贝叶斯神经网络在过拟合现象上更加鲁棒，并且能进行不确定性的度量。不确定性的量化提供了对于新遥测数据异常的直接知识，它扩展了对卫星遥测数据的科学认识。
技术实现思路
专利技术目的：本专利技术的目的是提供一种具有决策置信度的卫星异常检测法。该方法将贝叶斯思想引入神经网络，网络的权重不再是单值，而是概率分布。首先，依据卫星数据来构建长短时记忆神经网络。其次，引入贝叶斯思想，使用dropout方法来进行近似推断，通过最小化网络权重的近似分布和后验分布之间KL散度来学习网络权重。接着，通过蒙特卡洛dropout的方式输出网络结果。然后，采用预测熵和互信息这两种度量来计算异常检测分类结果的不确定性。最后，通过自编码器来对具有高不确定的分类样本进行进一步的判断，从而能够更好地提高异常检测的准确率。技术方案：为实现上述目的，本专利技术提出一种基于贝叶斯神经网络的卫星异常检测方法。大多数现有的异常检测方法基于传统的神经网络。然而，卫星的异常检测严重依赖模型的准确度，一个过度自信的决策可能低估异常遥测数据带来的危险。将神经网络看作一个概率模型，则传统的神经网络的参数学习可以视为点估计。从概率论的角度来说，使用点估计作为基于任何分类的权重是不合理的。首先，依据卫星数据来构建传统的长短时记忆神经网络。其次，引入贝叶斯思想，使用dropout方法来进行近似推断，利用dropout技术来最小化网络权重的近似分布和后验分布之间KL散度。然后，采用了预测熵和互信息这两种度量方式来计算异常检测分类结果的不确定性。最后，通过自编码器来对具有高不确定的分类样本进行进一步的判断，从而能够更好地提高异常检测的准确率。其具体的技术方案包括以下几个步骤：步骤一：建立长短时记忆神经网络(LSTM)。LSTM中保存的历史信息受输入门、遗忘门和输出控制门控制。X是输入数据，h是LSTM的单元输出，c是LSTM记忆单元的值。公式(1)-公式(6)阐述了双向LSTM的搭建过程。其中，是当前时刻记忆单元的候选值，Wxc是t时刻输入数据的权值，xt是t时刻的输入数据，Whc对应上一时刻LSTM单元的输出的权值，bc是偏置参数。it＝σ(Wxixt-1+Whiht-1+Wcict-1+bi)(2)其中，it是输入门当前的状态值，受当前输入数据xt、上一时刻LSTM的输出ht-1和上一时刻LSTM记忆单元ct-1的影响。Wxi、Whi、Wci分别为对应的权值。ft＝σ(Wxfxt-1+Whfht-1+Wcfct-1+bf)(3)其中，ft是遗忘门当前的状态值，遗忘门是控制历史信息对当前记忆单位的影响；Wxf、Whf、Wcf分别为对应的权值。其中，ct是t时刻记忆单元的状态值，⊙表示元素间的点积，逐点相乘。记忆单元的状态值由输入门和遗忘门共同调节。ot＝σ(Wxoxt-1+Whoht-1+Wcoct-1+bo)(5)其中，ot是输出门的输出状态值，控制记忆单元状态值的输出；Wxo、Who、Wco分别为对应的权值。ht＝ot⊙tanh(ct)(6)其中，ht是t时刻LSTM单元的输出状态值。步骤二：使用蒙特卡洛dropout技术实现贝叶斯长短时记忆神经网络。该专利技术在贝叶斯LSTM中使用dropout进行近似推理。dropout可以被认为是一种从模型的后验分布中获取样本的方法。该技术与贝叶斯神经网络中贝努利分布在网络权值上的变分推断相联系。我们利用该方法对LSTM执行贝叶斯推断。贝叶斯神经网络重点在于给定观测到的标签Y和数据X，计算权值w的后验分布，计算公式如下：p(w|X，Y)(7)这个后验分布通常是不容易直接处理的，我们使用变分推论来近似它。因此，通过最小化近似分布与后验分布之间的KL散度来学习网络的权值w＝{W1，...，WL}，计算方式见公式(8)。KL[q(w)||p(w|X，Y)](8)其中q(w)是一个权重矩阵的分布，这个矩阵的列被随机设为0。对于LSTM，这些权重矩阵Wl是第l层上的所有权值，每个权重矩阵Wl的维度为Kl-1×Kl。q(w)可以定义为公式(9)：给定概率pl和权重矩阵Ml作为变分参数。二进制变量zl，k＝0对应着第l层的第k个神经单元的输出被丢弃。显然，可以把矩阵与zl，k构成的对角矩阵相乘，通过这种方式将dropout应用于神经单元的输出。结合步骤一中构建的LSTM神经网络，本专利技术中所采用的近似分布可以表示如公式(10)：其中，c0＝0，h0＝0。本专利技术通过单个样本的蒙特卡洛积分来估算该分布：该方法构造了一个无偏的估计。该贝叶斯网络的优化目标变成了如公式(12)：步骤三：计算检测结果的不确定性。卫星的异常检测实际上是一种分类问题，将卫星时序数据分为正常和异常两类。本专利技术引入了两种不确定性度量标准。(1)预测熵预测熵可以通过收集随本文档来自技高网...

【技术保护点】
1.一种基于贝叶斯神经网络的卫星遥测数据异常检测方法，其主要特征包括如下步骤：/n(1)建立长短时记忆神经网络：长短时神经网络其能够在输入和输出序列之间的映射过程中利用上下文相关信息，能够学习卫星遥测数据中蕴含的长期依赖关系；/n(2)使用蒙特卡洛dropout技术实现贝叶斯长短时记忆神经网络：贝叶斯LSTM中使用dropout进行近似推理。dropout是一种从模型的后验分布中获取样本的方法。该技术与贝叶斯神经网络中贝努利分布在网络权值上的变分推断相联系；/n(3)计算检测结果的不确定性：卫星异常检测实际上是一种分类问题，将卫星时序数据分为正常和异常两类。本专利技术引入了两种不确定性度量标准。/n(4)对具有高不确定性样本进行检验：具有高不确定性的分类结果的样本，往往是因为在该权重分布下，神经网络无法对该样本进行准确判断。本专利技术设计一种基于变分自编码器的无监督检测方案。/n

【技术特征摘要】
1.一种基于贝叶斯神经网络的卫星遥测数据异常检测方法，其主要特征包括如下步骤：
(1)建立长短时记忆神经网络：长短时神经网络其能够在输入和输出序列之间的映射过程中利用上下文相关信息，能够学习卫星遥测数据中蕴含的长期依赖关系；
(2)使用蒙特卡洛dropout技术实现贝叶斯长短时记忆神经网络：贝叶斯LSTM中使用dropout进行近似推理。dropout是一种从模型的后验分布中获取样本的方法。该技术与贝叶斯神经网络中贝努利分布在网络权值上的变分推断相联系；
(3)计算检测结果的不确定性：卫星异常检测实际上是一种分类问题，将卫星时序数据分为正常和异常两类。本发明引入了两种不确定性度量标准。
(4)对具有高不确定性样本进行检验：具有高不确定性的分类结果的样本，往往是因为在该权重分布下，神经网络无法对该样本进行准确判断。本发明设计一种基于变分自编码器的无监督检测方案。


2.根据权利要求1基于贝叶斯神经网络的卫星遥测数据异常检测方法，其特征在于，步骤(1)建立长短时记忆神经网络，其实现方法包括：
LSTM中保存的历史信息受输入门、遗忘门和输出控制门控制。X是输入数据，h是LSTM的单元输出，c是LSTM记忆单元的值。公式(1)-公式(6)阐述了双向LSTM的搭建过程。



其中，是当前时刻记忆单元的候选值，Wxc是t时刻输入数据的权值，xt是t时刻的输入数据，Whc对应上一时刻LSTM单元的输出的权值，bc是偏置参数。
it＝σ(Wxixt-1+Whiht-1+Wcict-1+bi)(2)
其中，it是输入门当前的状态值，受当前输入数据xt、上一时刻LSTM的输出ht-1和上一时刻LSTM记忆单元ct-1的影响。Wxi、Whi、Wci分别为对应的权值。
ft＝σ(Wxfxt-1+Whfht-1+Wcfct-1+bf)(3)
其中，ft是遗忘门当前的状态值，遗忘门是控制历史信息对当前记忆单位的影响；Wxf、Whf、Wcf分别为对应的权值。



其中，ct是t时刻记忆单元的状态值，⊙表示元素间的点积，逐点相乘。记忆单元的状态值由输入门和遗忘门共同调节。
ot＝σ(Wxoxt-1+Whoht-1+Wcoct-1+bo)(5)
其中，ot是输出门的输出状态值，控制记忆单元状态值的输出；Wxo、Who、Wco分别为对应的权值。
ht＝ot⊙tanh(ct)(6)
其中，ht是t时刻LSTM单元的输出状态值。


3.根据权利要求1基于贝叶斯神经网络的卫星遥测数据异常检测方法，其特征在于，步骤(2)使用蒙特卡洛dropout技术实现贝叶斯长短时记忆神经网络，其实现方法包括：
贝叶斯神经网络重点在于给定观测到的标签Y和数据X，计算权值w的后验分布，计算公式(7)如下：
p(w|X，Y)(7)
这个后验分布通常难以直接处理的，使用变分推论来近似。因此，通过最小化近似分布与后验分布之间的KL散度来学习网络的权值w＝{W1，...，WL}，KL散度表示如公式(8)。
KL[q(w)||p(w|X，Y)](8)
其中q(w)是一个权重矩阵的分布，这个矩阵的列被随机设为0。对于LSTM，这些权重矩阵Wl是第l层上的所有权值，每个权重矩阵Wl的维度为Kl-1×Kl。q(w)可以定义为公式(9)：



给定概率pl和权重矩阵Ml作为变分参数。二进制变量zl，k＝0对应着第l层的第k个神经单元的输出被丢弃。显然，可以把矩阵与zl，k构成的对角矩阵相乘，通过这种方式将dropout应用于神经单元的输...

【专利技术属性】
技术研发人员：皮德常，陈俊夫，赵晓东，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：江苏;32