基于卫星故障诊断多源遥测大数据特征提取预处理方法技术

本发明专利技术提出了一种基于卫星故障诊断多源遥测大数据特征提取预处理方法，其步骤如下：利用重要属性核约减算法、区分网络约简方法和基于Hadoop的分块映射约简方法分别对卫星采集的异构数据、时空多序列数据、结构化与半结构化数据进行约减；分析约减后的遥感数据的变化特征，利用多维特征参数提取算法对故障的特征进行提取，建立多帧间的故障数据关联矩阵提取模型对关联故障特征进行提取；根据提取的数据特征，利用基于规则的推理方法诊断故障和预测趋势，或利用基于模型的推理方法进行故障推断。本发明专利技术为后续开展以卫星大数据体系为基础的可视化应用技术提供模型基础，实现卫星数据珍惜资源的充分应用。

Feature extraction preprocessing method for large data based on satellite fault diagnosis

The present invention presents a feature extraction and preprocessing method based on satellite fault diagnosis multi-source telemetry large data. The steps are as follows: using key attribute reduction algorithm, distinguishing network reduction method and Hadoop-based block mapping reduction method, respectively, to collect heterogeneous data, spatiotemporal multi-sequence data, structured and semi-structured satellite data. Structured data reduction; Analyzing the change characteristics of reduced remote sensing data, using multi-dimensional feature parameter extraction algorithm to extract fault features, establishing a multi-frame fault data association matrix extraction model to extract related fault features; According to the extracted data characteristics, using rule-based reasoning method The method diagnoses faults and predicts trends, or uses model-based reasoning for fault inference. The invention provides a model basis for subsequent development of visualization application technology based on satellite large data system, and realizes full application of satellite data treasure resources.

【技术实现步骤摘要】
基于卫星故障诊断多源遥测大数据特征提取预处理方法
本专利技术涉及电子信息领域海量信息处理及知识挖掘的
，尤其涉及一种基于卫星故障诊断多源遥测大数据特征提取预处理方法。
技术介绍
在计算机网络技术飞速发展、人类获取数据能力不断增强的今天，各行各业拥有的数据量呈现指数级增长态势。海量数据的廉价存储、快速处理、深入挖掘利用等难题，直接促成了“大数据”技术的出现以及科学研究范式向“数据密集型科学发现”的转变。大数据具有体量巨大、类型繁多、价值密度低、商用价值高以及处理速度快等特点，以大数据为研究对象的数据处理、保存、分析应用技术正处于迅猛发展阶段。在地理空间上，卫星数据又可以分为数字控件、数字太空、数字气体、数字气象、数字星球等部分。数字控件包括姿态控制部件(包括推力器、陀螺、动量轮、磁力矩器)、姿态敏感器、卫星钟、计算机等；数字太空包括温度、气象、气候、热交换等；数字气体包括大气层、电离层等数据。由上可以看出，卫星数据具有海量、种类繁多、异构、时空多序列等特点。卫星信号覆盖了地球表面的大部分面积，又有目前已知的最大、最复杂的飞行器群体，是一个巨大的信号传递网。认识卫星和了解卫星必须建立在对卫星大数据科学组织的基础上。在卫星遥测故障数据中，存在许多不完整、不精确、模糊性的故障处理问题，那么如何从大量的、模糊的、杂乱无章的、强干扰的故障数据中挖掘出潜在的、新颖的、正确的、有应用价值的数据，即怎样对这些不完备性的信息进行有效的处理，以及卫星故障的多维参数提取，实现故障的准确识别，完成卫星故障的场景语义理解，这是航天部门棘手且亟待解决的难题。
技术实现思路
针对航天数据总体上呈现海量、多源、异构、时空多序列等特性，航天大数据具有廉价存储、不一致、冗余以及数据完整性的技术问题，本专利技术提出一种基于卫星故障诊断多源遥测大数据特征提取预处理方法，对卫星大数据体系的构建以及卫星信息可视化关键技术做深入研究，进行冗余信息过滤、模糊遥感故障场景特征数据处理、多源故障遥测数据多维参数特征提取和故障实时诊断，为后续开展以卫星大数据体系为基础的可视化应用技术提供模型基础，实现航天大数据在数字卫星航天器专网范围内的自由共享和可视化应用，实现卫星数据珍惜资源的充分应用。为了达到上述目的，本专利技术的技术方案是这样实现的：一种基于卫星故障诊断多源遥测大数据特征提取预处理方法，其步骤如下：步骤一：利用重要属性核约减算法、区分网络约简方法和基于Hadoop的分块映射约简方法分别对卫星采集的异构数据、时空多序列数据、结构化与半结构化数据进行约减，实现对卫星采集的遥感数据冗余信息处理；步骤二：分析约减后的遥感数据的变化特征，利用多维特征参数提取算法对故障的特征进行提取，建立多帧间的故障数据关联矩阵提取模型对关联故障特征进行提取；步骤三：根据提取的数据特征，利用基于规则的推理方法诊断故障和预测趋势，或利用基于模型的推理方法进行故障推断。所述重要属性核约减算法使用核作为计算约简的出发点，计算一个最好的或者用户指定的最小约简，具体实现方法为：初始化候选集Red为核属性：Red＝Core，Core表示约简的核心集；计算整个条件属性集的依赖程度fmax，置max＝0，当max<fmax，每次往候选集Red中加入新属性，即Red＝Red∪{i}，计算使候选集Red依赖系数最大的属性i；计算max＝Red的依赖程度，对于候选集Red的每个非核属性，去掉是否影响依赖系数，若否，则删除该非核属性；计算测量的属性值与候选集Red的必要属性的相似度d，再根据表示满足大于相似度d的截集进行属性或数据约简；相似度越大，则测量的属性与必要属性的偏差越小，说明这个测量属性是必要属性，否则，这个测量属性是不必要属性。所述区分网络约简方法的实现方法为：令n表示算法迭代次数，置n＝0，把时空多序列数据输入到网络中的区分神经元，对每一个输入值xj选择获胜的输出神经元h*，即最小化竞争层中的结点的输出值设N(h*)是获胜输出神经元h*的近邻，对每一个输出神经元h∈{N(h*),h*}，调整更新权重ωkj(n+1)＝f(ωkj(n),η(n))，其中，η(n)＝η是学习率，f是权值调节函数，kj表示上一层的第k个神经元与本层的第j个神经元，更新权重后对其标准化；重复上述步骤，迭代的次数被置成n＝n+1直到满足迭代停止准则为止，得到的最终输出值为时空序列的约简值。所述基于Hadoop的分块映射约简方法的实现方法为：对来自于独立数据源的数据进行清洗、格式转换操作后加载进入到物理数据仓库，数据的查询运行在数据仓库上；对于虚拟集成数据体系，数据保存在数据源；通过中间模式处理数据查询请求，自动加载查询相关的数据源中的数据，把面向数据仓库的数据集成作为虚拟集成数据体系中的一个数据源，通过中间虚拟模式与数据仓库应用之间的API接口来获取数据仓库中的各类数据。所述多维特征参数提取算法根据历史故障本身的特性和专家经验，首提取一些故障的细节特征参数，再对这些细节特征使用特征重构方法恢复故障整体特征，具体实现方法为：根据故障历史数据分析对故障进行建模，定义故障模型的正交尺度函数为φ(t)，ψ(t)为由正交尺度函数φ(t)生成且与正交尺度函数φ(t)线性无关的基，设ψ0(t)＝φ(t)和ψ1(t)＝ψ(t)，那么存在两序列{pk}和{qk}分别满足如下两级数：其中，是p-n+1的共轭，k是指标集；pk和p-n+1表示权值系数序列；ψ0(2t-k)表示在2t-k时刻的基本故障特征，是由ψ0(t)在不同时刻t的生成基，t表示影响基本故障的时刻；把基ψ0(t)和ψ1(t)扩展为：其中，ψl(2t-k)表示在2t-k时刻的基本故障特征，ψ2l(t)表示在时刻t的重要故障特征，是由ψl(2t-k)生成的；ψ2l+1(t)表示在时刻t的次要故障特征，是由ψl(2t-k)生成的且与故障特征ψ2l(t)线性无关；定义函数列ψn(t)，n＝2l或2l+1，l＝0,1,…；定义二维空间L2(R)内的基函数构造故障的线性无关的基序列为使基序列与故障F(x,y)作内积对故障进行平滑、去噪、加强处理；其中，x,y表示沿着两个方向的时间步长，j1,j2、k1,k2分别表示沿着这两个方向的节点序数的指标值；由于基序列是二维空间L2(R)中的基，那么对固定的指标集令是{ψk,n:n∈Z}线性张成的闭子空间，Z是整数，ψk,n表示二维空间L2(R)中的基本故障特征，那么二维空间L2(R)可分解为子空间Wk的直接和：这时，故障有唯一分解其中，gk∈Wk,k∈Z；然而，子空间Wk又可由函数列进行进一步再分解，且n＝2l或2l+1，l＝0,1,…；得子空间族为j∈Z,n∈Z+，ψn(2j·-k)表示重要和次要的故障特征，对于每一个j＝1,2,…，那么特征子空间Wj进一步分解为：进而，对每个m＝0,1,…,2k-1，k＝1,2,…，函数族是子空间的一个正交基；表示重要和次要的故障特征；那么，子空间中的故障可表示为把故障进行分解计算可得故障细节特征为：其中，和和分别是pn和qn的共轭；把故障进行重构计算可得故障整体特征为：利用故障基函数对经过预处理后的故障进行2层分解，函数返回故障分解的树状结构，在各个节点处点击得到相应节点对应的故障本文档来自技高网...

【技术保护点】
1.一种基于卫星故障诊断多源遥测大数据特征提取预处理方法，其特征在于，其步骤如下：步骤一：利用重要属性核约减算法、区分网络约简方法和基于Hadoop的分块映射约简方法分别对卫星采集的异构数据、时空多序列数据、结构化与半结构化数据进行约减，实现对卫星采集的遥感数据冗余信息处理；步骤二：分析约减后的遥感数据的变化特征，利用多维特征参数提取算法对故障的特征进行提取，建立多帧间的故障数据关联矩阵提取模型对关联故障特征进行提取；步骤三：根据提取的数据特征，利用基于规则的推理方法诊断故障和预测趋势，或利用基于模型的推理方法进行故障推断。

【技术特征摘要】
1.一种基于卫星故障诊断多源遥测大数据特征提取预处理方法，其特征在于，其步骤如下：步骤一：利用重要属性核约减算法、区分网络约简方法和基于Hadoop的分块映射约简方法分别对卫星采集的异构数据、时空多序列数据、结构化与半结构化数据进行约减，实现对卫星采集的遥感数据冗余信息处理；步骤二：分析约减后的遥感数据的变化特征，利用多维特征参数提取算法对故障的特征进行提取，建立多帧间的故障数据关联矩阵提取模型对关联故障特征进行提取；步骤三：根据提取的数据特征，利用基于规则的推理方法诊断故障和预测趋势，或利用基于模型的推理方法进行故障推断。2.根据权利要求1所述的基于卫星故障诊断多源遥测大数据特征提取预处理方法，其特征在于，所述重要属性核约减算法使用核作为计算约简的出发点，计算一个最好的或者用户指定的最小约简，具体实现方法为：初始化候选集Red为核属性：Red＝Core，Core表示约简的核心集；计算整个条件属性集的依赖程度fmax，置max＝0，当max<fmax，每次往候选集Red中加入新属性，即Red＝Red∪{i}，计算使候选集Red依赖系数最大的属性i；计算max＝Red的依赖程度，对于候选集Red的每个非核属性，去掉是否影响依赖系数，若否，则删除该非核属性；计算测量的属性值与候选集Red的必要属性的相似度d，再根据表示满足大于相似度d的截集进行属性或数据约简；相似度越大，则测量的属性与必要属性的偏差越小，说明这个测量属性是必要属性，否则，这个测量属性是不必要属性。3.根据权利要求1所述的基于卫星故障诊断多源遥测大数据特征提取预处理方法，其特征在于，所述区分网络约简方法的实现方法为：令n表示算法迭代次数，置n＝0，把时空多序列数据输入到网络中的区分神经元，对每一个输入值xj选择获胜的输出神经元h*，即最小化竞争层中的结点的输出值设N(h*)是获胜输出神经元h*的近邻，对每一个输出神经元h∈{N(h*),h*}，调整更新权重ωkj(n+1)＝f(ωkj(n),η(n))，其中，η(n)＝η是学习率，f是权值调节函数，kj表示上一层的第k个神经元与本层的第j个神经元，更新权重后对其标准化；重复上述步骤，迭代的次数被置成n＝n+1直到满足迭代停止准则为止，得到的最终输出值为时空序列的约简值。4.根据权利要求1所述的基于卫星故障诊断多源遥测大数据特征提取预处理方法，其特征在于，所述基于Hadoop的分块映射约简方法的实现方法为：对来自于独立数据源的数据进行清洗、格式转换操作后加载进入到物理数据仓库，数据的查询运行在数据仓库上；对于虚拟集成数据体系，数据保存在数据源；通过中间模式处理数据查询请求，自动加载查询相关的数据源中的数据，把面向数据仓库的数据集成作为虚拟集成数据体系中的一个数据源，通过中间虚拟模式与数据仓库应用之间的API接口来获取数据仓库中的各类数据。5.根据权利要求1所述的基于卫星故障诊断多源遥测大数据特征提取预处理方法，其特征在于，所述多维特征参数提取算法根据历史故障本身的特性和专家经验，首提取一些故障的细节特征参数，再对这些细节特征使用特征重构方法恢复故障整体特征，具体实现方法为：根据故障历史数据分析对故障进行建模，定义故障模型的正交尺度函数为φ(t)，ψ(t)为由正交尺度函数φ(t)生成且与正交尺度函数φ(t)线性无关的基，设ψ0(t)＝φ(t)和ψ1(t)＝ψ(t)，那么存在两序列{pk}和{qk}分别满足如下两级数：其中，是p-n+1的共轭，k是指标集；pk和p-n+1表示权值系数序列；ψ0(2t-k)表示在2t-k时刻的基本故障特征，是由ψ0(t)在不同时刻t的生成基，t表示影响基本故障的时刻；把基ψ0(t)和ψ1(t)扩展为：其中，ψl(2t-k)表示在2t-k时刻的基本故障特征，ψ2l(t)表示在时刻t的重要故障特征，是由ψl(2t-k)生成的；ψ2l+1(t)表示在时刻t的次要故障特征，是由ψl(2t-k)生成的且与故障特征ψ2l(t)线性无关；定义函数列ψn(t)，n＝2l或2l+1，l＝0,1,…；定义二维空间L2(R)内的基函数构造故障的线性无关的基序列为使基序列与故障F(x,y)作内积对故障进行平滑、去噪、加强处理；其中，x,y表示沿着两个方向的时间步长，j1,j2、k1,k2分别表示沿着这两个方向的节点序数的指标值；由于基序列是二维空间L2(R)中的基，那么对固定的指标集令是{ψk,n:n∈Z}线性张成的闭子空间，Z是整数，ψk,n表示二维空间L2(R)中的基本故障特征，那么二维空间L2(R)可分解为子空间Wk的直接和：这时，故障有唯一分解其中，gk∈Wk,k∈Z；然而，子空间Wk又可由函数列进行进一步再分解，且n＝2l或2l+1，l＝0,1,…；得子空间族为j∈Z,...

【专利技术属性】
技术研发人员：吴青娥，陈虎，王季方，刘磊，钱晓亮，方洁，张焕龙，陈志武，曹卫锋，韩振宇，郭迎辉，范昌盛，高园岗，杨德明，
申请(专利权)人：郑州轻工业学院，
类型：发明
国别省市：河南,41