基于统计分布的大数据单参数阈值挖掘与修正方法及系统技术方案

本发明专利技术提供了一种基于统计分布的大数据单参数阈值挖掘与修正方法及系统，包括：步骤M1：获取遥测参数，并对遥测参数进行预处理，得到预处理后的遥测参数；步骤M2：基于多种统计分布函数对预处理后的遥测参数进行分布拟合以及拟合优度检验，选取拟合优度最佳的统计分布，实现阈值上限与下限的构建；步骤M3：基于历史数据对构建的阈值上限和下限进行修正。本发明专利技术参数阈值构建与修正方法取代了基于专家知识进行的单参数阈值挖掘，减少了对专家知识的依赖，为大批量遥测参数阈值监测提供了可能。为大批量遥测参数阈值监测提供了可能。为大批量遥测参数阈值监测提供了可能。

【技术实现步骤摘要】
基于统计分布的大数据单参数阈值挖掘与修正方法及系统


[0001]本专利技术涉及卫星在轨运行期间遥测参数的实时监测
，具体地，涉及基于统计分布的大数据单参数阈值挖掘与修正方法及系统；更为具体地，涉及大数据条件下基于统计分布的单参数阈值挖掘与修正方法及系统

技术介绍

[0002]卫星的在轨运行状态实时监测与异常报警技术是卫星执行任务过程中的重要环节，及时发现卫星在轨运行过程中出现的各类异常状况是延长卫星使用寿命以及保证卫星安全运行的关键。
[0003]专利文献CN101718864A(申请号：200910237621.0)公开了一种卫星遥测参数异常变化实时监测系统,包括数据接收模块、数据预处理模块、参数变化检测模块、越范围异常判定模块、幅度变化异常判定模块、长周期性变化异常判定模块、报警过滤模块和数据记录模块。本专利技术可以检测遥测参数趋势性的异常变化,包括短期趋势异常变化和长期趋势异常变化,对卫星遥测参数周期性变化可持续不断、周而复始进行监视,实现了对卫星遥测变化的多种异常情况进行精细化的监视报警,为分析人员提供丰富的现场测试信息,该系统解决了大量遥测参数的实时监视、判定、报警等问题,具有较高的灵敏度和实时性,从而降低了测试人员的工作强度、提高了测试效率。
[0004]专利文献CN103646167A(申请号：201310596516.2)公开了公开了一种基于遥测数据的卫星异常状态检测系统，包括遥测数据预处理单元、相关度计算单元、极值点提取单元、异常状态提取单元、遥测参数原始数据库、相关度阈值数据库、极值点阈值数据库。本专利技术提供的基于遥测数据的卫星异常状态检测系统，充分利用历史遥测参数样本，结合卫星遥测参数数据特点和数据变化规律，将一段时间的遥测数据与其历史样本数据的相关度比较以及极值点误差的比较，实现不需要设计知识，仅需少量历史数据的卫星异常状态检测和提取，克服了现有的异常状态检测方法对专家经验知识的依赖性问题和现有检测方法无法解决遥测参数未超出正常范围的异常变化问题，为卫星管理人员分析卫星状态变化提供有效、直观的方法和工具。
[0005]上述方法对日趋复杂的卫星结构、日益复杂多变的在轨运行环境、日益庞大的卫星实时运行数据不再适用。方法的主要不足体现在：一、基于专家知识进行遥测参数阈值区间、长短期变化范围以及极值点阈值区间的确定，工作量大、时效性低；二、卫星的实际运行环境和运行状态复杂多变，仅基于各类固定的阈值区间进行遥测参数的异常判定，对于时变参数的适应性和有效性较差。
[0006]为此本专利技术提出了一种大数据条件下基于统计分布的单参数阈值挖掘与修正方法，弥补上述不足。该方法通过对遥测参数进行野值剔除预处理，并基于完成预处理的参数进行各类常用分布函数的拟合，通过拟合优度检验选取最佳的拟合分布，确定遥测参数的阈值上限和下限，并提供阈值修正接口，允许基于历史数据和专家经验等知识对阈值进行修正。

技术实现思路

[0007]针对现有技术中的缺陷，本专利技术的目的是提供一种基于统计分布的大数据单参数阈值挖掘与修正方法及系统。
[0008]根据本专利技术提供的一种基于统计分布的大数据单参数阈值挖掘与修正方法，包括：
[0009]步骤M1：获取遥测参数，并对遥测参数进行预处理，得到预处理后的遥测参数；
[0010]步骤M2：基于多种统计分布函数对预处理后的遥测参数分别进行分布拟合以及拟合优度检验，选取拟合优度最佳的统计分布，实现阈值上限与下限的构建；
[0011]步骤M3：基于历史数据和专家经验对构建的阈值上限和下限进行修正。
[0012]优选地，所述步骤M1包括：单个遥测参数为一个序列，遥测参数序列包括按照时间顺序排列的多个数据点；判断获取的每个遥测参数数据点是否在均值上下预设倍数标准差的区间范围内，当获取的遥测参数数据点不在均值上下预设倍数标准差的区间范围内时，则将当前遥测参数数据点之前满足条件的遥测参数数据点代替当前遥测参数数据点，实现满足预设条件的遥测参数数据点野值剔除，完成遥参的预处理。
[0013]优选地，所述步骤M2包括：
[0014]步骤M2.1：分别基于多种统计分布函数对预处理后的遥测参数进行分布拟合，对统计分布函数中的参数进行估计，获得多种统计分布模型表达式；
[0015]步骤M2.2：分别针对每种分布类型拟合结果进行拟合优度检验，分析不同统计分布模型对遥测参数分布形式描述的合理性和准确性；
[0016]步骤M2.3：基于拟合优度检验选取拟合优度最佳的统计分布，得到单遥测参数的统计阈值区间。
[0017]优选地，所述多种统计分布函数包括正态分布、对数正态分布、t分布、指数分布、威布尔分布、极值分布、Logistic分布和/或Gamma分布。
[0018]优选地，所述步骤M3包括：基于阈值满足单参数监测要求的程度，根据历史数据和专家经验对参数阈值区间的上下限进行相应调整，实现阈值区间的修正。
[0019]根据本专利技术提供的一种基于统计分布的大数据单参数阈值挖掘与修正系统，包括：
[0020]模块M1：获取遥测参数，并对遥测参数进行预处理，得到预处理后的遥测参数；
[0021]模块M2：基于多种统计分布函数对预处理后的遥测参数分别进行分布拟合以及拟合优度检验，选取拟合优度最佳的统计分布，实现阈值上限与下限的构建；
[0022]模块M3：基于历史数据和专家经验对构建的阈值上限和下限进行修正。
[0023]优选地，所述模块M1包括：单个遥测参数为一个序列，遥测参数序列包括按照时间顺序排列的多个数据点；判断获取的每个遥测参数数据点是否在均值上下预设倍数标准差的区间范围内，当获取的遥测参数数据点不在均值上下预设倍数标准差的区间范围内时，则将当前遥测参数数据点之前满足条件的遥测参数数据点代替当前遥测参数数据点，实现满足预设条件的遥测参数数据点野值剔除，完成遥参的预处理。
[0024]优选地，所述模块M2包括：
[0025]模块M2.1：分别基于多种统计分布函数对预处理后的遥测参数进行分布拟合，对统计分布函数中的参数进行估计，获得多种统计分布模型表达式；
[0026]模块M2.2：分别针对每种分布类型拟合结果进行拟合优度检验，分析不同统计分布模型对遥测参数分布形式描述的合理性和准确性；
[0027]模块M2.3：基于拟合优度检验选取拟合优度最佳的统计分布，得到单遥测参数的统计阈值区间。
[0028]优选地，所述多种统计分布函数包括正态分布、对数正态分布、t分布、指数分布、威布尔分布、极值分布、Logistic分布和/或Gamma分布。
[0029]优选地，所述模块M3包括：基于阈值满足单参数监测要求的程度，根据历史数据和专家经验对参数阈值区间的上下限进行相应调整，实现阈值区间的修正。
[0030]与现有技术相比，本专利技术具有如下的有益效果：
[0031]1、针对卫星在轨运行异常检测中存在的人工阈值设定困难、高度依赖专家知识、虚警与漏报等本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于统计分布的大数据单参数阈值挖掘与修正方法，其特征在于，包括：步骤M1：获取遥测参数，并对遥测参数进行预处理，得到预处理后的遥测参数；步骤M2：基于多种统计分布函数对预处理后的遥测参数进行分布拟合以及拟合优度检验，选取拟合优度最佳的统计分布，实现阈值上限与下限的构建；步骤M3：基于历史数据对构建的阈值上限和下限进行修正。2.根据权利要求1所述的基于统计分布的大数据单参数阈值挖掘与修正方法，其特征在于，所述步骤M1包括：单个遥测参数为一个序列，遥测参数序列包括按照时间顺序排列的多个数据点；判断获取的每个遥测参数数据点是否在均值上下预设倍数标准差的区间范围内，当获取的遥测参数数据点不在均值上下预设倍数标准差的区间范围内时，则将当前遥测参数数据点之前满足条件的遥测参数数据点代替当前遥测参数数据点，实现满足预设条件的遥测参数数据点野值剔除，完成遥参的预处理。3.根据权利要求1所述的基于统计分布的大数据单参数阈值挖掘与修正方法，其特征在于，所述步骤M2包括：步骤M2.1：分别基于多种统计分布函数对预处理后的遥测参数进行分布拟合，对统计分布函数中的参数进行估计，获得多种统计分布模型表达式；步骤M2.2：分别针对每种分布类型拟合结果进行拟合优度检验，分析不同统计分布模型对遥测参数分布形式描述的合理性和准确性；步骤M2.3：基于拟合优度检验选取拟合优度最佳的统计分布，得到单遥测参数的统计阈值区间。4.根据权利要求1所述的基于统计分布的大数据单参数阈值挖掘与修正方法，其特征在于，所述多种统计分布函数包括正态分布、对数正态分布、t分布、指数分布、威布尔分布、极值分布、Logistic分布和/或Gamma分布。5.根据权利要求1所述的基于统计分布的大数据单参数阈值挖掘与修正方法，其特征在于，所述步骤M3包括：基于阈值满足单参数监测要求的程度，根据历史数据和专家经验对参数阈值区间的上下限进行相应调整，实现阈值区间的修正。6.一种基于统计分布的...

【专利技术属性】
技术研发人员：周军，党建成，刘赞，张发家，董房，张国勇，蔡先军，庄建昆，
申请(专利权)人：上海卫星工程研究所，
类型：发明
国别省市：