一种数据异常点检测方法、装置、系统、以及存储介质制造方法及图纸

本发明专利技术提供一种数据异常点检测方法，包括以下步骤：对待检测数据进行预处理；对预处理后的待检测数据进行拆分，得到训练样本集和测试样本集；将所述训练样本集输入选定的预测算法进行迭代训练，得到训练后的算法模型；将所述测试样本集输入训练后的算法模型，得到所述测试样本集的预测初始值，对该预测初始值进行逆向运算得到预测正常值；将所述测试样本集和所述预测正常值输入至预先设定的多种异常定义中，分别使用所述多种异常定义进行异常点检测；将所述多种异常定义下检测到的异常点进行联合投票，确定最终异常点。另外，本发明专利技术还提供一种数据异常点检测的装置、系统、以及存储介质。本发明专利技术可以提高数据异常点检测的准确性。

【技术实现步骤摘要】
一种数据异常点检测方法、装置、系统、以及存储介质
本专利技术涉及数据检测
，特别涉及一种数据异常点检测方法、装置、系统以及存储介质。
技术介绍
随着商业航天产业的不断发展，在轨卫星的安全有效运行是技术关注的重点。通过技术手段及时的从卫星遥测时序数据（卫星遥测参数）中发现异常变化的数据点，能够提高卫星故障的主动检测与识别能力，可对卫星的安全稳定运行提供可靠的决策支持。现有技术中，对卫星遥测时序数据中异常点的检测通常采用先预测其“正常值”，再通过预测值与真实值之间的对比来实现异常点检测。然而，该类方法却存在预测算法单一、异常的定义单一以及流程不够灵活、检测结果不够准确的问题。
技术实现思路
鉴于此，本专利技术提供了一种数据异常点检测方法、装置、系统以及存储介质。第一方面，本专利技术提供了一种数据异常点检测方法，所述方法包括以下步骤：S1：接收待检测数据，并对该待检测数据进行预处理；S2：根据选定的预测算法对预处理后的待检测数据进行拆分，得到训练样本集和测试样本集；S3：将所述训练样本集输入选定的预测算法进行迭代训练，得到训练后的算法模型；S4：将所述测试样本集输入训练后的算法模型，得到所述测试样本集的预测初始值，对该预测初始值进行所述预处理的逆向运算，得到所述测试样本集的预测正常值；S5：将所述测试样本集和所述预测正常值输入至预先设定的多种异常定义中，分别使用所述多种异常定义进行异常点检测，并输出所述多种异常定义下检测到的异常点；及S6：将所述多种异常定义下检测到的异常点进行联合投票，确定最终异常点。优选地，所述步骤S1包括：S1.1：进行程序的初始化设置；S1.2：对接收的待检测数据进行剔除野点的操作；S1.3：使用剔除点前后两个数据的均值对剔除位置进行填充，所述均值是指在待检测数据中，剔除点位置的前一个时间点处数值以及后一个时间点处数值的平均值；S1.4：对填充后的待检测数据进行归一化处理，将其数值范围转换到0-1范围之内。优选地，所述步骤S2包括：S2.1：根据选定的预测算法对预处理后的待检测数据进行预测，生成该预测算法对应结构的数据样本集；S2.2：对该数据样本集进行拆分，得到训练样本集和测试样本集。优选地，所述步骤S2.1包括：S2.1.1：设定预处理后的待检测数据长度为n，对应的输入时间序列的索引表达形式为x(0),x(1),...,x(n)；S2.1.2：设定该预测算法对应的递归神经网络的输入时序长度以及输出时序长度分别为Li和Lo，通过基于长度为Li的历史时序数据预测未来长度为Lo的时序数据；S2.1.3：将预处理后的待检测数据的时间序列提前Li步以及滞后Lo步进行排列，分别得到输入矩阵X以及输出矩阵Y，从而生成该预测算法对应结构的数据样本集，其中，所述输入矩阵X表达为：，所述输出矩阵Y表达为：。优选地，所述步骤S2.2包括：根据预先设定的拆分比例，将该数据样本集中位于该拆分比例前的数据作为训练样本集，剩余的数据作为测试样本集。优选地，所述预处理的逆向运算包括：对所述预测初始值进行反归一化，将所述预测初始值对应的归一化数据值域转换成初始状态。优选地，所述联合投票包括：针对某一待判决数据点，获取所述多种异常定义下的多种异常检测结果；如果该待判决数据点被所述多种异常定义标记为异常点的次数超出预设阈值，则确定该待判决数据点为最终异常点；如果该待判决数据点被所述多种异常定义标记为异常点的次数没有超出预设阈值，则确定该待判决数据点为正常点。第二方面，本专利技术提供了一种装置，所述装置包括存储器、与所述存储器耦接的处理器，其中：所述存储器存储有用于实现上述数据异常点检测方法的程序指令；所述处理器用于执行所述存储器存储的所述程序指令以控制所述数据异常点检测方法的执行。第三方面，本专利技术提供了一种数据异常点检测系统，包括：数据预处理模块，用于接收待检测数据，并对该待检测数据进行预处理；算法预测模块，用于根据选定的预测算法对预处理后的待检测数据进行拆分，得到训练样本集和测试样本集；所述算法预测模块，还用于将所述训练样本集输入选定的预测算法进行迭代训练，得到训练后的算法模型；所述算法预测模块，还用于将所述测试样本集输入训练后的算法模型，得到所述测试样本集的预测初始值，对该预测初始值进行所述预处理的逆向运算，得到所述测试样本集的预测正常值；异常点检测模块，用于将所述测试样本集和所述预测正常值输入至预先设定的多种异常定义中，分别使用所述多种异常定义进行异常点检测，并输出所述多种异常定义下检测到的异常点；及所述异常点检测模块，还用于将所述多种异常定义下检测到的异常点进行联合投票，确定最终异常点。第四方面，本专利技术提供了一种存储介质，存储有处理器可运行的程序指令，所述程序指令用于执行上述数据异常点检测方法。相较于现有技术，本专利技术实施例提供的一种数据异常点检测方法、装置、系统及存储介质，通过设定不同的预测算法以及多种异常定义，联合投票确定时序数据中的异常点，解决了时序数据异常检测流程不够灵活、检测结果准确性不够高的技术问题。与现有技术相比，本专利技术实施例产生的有益效果在于：（1）提供兼容多种预测算法和多种异常定义协调工作的处理流程，增加了异常检测的灵活性；（2）通过多种异常定义下的投票机制确定待检测数据中的异常点，提升了异常检测的准确性。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面所描述的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例1提供的数据异常点检测方法的流程图；图2为根据选定的预测算法生成数据样本集的示意图；图3为本专利技术实施例2提供的装置结构示意图；图4为本专利技术实施例3提供的数据异常点检测系统的结构示意图；图5为本专利技术实施例4提供的存储介质的结构示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。需要说明的是，在本专利技术中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术本文档来自技高网...

【技术保护点】
1.一种数据异常点检测方法，其特征在于，所述方法包括以下步骤：/nS1：接收待检测数据，并对该待检测数据进行预处理；/nS2：根据选定的预测算法对预处理后的待检测数据进行拆分，得到训练样本集和测试样本集；/nS3：将所述训练样本集输入选定的预测算法进行迭代训练，得到训练后的算法模型；/nS4：将所述测试样本集输入训练后的算法模型，得到所述测试样本集的预测初始值，对该预测初始值进行所述预处理的逆向运算，得到所述测试样本集的预测正常值；/nS5：将所述测试样本集和所述预测正常值输入至预先设定的多种异常定义中，分别使用所述多种异常定义进行异常点检测，并输出所述多种异常定义下检测到的异常点；及/nS6：将所述多种异常定义下检测到的异常点进行联合投票，确定最终异常点。/n

【技术特征摘要】
1.一种数据异常点检测方法，其特征在于，所述方法包括以下步骤：
S1：接收待检测数据，并对该待检测数据进行预处理；
S2：根据选定的预测算法对预处理后的待检测数据进行拆分，得到训练样本集和测试样本集；
S3：将所述训练样本集输入选定的预测算法进行迭代训练，得到训练后的算法模型；
S4：将所述测试样本集输入训练后的算法模型，得到所述测试样本集的预测初始值，对该预测初始值进行所述预处理的逆向运算，得到所述测试样本集的预测正常值；
S5：将所述测试样本集和所述预测正常值输入至预先设定的多种异常定义中，分别使用所述多种异常定义进行异常点检测，并输出所述多种异常定义下检测到的异常点；及
S6：将所述多种异常定义下检测到的异常点进行联合投票，确定最终异常点。


2.如权利要求1所述的数据异常点检测方法，其特征在于，所述步骤S1包括：
S1.1：进行程序的初始化设置；
S1.2：对接收的待检测数据进行剔除野点的操作；
S1.3：使用剔除点前后两个数据的均值对剔除位置进行填充，所述均值是指在待检测数据中，剔除点位置的前一个时间点处数值以及后一个时间点处数值的平均值；
S1.4：对填充后的待检测数据进行归一化处理，将其数值范围转换到0-1范围之内。


3.如权利要求1所述的数据异常点检测方法，其特征在于，所述步骤S2包括：
S2.1：根据选定的预测算法对预处理后的待检测数据进行预测，生成该预测算法对应结构的数据样本集；
S2.2：对该数据样本集进行拆分，得到训练样本集和测试样本集。


4.如权利要求3所述的数据异常点检测方法，其特征在于，所述步骤S2.1包括：
S2.1.1：设定预处理后的待检测数据长度为n，对应的输入时间序列的索引表达形式为x(0),x(1),...,x(n)；
S2.1.2：设定该预测算法对应的递归神经网络的输入时序长度以及输出时序长度分别为Li和Lo，通过基于长度为Li的历史时序数据预测未来长度为Lo的时序数据；
S2.1.3：将预处理后的待检测数据的时间序列提前Li步以及滞后Lo步进行排列，分别得到输入矩阵X以及输出矩阵Y，从而生成该预测算法对应结构的数据样本集，其中，所述输入矩阵X表达为：，所述输出矩阵Y表达为：。

【专利技术属性】
技术研发人员：陈振安，范潇杰，
申请(专利权)人：广东粤港澳大湾区硬科技创新研究院，
类型：发明
国别省市：广东;44