【技术实现步骤摘要】
本专利技术属于数据清洗领域,具体涉及一种变压器的监测数据处理方法、系统、设备及介质。
技术介绍
1、不可靠数据对电力变压器状态监测的影响:电力变压器监测系统中由于运行环境、传感器故障、数据传输不稳定等原因,常常会产生不可靠的异常数据,这些不可靠的数据会干扰监测系统的分析和检测结果,进而影响对变压器状态的准确识别和故障预警。因此,需要一种有效的数据处理方法来识别并修复这些不可信的数据,从而提高监测数据的质量和可靠性。
2、在变压器油中溶解气体分析中,由于数据的复杂性和多样性,传统的数据处理方法在处理具有复杂噪声干扰和异常值的数据时,往往难以精确识别和处理异常数据,尤其是在数据集中包含多个尺度的异常时,这些异常可能发生在不同的时间和频率范围内,现有的方法在处理多尺度异常数据时不能在不同尺度上检测和识别异常,因而不足以全面检测和处理所有异常,从而导致处理高维复杂数据时准确性较低。
技术实现思路
1、为了克服上述现有技术存在的数据处理准确性低的不足,本专利技术提供了一种变压器的监测数据处理方法,包括如下步骤:
2、获取电力变压器的传感器原始数据集;
3、使用ransac算法从传感器原始数据集中迭代地选择随机样本,并通过所述随机样本拟合数据关系模型,并计算数据关系模型的残差;
4、将所述残差作为改进的多尺度森立孤立算法iforest的输入,使用改进的多尺度森立孤立算法iforest在传感器原始数据集的不同大小的子集上进行随机抽样,构建多个不同样
5、根据最终的异常分数对数据点进行处理。
6、优选的,所述构建多个不同样本规模的孤立森林,在每个孤立森林中以不同的尺度生成孤立树,具体为:通过随机选择特征和分裂点递归地方式划分数据,得到每个孤立树。
7、优选的,所述计算每个孤立树中的数据点在不同尺度上的异常分数,包括如下步骤:
8、通过遍历孤立树中数据点到根节点的边数获取多个路径长度;
9、通过将数据点穿过孤立森林中所有树木获取平均路径长度;
10、根据数据点的平均路径长度计算异常分数。
11、优选的,所述使用ransac算法从传感器原始数据集中迭代地选择随机样本之前,还包括对传感器原始数据集中的冗余数据进行删除,具体为:检查传感器原始数据集中的数据的多个条目在任何给定时间是否相同,如果数据完全相同,则认为是冗余数据,并从数据集中删除。
12、优选的,所述使用ransac算法从传感器原始数据集中迭代地选择随机样本之前,删除冗余数据之后,还包括对传感器原始数据集中的缺失值进行处理,具体为:检查传感器原始数据集中的缺失数据,使用前向填充方法填充缺失值。
13、本专利技术还提供有一种变压器的监测数据处理系统,包括:
14、数据获取模块,用于获取电力变压器的传感器原始数据集。
15、模型构建模块,用于使用ransac算法从传感器原始数据集中迭代地选择随机样本,并通过随机样本拟合数据关系模型,并计算数据关系模型的残差。
16、异常分数获取模块,用于将残差作为改进的多尺度森立孤立算法iforest的输入,使用改进的多尺度森立孤立算法iforest在传感器原始数据集的不同大小的子集上进行随机抽样,构建多个不同样本规模的孤立森林,在每个孤立森林中以不同的尺度生成孤立树;计算每个孤立树中的数据点在不同尺度上的异常分数,并对不同尺度上的异常分数进行平均,得到最终的异常分数。
17、数据清洗模块,用于根据最终的异常分数对数据点进行处理。
18、本专利技术还提供有一种计算机设备,包括存储器和处理器;所述存储器存储有计算机程序,所述处理器用于运行所述存储器内的计算机程序,以执行所述变压器的监测数据处理方法。
19、本专利技术还提供有一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序适于处理器进行加载,以执行所述变压器的监测数据处理方法。
20、本专利技术提供的变压器的监测数据处理方法具有以下有益效果:
21、本专利技术通过使用ransac算法从传感器原始数据集中迭代地选择随机样本,通过随机样本能够拟合数据关系模型,通过将拟合的数据关系模型的残差输入改进的多尺度孤立森林算法中,通过构建多个不同样本规模的孤立森林,在每个孤立森林中以不同的尺度生成孤立树,并计算每个孤立树中的数据点在不同尺度上的异常分数,从而在不同尺度上有效检测和识别异常数据。这一方法克服了传统方法在多尺度异常检测中的局限性,显著提高了异常数据处理的准确性。
本文档来自技高网...【技术保护点】
1.一种变压器的监测数据处理方法,其特征在于,包括如下步骤:
2.根据权利要求1所述的变压器的监测数据处理方法,其特征在于,所述构建多个不同样本规模的孤立森林,在每个孤立森林中以不同的尺度生成孤立树,具体为:通过随机选择特征和分裂点递归地方式划分数据,得到每个孤立树。
3.根据权利要求1所述的变压器的监测数据处理方法,其特征在于,所述计算每个孤立树中的数据点在不同尺度上的异常分数,包括如下步骤:
4.根据权利要求1所述的变压器的监测数据处理方法,其特征在于,所述使用RANSAC算法从传感器原始数据集中迭代地选择随机样本之前,还包括对传感器原始数据集中的冗余数据进行删除,具体为:检查传感器原始数据集中的数据的多个条目在任何给定时间是否相同,如果数据完全相同,则认为是冗余数据,并从数据集中删除。
5.根据权利要求1所述的变压器的监测数据处理方法,其特征在于,所述使用RANSAC算法从传感器原始数据集中迭代地选择随机样本之前,删除冗余数据之后,还包括对传感器原始数据集中的缺失值进行处理,具体为:检查传感器原始数据集中的缺失数据,使用前向填
6.一种变压器的监测数据处理系统,其特征在于,包括:
7.一种计算机设备,其特征在于,包括存储器和处理器;所述存储器存储有计算机程序,所述处理器用于运行所述存储器内的计算机程序,以执行权利要求1-5任一项所述的变压器的监测数据处理方法。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序适于处理器进行加载,以执行权利要求1-5任一项所述的变压器的监测数据处理方法。
...【技术特征摘要】
1.一种变压器的监测数据处理方法,其特征在于,包括如下步骤:
2.根据权利要求1所述的变压器的监测数据处理方法,其特征在于,所述构建多个不同样本规模的孤立森林,在每个孤立森林中以不同的尺度生成孤立树,具体为:通过随机选择特征和分裂点递归地方式划分数据,得到每个孤立树。
3.根据权利要求1所述的变压器的监测数据处理方法,其特征在于,所述计算每个孤立树中的数据点在不同尺度上的异常分数,包括如下步骤:
4.根据权利要求1所述的变压器的监测数据处理方法,其特征在于,所述使用ransac算法从传感器原始数据集中迭代地选择随机样本之前,还包括对传感器原始数据集中的冗余数据进行删除,具体为:检查传感器原始数据集中的数据的多个条目在任何给定时间是否相同,如果数据完全相同,则认为是冗余数据,并从数据集中...
【专利技术属性】
技术研发人员:张海龙,段军红,张广东,马志程,包艳艳,牛炜,保承家,牛欢欢,白文远,孙涛,陈维,陈振勇,宋军,杨晶,王磊,贺成利,蒋嫔,夏越,张佳乐,陈立新,
申请(专利权)人:国网甘肃省电力公司电力科学研究院,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。