System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种分布式新能源异常数据检测方法、系统、设备和介质技术方案_技高网

一种分布式新能源异常数据检测方法、系统、设备和介质技术方案

技术编号:40603691 阅读:5 留言:0更新日期:2024-03-12 22:09
本发明专利技术提供了一种分布式新能源异常数据检测方法、系统、设备和介质,包括:对待测分布式新能源出力数据进行阈值筛选,将超出阈值的数据判定为异常数据;对经过阈值筛选的数据进行数据变化程度检测,将数据变化程度超出设定数据变化程度阈值的数据判定为异常数据;对经过前两步筛选的数据结合预先确定的残差阈值进行检测,将超过残差阈值的数据判定为异常数据;其中,残差阈值基于预先构建的回归预测模型确定;其中,回归预测模型基于卷积神经网络和支持向量回归算法构建。本发明专利技术对待测数据进行多步筛选,先检测易检测的数据,再用回归预测模型将难检测的异常数据筛选出来,解决了传统数据检测方法判断阈值误差较大无法实现检测精度和效率的问题。

【技术实现步骤摘要】

本专利技术属于电力系统数据处理领域,具体涉及一种分布式新能源异常数据检测方法、系统、设备和介质


技术介绍

1、随着全球化石能源短缺和环境污染问题的日益加剧,分布式能源在配电网的渗透率不断提高。风电、光伏等分布式新能源大量应用,而随之带来的是海量分布式新能源数据质量控制以及管理的问题。由于新能源数据的随机性和波动性等特点,并网数据存在的数据缺失、重复、异常以及分布不均匀等数据质量问题变得越来越突出,针对数据质量的评估和控制等研究对新能源的发展具有重要的积极意义。

2、近年来,对于海量分布式新能源数据质量控制的异常数据检测问题引起了很大的重视,目前应用较多的算法为神经网络算法、支持向量机算法、随机森林算法、基于数据挖掘的数据异常识别算法等等,以上这些算法都具有一定的局限性,即无法同时实现检测精度和效率的双重目标。在数据量一定的情况下,这些算法尚能完成识别,但是在通常情况下,数据的长度都是不同的,且数据具有极高的流动性和多样性,历史数据具有的可依赖性极低,因此传统算法获得的数据判断阈值存在较大误差,导致传统算法存在严重误报和漏报情况。


技术实现思路

1、为克服传统数据检测方法获得的判断阈值误差较大,导致数据存在误报和漏报的情况,无法同时实现检测精度和效率的双重目标的问题,本专利技术提出一种分布式新能源异常数据检测方法,包括:

2、对待测分布式新能源出力数据进行阈值筛选,当出现超出阈值区间的数据,则将超出阈值区间的数据作为第一异常数据;

3、对经过阈值筛选的待测分布式新能源出力数据进行数据变化程度检测,当出现数据变化程度超出设定数据变化程度阈值的数据,则将超出设定数据变化程度阈值的数据作为第二异常数据;

4、对经过阈值筛选和数据变化程度检测的待测分布式新能源出力数据结合预先确定的残差阈值进行检测,当出现超过所述残差阈值的数据,则将超过所述残差阈值的数据作为第三异常数据;其中,所述残差阈值基于预先构建的回归预测模型确定;

5、其中,所述回归预测模型是基于卷积神经网络和支持向量回归算法构建的;

6、将所述第一异常数据、所述第二异常数据和所述第三异常数据作为异常数据检测结果。

7、优选的,所述回归预测模型的建立,包括:

8、以第一正常历史数据作为输入矩阵,通过卷积神经网络对所述输入矩阵进行自适应特征提取,得到第一正常历史数据的特征向量;

9、将所述第一正常历史数据的特征向量划分为训练样本和测试样本,以所述训练样本中目标样本点到分隔超平面的距离最小为目标,对支持向量机回归方程的分隔超平面权重矢量、松弛变量和惩罚因子进行训练得到回归预测模型;

10、利用所述测试样本对回归预测模型进行验证,根据验证结果对回归预测模型进行修订得到训练好的回归预测模型。

11、优选的,所述对待测分布式新能源出力数据进行阈值筛选,当出现超出阈值区间的数据,则将超出阈值区间的数据作为第一异常数据,包括:

12、按照时间先后顺序对所述待测分布式新能源出力数据进行排序,得到待测分布式新能源出力数据序列;

13、将所述待测分布式新能源出力数据序列与设定阈值区间比较,将超出阈值区间的数据作为第一异常数据;

14、其中,所述阈值区间由历史新能源出力数据和设备要求确定。

15、优选的,所述对经过阈值筛选的待测分布式新能源出力数据进行数据变化程度检测,当出现数据变化程度超出设定数据变化程度阈值的数据,则将超出设定数据变化程度阈值的数据作为第二异常数据,包括:

16、将经过阈值筛选的待测分布式新能源出力数据的数据序列结合数据变化程度的计算式计算数据变化程度;

17、将所述数据变化程度与设定的数据变化程度阈值进行比较,将超过设定的数据变化程度阈值的数据作为第二异常数据;

18、其中,所述数据变化程度阈值是基于历史正常数据的数据变化程度设定的。

19、优选的,所述数据变化程度,包括:

20、分布式新能源出力数据序列中当前时刻数据与前后两时刻数据的差值的绝对值的平均值。

21、优选的,所述数据变化程度按下式计算:

22、

23、式中,it为数据变化程度,vt为当前时刻数据,vt+1为前一时刻数据,vt-1为后一时刻数据;t∈(1,n),t∈z。

24、优选的,所述残差阈值的设定,包括:

25、将第二历史正常分布式新能源出力数据输入所述回归预测模型进行分析,得到第二历史预测数据;

26、将所述第二历史正常分布式新能源出力数据与所述第二历史预测数据作差,得到第二历史正常分布式新能源出力数据的残差;

27、以所述第二历史正常分布式新能源出力数据的残差作为残差阈值。

28、优选的,所述对经过阈值筛选和数据变化程度检测的待测分布式新能源出力数据结合预先确定的残差阈值进行检测,当出现超过所述残差阈值的数据,则将超过所述残差阈值的数据作为第三异常数据,包括:

29、将经过阈值筛选和数据变化程度检测的待测分布式新能源出力数据输入所述回归预测模型中进行计算,得到预测数据;

30、将经过阈值筛选和数据变化程度检测的分布式新能源出力数据与所述预测数据作差,得到残差;

31、将所述残差与残差阈值进行比较,当出现超过残差阈值的残差,则将超过残差阈值的残差对应的分布式新能源出力数据为第三异常数据。

32、优选的,所述回归预测模型如下式所示:

33、

34、式中,y(x)为新能源出力预测值,d为误差,k(xi,xj)为核函数,αi,为求解时引入的拉格朗日乘子,xi∈rn为输入的n维特征向量,xj为核函数中心,i为特征向量维度。

35、基于同一专利技术构思,本专利技术还提供了一种分布式新能源异常数据检测系统,其特征在于,包括:

36、阈值筛选模块、数据变化程度筛选模块和残差阈值筛选模块;

37、所述阈值筛选模块用于对待测分布式新能源出力数据进行阈值筛选,当出现超出阈值区间的数据,则将超出阈值区间的数据作为第一异常数据;

38、所述数据变化程度筛选模块用于对经过阈值筛选的待测分布式新能源出力数据进行数据变化程度检测,当出现数据变化程度超出设定数据变化程度阈值的数据,则将超出设定数据变化程度阈值的数据作为第二异常数据;

39、所述残差阈值筛选模块用于对经过阈值筛选和数据变化程度检测的待测分布式新能源出力数据结合预先确定的残差阈值进行检测,当出现超过所述残差阈值的数据,则将超过所述残差阈值的数据作为第三异常数据;

40、其中,所述残差阈值基于预先构建的回归预测模型确定;

41、其中,所述回归预测模型是基于卷积神经网络和支持向量回归算法构建的;

42、将所述第一异常数据、所述第二异常数据和所述第三异常数据作为异常数据检测结果。...

【技术保护点】

1.一种分布式新能源异常数据检测方法,其特征在于,包括:

2.如权利要求1所述的方法,其特征在于,所述回归预测模型的建立,包括:

3.如权利要求2所述的方法,其特征在于,所述对待测分布式新能源出力数据进行阈值筛选,当出现超出阈值区间的数据,则将超出阈值区间的数据作为第一异常数据,包括:

4.如权利要求2所述的方法,其特征在于,所述对经过阈值筛选的待测分布式新能源出力数据进行数据变化程度检测,当出现数据变化程度超出设定数据变化程度阈值的数据,则将超出设定数据变化程度阈值的数据作为第二异常数据,包括:

5.如权利要求4所述的方法,其特征在于,所述数据变化程度,包括:

6.如权利要求5所述的方法,其特征在于,所述数据变化程度按下式计算:

7.如权利要求1所述的方法,其特征在于,所述残差阈值的设定,包括:

8.如权利要求1所述的方法,其特征在于,所述对经过阈值筛选和数据变化程度检测的待测分布式新能源出力数据结合预先确定的残差阈值进行检测,当出现超过所述残差阈值的数据,则将超过所述残差阈值的数据作为第三异常数据,包括:

9.如权利要求8所述的方法,其特征在于,所述回归预测模型如下式所示:

10.一种分布式新能源异常数据检测系统,其特征在于,包括:

11.如权利要求10所述的系统,其特征在于,所述阈值筛选模块,具体用于:

12.如权利要求10所述的系统,其特征在于,所述数据变化程度筛选模块,具体用于:

13.如权利要求10所述的系统,其特征在于,还包括模型构建模块,用于:

14.一种计算机设备,其特征在于,包括:一个或多个处理器;

15.一种计算机可读存储介质,其特征在于,其上存有计算机程序,所述计算机程序被执行时,实现如权利要求1至9中任一项所述的一种分布式新能源异常数据检测方法。

...

【技术特征摘要】

1.一种分布式新能源异常数据检测方法,其特征在于,包括:

2.如权利要求1所述的方法,其特征在于,所述回归预测模型的建立,包括:

3.如权利要求2所述的方法,其特征在于,所述对待测分布式新能源出力数据进行阈值筛选,当出现超出阈值区间的数据,则将超出阈值区间的数据作为第一异常数据,包括:

4.如权利要求2所述的方法,其特征在于,所述对经过阈值筛选的待测分布式新能源出力数据进行数据变化程度检测,当出现数据变化程度超出设定数据变化程度阈值的数据,则将超出设定数据变化程度阈值的数据作为第二异常数据,包括:

5.如权利要求4所述的方法,其特征在于,所述数据变化程度,包括:

6.如权利要求5所述的方法,其特征在于,所述数据变化程度按下式计算:

7.如权利要求1所述的方法,其特征在于,所述残差阈值的设定,包括:

8.如权利要求1所述的方法,其特征在于,...

【专利技术属性】
技术研发人员:梁志峰王璐瑜张凯锋毕文骏李智周昶孙檬檬夏俊荣张祥文刘海璇胡哲华光辉
申请(专利权)人:中国电力科学研究院有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1