一种适应规则的新能源异常数据判别方法技术

本公开是关于一种适应规则的新能源异常数据判别方法、装置、电子设备以及存储介质。其中，该方法包括：采集风电场及光伏电场的新能源应用场景中预设的数据指标并筛选构建通用异常数据；基于预设新能源数据匹配规则将所述通用异常数据构建生成通用异常数据对照组；计算所述通用异常数据对照组的变量方差及方差变化率；基于最小二乘法将所述方差变化率生成加权目标函数，并基于统一线性模型的回归函数生成的约束条件求取所述加权目标函数的回归异常点，基于所述回归异常点完成异常数据判定。本公开可以通过预设构建的异常数据规则更快速、高效的完成新能源异常的数据清洗工作。高效的完成新能源异常的数据清洗工作。高效的完成新能源异常的数据清洗工作。

【技术实现步骤摘要】
一种适应规则的新能源异常数据判别方法


[0001]本公开涉及新能源数据处理领域，具体而言，涉及一种适应规则的新能源异常数据判别方法、装置、电子设备以及计算机可读存储介质。

技术介绍

[0002]近些年，随着工业化和现代化进程的推进,我国制造业持续快速发展。智能制造作为工业大数据的重要应用场景,既是数据的载体和产生来源,也是工业大数据形成的数据产品最终的应用场景和目标。尤其在能源行业，经过数十年的数字化转型，数据质量问题一直是行业内的痛点，这些异常数据更难以检测识别，而工业大数据具有大体量、多源异构性强、连续采样、价值密度低、动态性强等特点。这为工业大数据的异常故障检测问题带来了难度和挑战。现有异常数据识别技术还是围绕在人工核对、报表提交的手工处理阶段，处理效率低且错误率较高。
[0003]因此，需要一种或多种方法解决上述问题。
[0004]需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

[0005]本公开的目的在于提供一种适应规则的新能源异常数据判别方法、装置、电子设备以及计算机可读存储介质，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。
[0006]根据本公开的一个方面，提供一种适应规则的新能源异常数据判别方法，包括：
[0007]采集风电场及光伏电场的新能源应用场景中预设的数据指标；
[0008]基于预设通用异常数据判定规则，从所述数据指标中筛选构建通用异常数据；
[0009]基于预设新能源数据匹配规则将所述通用异常数据构建生成通用异常数据对照组；
[0010]计算所述通用异常数据对照组的变量方差，并基于所述变量方差计算所述通用异常数据对照组的方差变化率；
[0011]基于最小二乘法将所述方差变化率生成加权目标函数，并基于统一线性模型的回归函数生成的约束条件求取所述加权目标函数的回归异常点，基于所述回归异常点完成异常数据判定。
[0012]在本公开的一种示例性实施例中，所述方法中风电场的数据指标包括10米/30米/50米/70米的风速和风向、相对海平面平均气压、相对地面平均气压，相对海平面平均温度、相对地面平均温度，实际发电功率、理论发电功率的数据指标；
[0013]光伏电场的数据指标包括总辐照度、直接辐照度、散射辐照度、环境温度、组件温度、相对海平面平均气压、相对地面平均气压、实际发电功率、理论发电功率的数据指标。
[0014]在本公开的一种示例性实施例中，所述方法中所述预设通用异常数据判定规则包
括：
[0015]异常数据判定规则，所述异常数据判定规则为基于空值、null值、约定特殊字符的缺省值实现通用异常数据判定；
[0016]异定值判定规则，所述异定值判定规则为基于在纵向时间序列或横向字段序列出现连续大于预设次数数据不变情况的判定实现通用异常数据判定；
[0017]异阈值判定规则，所述异阈值判定规则为基于数据类别的预设阈值判定实现通用异常数据判定。
[0018]在本公开的一种示例性实施例中，所述方法中风电场的通用异常数据对照组包括：
[0019]10米/30米/50米/70米的风速与实际发电功率及理论发电功率为对照组；
[0020]70m风速与50m风速为对照组；
[0021]50m风速与30m风速为对照组；
[0022]30m风速与70m风速为对照组；
[0023]70m风向与50m风向为对照组；
[0024]50m风向与30m风向为对照组；
[0025]30m风向与10m风向为对照组；
[0026]相对海平面平均气压与相对地面平均气压为对照组；
[0027]实际发电功率与理论发电功率为对照组；
[0028]光伏电场的通用异常数据对照组包括：
[0029]总辐照度、直接辐照度为对照组；
[0030]直接辐照度、散射辐照度为对照组；
[0031]散射辐照度、环境温度为对照组；
[0032]环境温度、组件温度为对照组；
[0033]相对海平面平均气压、相对地面平均气压为对照组。
[0034]在本公开的一种示例性实施例中，所述方法还包括：
[0035]通用异常数据对照组中样本集合记为
[0036]W＝{(a1,b1),(a2,b2),(A
n
,B
n
)}，其中，a
i
和b
i
分别表示第i个数据样本的变量a和变量b，数据按照数值降序排列，即令b
i
>b
i
+1,i∈(1,n
‑
1)；
[0037]计算所述通用异常数据对照组的变量方差
[0038]其中，si为第i个点的方差，bj为第j个点的数值，bi为第1到i个点的数据的平均值；
[0039]并基于所述变量方差计算所述通用异常数据对照组的方差变化率为
[0040]k(i)＝|S
i
‑
S
i
‑1|i＝2,3,
…
,n。
[0041]在本公开的一种示例性实施例中，所述方法还包括：
[0042]基于最小二乘法将所述方差变化率生成加权目标函数
[0043]其中，β1＝[α
(1)
β
(1)
…
β
r(1)
]T
，β2＝[α
(1)
β
(1)
…
β
r(1)
]T
，j为回归异常点；
[0044]基于统一线性模型的回归函数生成的约束条件求取所述加权目标函数的回归异常点基于所述回归异常点完成异常数据判定。
[0045]在本公开的一种示例性实施例中，所述方法还包括：
[0046]在完成异常数据判定后，将所述通用异常数据分为正常数据和异常数据两部分
[0047]其中，W
n
为变量a数据区间的正常数据集；W
o
为变量b数据区间的异常数据集。
[0048]在本公开的一个方面，提供一种适应规则的新能源异常数据判别装置，包括：
[0049]数据采集模块，用于采集风电场及光伏电场的新能源应用场景中预设的数据指标；
[0050]通用异常数据构建模块，用于基于预设通用异常数据判定规则，从所述数据指标中筛选构建通用异常数据；
[0051]对照组生成模块，用于基于预设新能源数据匹配规则将所述通用异常数据构建生成通用异常数据对照组；
[0052]方差变化率计算模块，用于计算所述通用异常数据对照组的变量方差，并基于所述变量方差计算所述通用异常数据对照组的方差变化率；
[0053]异常数据判定模块，用于基于最小二乘法将本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种适应规则的新能源异常数据判别方法，其特征在于，所述方法包括：采集风电场及光伏电场的新能源应用场景中预设的数据指标；基于预设通用异常数据判定规则，从所述数据指标中筛选构建通用异常数据；基于预设新能源数据匹配规则将所述通用异常数据构建生成通用异常数据对照组；计算所述通用异常数据对照组的变量方差，并基于所述变量方差计算所述通用异常数据对照组的方差变化率；基于最小二乘法将所述方差变化率生成加权目标函数，并基于统一线性模型的回归函数生成的约束条件求取所述加权目标函数的回归异常点，基于所述回归异常点完成异常数据判定。2.如权利要求1所述的方法，其特征在于，所述方法中的风电场的数据指标包括：10米、30米、50米以及70米的风速和风向；相对海平面平均气压、相对地面平均气压；相对海平面平均温度、相对地面平均温度；实际发电功率、理论发电功率的数据指标；所述光伏电场的数据指标包括总辐照度、直接辐照度、散射辐照度、环境温度、组件温度、相对海平面平均气压、相对地面平均气压、实际发电功率、理论发电功率的数据指标。3.如权利要求1所述的方法，其特征在于，所述预设通用异常数据判定规则包括：异常数据判定规则，所述异常数据判定规则包括基于空值、null值、约定特殊字符的缺省值实现通用异常数据判定；异定值判定规则，所述异定值判定规则包括基于在纵向时间序列或横向字段序列出现连续大于预设次数数据不变情况的判定实现通用异常数据判定；异阈值判定规则，所述异阈值判定规则包括基于数据类别的预设阈值判定实现通用异常数据判定。4.如权利要求1所述的方法，其特征在于，所述风电场的通用异常数据对照组包括，10米/30米/50米/70米的风速与实际发电功率及理论发电功率为对照组：70m风速与50m风速为对照组；50m风速与30m风速为对照组；30m风速与70m风速为对照组；70m风向与50m风向为对照组；50m风向与30m风向为对照组；30m风向与10m风向为对照组；相对海平面平均气压与相对地面平均气压为对照组；实际发电功率与理论发电功率为对照组；光伏电场的通用异常数据对照组包括：总辐照度、直接辐照度为对照组；直接辐照度、散射辐照度为对照组；散射辐照度、环境温度为对照组；环境温度、组件温度为对照组；相对海平面平均气压、相对地面平均气压为对照组。
5.如权利要求1所述的方法，其特征在于，所述方法还包括：所述通用异常数据对照组中样本集合记为W＝{(a1,b1),(a2,b2),......,(a
n
,b
n
)}，其中，a
n
和b
n
分别表示第n个数据样本的变量a和变量b，数据按照数值降序排列，即令b
i
>b
i
+1,i∈(1,n
‑
1)；计算所述通用异常数据对照组的变量方差：其中，s
i
为第i个点的方差，b
j
为第j个点的数值，为第1到i个点的数据的平均值；得到各点方差后，通过方差变化率k...

【专利技术属性】
技术研发人员：贺铮，徐琳，艾宇飞，任文辉，李行，路亚骏，董欢欢，
申请(专利权)人：中能融合智慧科技有限公司，
类型：发明
国别省市：