【技术实现步骤摘要】
一种电力企业自助大数据多级闭环修复方法和装置
本专利技术涉及数据处理
,尤其涉及一种电力企业自助大数据多级闭环修复方法和装置。
技术介绍
电力企业具有海量的业务数据,在企业的决策与发展中,多采用此部分数据作为企业决策的支持数据。受到数据采集过程与存储模式的干扰,此部分数据中存在大量的破损与无效数据,破损数据会对电力企业数据分析结果造成恶劣的影响。为避免此类问题的出现,需要对数据展开及时的修复。数据修复是指通过技术手段,将保存在台式机硬盘、数码存储卡、Mp3等等设备上具有缺失部分的电子数据进行抢救和恢复的技术。使用此技术可提高数据的完整度,确保数据的使用效果。将现有数据修复方法应用在企业自助大数据修复系统中时,由于业务数据较多,影响系统的数据承载力,整体数据修复结果受限。
技术实现思路
本专利技术的目的在于克服现有技术存在的以上问题,提供一种电力企业自助大数据多级闭环修复方法。为实现上述技术目的,达到上述技术效果,本专利技术通过以下技术方案实现:一种电力企业自助大数据多 ...
【技术保护点】
1.一种电力企业自助大数据多级闭环修复方法,其特征在于,包括:/nS10、数据采集,采用按照时间间隔采集数据形式进行数据采集;/nS20、异常数据识别,采用阈值法进行异常数据识别,设定数据阈值计算指标,若数据计算结果超出阈值范围,则视作此数据为异常数据;/nS21、设定数据采集过程中的数据流量阈值,设定数据采集器采集到的数据流量为α,则数据流量α的最大合理定位表示为:/na
【技术特征摘要】
1.一种电力企业自助大数据多级闭环修复方法,其特征在于,包括:
S10、数据采集,采用按照时间间隔采集数据形式进行数据采集;
S20、异常数据识别,采用阈值法进行异常数据识别,设定数据阈值计算指标,若数据计算结果超出阈值范围,则视作此数据为异常数据;
S21、设定数据采集过程中的数据流量阈值,设定数据采集器采集到的数据流量为α,则数据流量α的最大合理定位表示为:
amax=fx·B·T/60
式中,fx表示数据采集结果的修正系数,B为数据采集设备的数据通行能力,T设定为数据采集设备的数据采集时间间隔;
S22、设定数据采集过程中的时间占有率阈值,表示待测数据采集时间与采集工作全部时间的比值通过公式可表示为:
式中,ui表示待测数据采集时间,uall表示采集工作全部时间,K表示系统占有率;
S23、设定数据采集过程中的数据速度阈值,在实际的数据采集中对数据采集速度具有一定的限制,那么数据采集速度的最大合理取值可表示为:
vmax=fx·v
式中,fx表示修正系数,v表示数据通道的限制速度,vmax表示数据采集速度的最大合理取值;
S24、采用平滑估计阈值算法,确定数据的临界阈值,采用不同的时间间隔采集到的数据经过平滑处理得到数据均方根误差,通过对均方根误差进行处理可以得到数据采集的异常值:
对上述公式进行拟合,得到临界阈值计算公式如下所示:
gmax=g+y(t)、gmin=g-y(t)
在上式中,gmin表示最小临界阈值,gmax表示最大临界阈值,g表示平滑处理后的数据值,y(t)表述数据采集时间间隔与均方差之间的函数关系,t表述数据采集时间间...
【专利技术属性】
技术研发人员:陈凤超,饶欢,黎鸣,张鑫,胡润锋,邓景柱,张锐,邱泽坚,陈志伟,赵俊炜,汪杰,李祺威,周立德,何毅鹏,
申请(专利权)人:广东电网有限责任公司东莞供电局,
类型:发明
国别省市:广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。