【技术实现步骤摘要】
一种基于数值关联性模型的异常数据探测及修正方法
本专利技术涉及一种异常数据处理方法,具体涉及一种基于数值关联性模型的异常数据探测及修正方法。
技术介绍
随着企业信息化的全面开展,企业对数据的依赖程度也逐步加大,数据信息日益成为企业重要的战略资源,数据质量的好坏直接关系到信息的准确程度,也影响了企业的生存和竞争能力。在智能电网推进的大背景下,电网企业基于自身的业务特色不断建立和改进现有的信息系统,基本覆盖了财务、营销、安全生产、协同办公、人力资源、物资、项目管理、综合等电力企业的主要业务范围。同时,在电网公司信息化建设的过程中,电网企业各应用系统所产生的业务数据急剧增加,关系型数据、文本型数据、实时数据等各种类型的电网企业业务数据呈海量增长,大量业务数据产生并积累。在业务数据产生的过程中,由于数据采集技术、统计口径、人员素质、管理机制等方面的差异和漏洞,导致相当一部分业务数据在准确性方面不满足业务需求,从而对企业的数据分析、数据处理、投资决策等工作带来严重的负面影响。数据作为信息系统的基础和核心,起着至关重要的作用,数据质量的高低对整个系统有直接的影响。好的数据质量是数据分析得到有意义结果的基本条件,而质量低劣的数据已经成为影响企业进行正确决策的重要因素。因此,电网企业对高质量数据的需求日益增长。信息系统的信息质量主要是由数据质量及系统处理数据的业务过程所决定的。根据“进来的是垃圾,出去的也是垃圾”这一著名的论断,在数据集成的过程中进行数据质量的治理,对于提高信息系统的信息质量将起到至关重要的作用。准确性是数据价值的体现,也是衡量数据质量的重要标准。数据的准 ...
【技术保护点】
一种基于数据关联性模型的异常数据探测及修正方法,其特征在于,包括彼此进行数据通信的源指标数据库、数据访问模块、业务逻辑模块和展示模块,包括如下步骤:?S1、展示模块定义异常数据判断条件,并将异常数据判断条件存储至源指标数据库中,同时,源指标数据库中还存储业务指标定义和业务指标数据;?S2、数据访问层遍历源指标数据库中的业务指标数据,判断其是否符合异常数据判断条件,将符合异常数据判断条件的业务指标数据在展示模块进行展示,同时执行步骤S3;?S3、业务逻辑模块对符合异常数据判断条件的业务指标数据进行修正,并根据需要将修正后的数据存储至源指标数据库。
【技术特征摘要】
1.一种基于数据关联性模型的异常数据探测及修正方法,其特征在于,包括彼此进行数据通信的源指标数据库、数据访问模块、业务逻辑模块和展示模块,包括如下步骤:S1、展示模块定义异常数据判断条件,并将异常数据判断条件存储至源指标数据库中,同时,源指标数据库中还存储业务指标定义和业务指标数据;步骤S1中,展示模块定义的异常数据判断条件包括:阈值标定条件、历史趋势纵向校准条件和关联性横向校准条件,所述阈值标定条件为定义业务指标的最大值和最小值;所述历史趋势纵向校准条件为通过分析特定时间周期内的历史数据变化趋势,归纳出的线性回归方程式;所述关联性横向校准条件为分析指标之间的依赖关系确定的函数依赖表达式;S2、数据访问层遍历源指标数据库中的业务指标数据,判断其是否符合异常数据判断条件,将符合异常数据判断条件的业务指标数据在展示模块进行展示,同时执行步骤S3;S3、业务逻辑模块对符合异常数据判断条件的业务指标数据进行修正,并根据需要将修正后的数据存储至源指标数据库;其中,对符合异常数据判断条件的业务指标数据进行修正时,判断是否选择系统推荐的修正算法,如果选择,则执行所选择的修正算法,如果不选择,则重新定义修正算法进行修正;对符合异常数据判断条件的业务指标数据进行修正的修正算法包括阈值中值修正,具体方法为:Y1、取得符合异常数据判断条件的业务指标数据后,判断源指标数据库中是否存在该业务指标对用的阈值,如果存在,则取出该业务指标对应的最大值Vmax和最小值Vmin,如果不存在,则定义该指标对应的阈值存入源指标数据库中;Y2、业务逻辑层计算阈值中值做为修正值,修正值V=(Vmax+Vmin)/2。2.根据权利要求1所述的一种基于数据关联性模型的异常数据探测及修正方法,其特征在于,步骤S3中,对符合异常数据判断条件的业务指标数据进行修正的修正算法包括函数依赖关系式修正,具体方法为:H1、取得符合异常数据判断条件的业务指标数据后,判断源指标数据库中是否存在该业务指标对应的函数依赖关系式,如果存在,则提取该函数依赖关系式;如果不存在,则定义该业务指标对应的函数依赖关系式存入源指标数据库中;H2、业务逻辑层根据取得的函数依赖关系式对异常数据进行修正,得到修正值。3.根据权利要求1所述的一种基于数据关联性模型的异常数据探测及修正方法,其特征在于,步骤S3中,对符合异常数据判断条件的业务指标数据进行修正的修正算法包括EM填充法,具体方法为:E1、取得符...
【专利技术属性】
技术研发人员:吴克河,朱亚运,党芳芳,
申请(专利权)人:江苏华大天益电力科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。