基于消息总线的数据质量治理系统及方法技术方案

本发明专利技术涉及一种基于消息总线的数据质量治理系统，本发明专利技术通过消息总线接收多个数据发送端的发送的电力监测数据并分类保存；确定电力监测数据质量评估指标，构建数据质量规则校验库；采用基于灰狼

【技术实现步骤摘要】
基于消息总线的数据质量治理系统及方法
[0001]技术邻域
[0002]本专利技术涉及自动化信息系统技术邻域，具体涉及一种基于消息总线的数据质量治理系统及方法。

技术介绍

[0003]随着自动化信息系统数最越来越多，电力系统规模和容量越来越大，信息量日趋庞大。随着监控终端的大力推广，监测对象特性差异，监测数据相关性运算进行预警作用逐步凸显。随着数据迅速增长，不同数据源的数据质量参差不齐，数据质量有不同的概念和标准，数据质量一般包括数据的准确性、完整性、及时性、一致性等定量描述。
[0004]对于大数据时代下的电力系统来说，其所需存储、处理的数据量大，数据来源和数据结构繁多复杂，为大数据的分析和应用带来很多挑战。特别是在终端据量不断增长，监测数据量不断上升的清况下，数据质量治理难度也在不断增加。同时，现有的设置校验规则、权重规则进行质量评价的模式还存在评价指标单一、不够准确的问题。

技术实现思路

[0005]本专利技术的目的在于提供一种基于消息总线的数据质量治理系统及方法，本专利技术能解决电力系统监测数据质量评估可信度差的问题。...

【技术保护点】

【技术特征摘要】
1.一种基于消息总线的数据质量治理系统，其特征在于：它包括数据接入模块(1)、校验规则构建模块(2)、聚类划分模块(3)、质量评估模块(4)和综合评价模块(5)，其中，所述数据接入模块(1)用于通过消息总线接收多个数据发送端的发送的电力监测数据；校验规则构建模块(2)用于构建数据质量规则校验库；聚类划分模块(3)用于采用基于灰狼-天牛须搜索算法优化的k-means聚类法对电力监测数据进行聚类，从而将电力监测数据划分成多个数据子集；质量评估模块(4)用于对各个数据子集，分别通过LOF异常值检测算法进行准确性评估得到电力监测数据准确性评估指标，并且，对各个数据子集，分别利用数据质量规则校验库进行电力监测数据完整性评估、电力监测数据一致性评估、电力监测数据可用性评估和电力监测数据实时性评估，得到对应的电力监测数据完整性评估指标、电力监测数据一致性评估指标、电力监测数据可用性评估指标和电力监测数据实时性评估指标；综合评价模块(5)用于通过改进的层次分析法计算电力监测数据准确性评估指标、电力监测数据完整性评估指标、电力监测数据一致性评估指标、电力监测数据可用性评估指标和电力监测数据实时性评估指标的权重，并利用上述各项指标的权重和各项指标评估得分计算电力监测数据质量综合评价结果。2.根据权利要求1所述的基于消息总线的数据质量治理系统，其特征在于：所述校验规则构建模块(2)还用于确定电力监测数据质量评估指标，所述电力监测数据质量评估指标包括电力监测数据准确性评估指标、电力监测数据完整性评估指标、电力监测数据一致性评估指标、电力监测数据可用性评估指标和电力监测数据实时性评估指标。3.根据权利要求1所述的基于消息总线的数据质量治理系统，其特征在于：所述采用基于灰狼-天牛须搜索算法优化的k-means聚类法对电力监测数据进行聚类具体包括：进行灰狼算法初始化，根据经验或需求设置设置群规模和聚类类别数，进行狼群初始化和聚类质心初始化；初始化，灰狼算法初始化，设置种群规模N、解空间维度n、狼群初始化其中i＝1,2，
…
，N；适应度评价，分别通过适应度函数计算每只灰狼的适应度，筛选出适应度最小的三个灰狼α、β、δ，其对应位置分别为将输入位置更新单元；所述灰狼算法的适应度函数为所有的类内距离之和，其中K为聚类类别数，d(X
i
,C
j
)为第j个聚类类别中每个灰狼对象X
i
到其聚类中心点C
j
的距离，C
j
表示第j个聚类类别的聚类中心点；位置更新，计算其它灰狼ω到灰狼α、β、δ的距离结合天牛须搜索算法中的触角气味搜索的方式进行灰狼个体位置更新：触角气味搜索的方式进行灰狼个体位置更新：
其中，表示灰狼的位置向量，为第t+1次迭代时灰狼个体更新位置，与均为系数向量，均为系数向量，均为[0,1]中均匀分布的随机向量，a＝a1(1-t/t
max
)，t为当前迭代次数，t＝1,2,
…
,t
max
，a1为常数，a1∈[0,2]，t
max
为最大迭代次数；的取值范围为-2a～2a，表示第t次迭代时灰狼α的位置，表示第t次迭代时灰狼β的位置，表示第t次迭代时灰狼δ的位置；表示天牛须搜索的n维随机单位向量，表示天牛须搜索的n维随机单位向量，分别为左侧、右侧天牛须搜索区域的位置，相当于天牛位置；δ
t
是搜索步长，用于调整收敛速度，是迭代次数t的递减函数；sign()表示符号函数，f为适应度函数，d为两须之间的距离的一半；为第t+1次迭代时除头狼外的其它灰狼的位置，分别为位置更新后头狼位置；根据灰狼个体位置更新结果重新进行适应度计算，进行迭代运算，直至达到最大迭代次数，输出作为优化后的聚类质心，根据聚类质心...

【专利技术属性】
技术研发人员：陶汉涛，王海涛，方玉河，李健，张磊，林卿，陈玥，姜志博，吴大伟，李旺，
申请(专利权)人：南瑞集团有限公司，
类型：发明
国别省市：