一种面向配电物联网的海量安全数据在线聚合方法技术

本发明专利技术提出一种面向配电物联网的海量安全数据在线聚合方法，能够解决海量数据信息孤立以及实时新增在线数据无法得到准确聚合分类的问题，提高了对配电物联网新增在线安全数据的聚合准确度，保证配电物联网的计算效率和数据处理的时效性，实现配电物联网的安全可靠运行。运行。运行。

【技术实现步骤摘要】
一种面向配电物联网的海量安全数据在线聚合方法


[0001]本专利技术涉及配电物联网海量安全数据处理的
，尤其涉及一种面向配电物联网的海量安全数据在线聚合方法

技术介绍

[0002]配电物联网作为泛在电力物联网在配电领域的成功实践，实现了物联网和配电网的融合，成为了泛在电力物联网建设的主战场，然而，配电物联网终端监测和采集到的海量安全数据，却存在以下问题：数据信息较为孤立，难以得到综合全面的利用，信息孤岛问题严重；各个监测系统或装置间缺乏横向沟通，信息交互存在困难；信息的纵向联系不深入，原始离线数据的剖析不到位，对新增的在线数据处理不及时等等。
[0003]现有针对配电物联网海量安全数据在线聚合的方法比较匮乏，无法实现对新增在线数据的精准聚合分类，因而造成了配电终端对海量安全数据的聚合准确度不高，对海量安全数据信息处理效率较低，降低了在线数据的利用深度。配电网物联网中的海量安全数据受到多种因素制约，若无法对其离线和在线数据进行准确的聚合分类，将会导致输入到计算中心的信息错误，从而影响配电物联网的安全可靠运行。r/>
技术实现思路
<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向配电物联网的海量安全数据在线聚合方法，其特征在于：包括，S1：获取海量安全数据并利用Map映射机制对其进行划分，得到等分容量大小的子数据集；S2：利用MapReduce编程模型对传统的K-means算法进行改进，并将其建立在Hadoop分布式集群上，得到优化的K-means算法；S3：对于配电物联网的离线海量安全数据，运用优化的K-means算法进行训练，得到种类性质各不相同的类簇；S4：对于配电物联网的在线新增数据，利用模糊K-means增量算法对其进行聚合；S5：基于训练后的模糊K-means增量算法模型对在线新增数据进行处理，判定新增在线数据所属的类簇；S6：利用Reduce机制，对配电物联网离线数据聚合处理和新增在线数据聚合得到的类簇进行合并处理并得到最终结果。2.如权利要求1所述的一种面向配电物联网的海量安全数据在线聚合方法，其特征在于：S1中，对海量安全数据进行划分还包括，S1-1：对获取到的海量安全数据进行离散化处理，得到离散化数据；S1-2：将离散化数据进行矩阵化处理，得到与时间相关的数据矩阵；S1-3：利用与时间相关的数据矩阵，将获取到的海量安全数据分为海量离线安全数据和新增在线安全数据两部分。3.如权利要求1或2所述的一种面向配电物联网的海量安全数据在线聚合方法，其特征在于：所述优化的K-means算法利用离线数据样本与类簇中心的距离计算离线数据样本归属于不同类簇的隶属度，进一步描述了不同的离线数据样本对于类簇中心迭代计算的不同贡献度，且离线样本对于类簇簇心的贡献度与样本和簇心的距离成反比。4.如权利要求1或2所述的一种面向配电物联网的海量安全数据在线聚合方法，其特征在于：所述的模糊K-means增量算法定义了相似性和差异性，对于新增在线数据x
new
，对其划分完之后，比较x
new
插入后的类簇i的类内相似性conhesion(V
i
)'与未插入x
new
之前的类内相似性cohesion(V
i
)的变化，若|cohesion(V
i
)'-cohesion(V
i
)|＜α(α为常数)，则不对类簇i进行分裂；否则，对类簇i进行分裂。5.如权利要求3所述的一种面向配电物联网的海量安全数据在线聚合方法，其特征在于：所述隶属度计算公式为，其中，μ
ij
是样本X
j
对于第i个类簇的隶属度；d
ij
是样本X
j
与簇心v
i
的欧氏距离；m是模糊系数；k是聚类的类簇个数。6.如权利要求3所述的面向配电物联网的海量安全数据在线聚合方法，其特征在于：所述优化的K-means算法具体包括如下步骤，S2-1：定义类簇个数k；初始化聚类中心v
i
；距离判断阈值ζ；模糊系数m；上下近似加权系
数ω
l
和ω
b
；S2-2：对每个对象X
j
，计算X
j
到各个类簇中心点v
i
的欧氏距离d
ij
，选择o＝{i|d
ij
＝min({d
ij
})，i＝1,2...,k，如...

【专利技术属性】
技术研发人员：栾奇麒，宋庆武，张腾飞，蒋峰，刘海姣，李春鹏，官国飞，王昕平，田昕泽，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：