一种量测数据的完整性校验方法及系统、电子设备、介质技术方案

本发明专利技术公开了一种量测数据的完整性校验方法及系统、电子设备、介质，该方法通过构建数据完整性校验模型并在网关设备处部署哨兵，利用哨兵机制基于数据完整性校验模型对网关设备生成的数据报文进行完整性校验，若校验通过则上传数据报文，若检验失败则重新生成数据报文，可以过滤掉一些不完整的数据，降低了不完整数据传输至量测中心的概率，提高了量测中心收集到的数据质量，并且，若再次校验失败则直接将数据报文标记为不完整数据并上传，在提高数据完整性的同时有利于降低数据传输的时延，提高数据处理效率，满足应用层对数据的实时性要求。要求。要求。

【技术实现步骤摘要】
一种量测数据的完整性校验方法及系统、电子设备、介质


[0001]本专利技术涉及电力物联网
，特别地，涉及一种量测数据的完整性校验方法及系统、电子设备、计算机可读取的存储介质。

技术介绍

[0002]随着电力物联网的快速发展，接入物联网的设备与日俱增，物联网技术与其他先进技术的结合进一步提高了电网数字化程度，有效提高了发、输、变、配、用这五个环节的生产效率。当前，大多数应用是基于设备上报的数据实现现场状态分析等功能，这意味着数据的完整性和有效性对于上层应用来说至关重要。企业级实时量测中心(简称量测中心)作为一个实时数据中心，汇聚了海量的实时数据，包括各类电力与非电力数据，这些数据来自不同的系统。同时，量测中心还具备高效的数据处理和分发能力，能为上层应用提供实时的数据支撑。虽然，海量的设备为量测中心提供了丰富的数据，进而为各类应用的运转提供了强有力的数据支撑，但是，一方面由于设备的数量和种类的增加，使得处理数据的复杂度倍增，此外，较差的通信环境和其他意外事件使得数据在传输和处理的过程中面临丢失的风险，另一方面，随着业务应用和范围的拓展，数据传输和处理的链路越来越长，进一步使得数据在传输和处理过程中出现缺失的概率更大。而数据的完整性对上层应用有着关键作用，低质量的数据会降低应用的性能，严重的情况还可能会造成重大决策失误。而在当前的电力物联网平台中缺乏识别设备上报数据完整性的方法，因此，亟需设计一种可行的量测数据完整性校验方法，来完善平台的功能，提高分发至上层应用的数据的完整性，增强电网安全稳定运行水平。
专利
技术实现思路

[0003]本专利技术提供了一种量测数据的完整性校验方法及系统、电子设备、计算机可读取的存储介质，以解决现有技术中无法识别设备上报数据完整性的技术问题。
[0004]根据本专利技术的一个方面，提供一种量测数据的完整性校验方法，包括以下内容：
[0005]构建数据完整性校验模型；
[0006]在网关设备处部署哨兵，并将构建的数据完整性校验模型分发至哨兵；
[0007]在网关设备采集感知数据并生成数据报文后，利用哨兵基于数据完整性校验模型对数据报文进行完整性校验，若校验通过则将数据报文上报至数据采集系统，若校验不通过则要求网关设备重新采集感知数据并再次生成数据报文，若重新生成的数据报文再次校验不通过则将该数据报文标记为不完整数据并上报至数据采集系统。
[0008]进一步地，所述构建数据完整性校验模型的过程具体为：
[0009]采集网关设备T天上报的完整历史数据，其中，网关设备每天上报的数据量为K，从而得到该网关设备的维度为T
×
K的训练集，训练集中的每个数据为非负整数，每个数据的值表示网关设备在该时刻上报的数据量；
[0010]对于每个时刻维度k∈{1,2,
…
,K}，从训练集中对应取出维度为T
×
1的训练数据
向量R，并基于训练数据向量R构建对应时刻上报数据量的概率模型，从而得到网关设备不同时刻上报数据量的校验模型。
[0011]进一步地，概率模型的表达式为：
[0012]G＝{r
k
|P(r
k
)；r
k
∈γ
k
},k∈{1,2,...,K}
[0013]其中，G表示网关设备上报数据量的概率模型，r
k
表示网关设备k时刻上报的数据量，P(r
k
)表示值r
k
出现的概率，P
t
表示训练数据向量R中第t条数据所占的权重，P
t
＝e
α(t
‑
T)
，t∈{1,2,...,T}，α表示时间衰减因子，M
r
表示训练数据向量R中值为r
k
组成的子集，P
i
表示子集M
r
中的第i条数据在训练数据向量R中所占的权重，γ
k
表示r
k
可能的取值集合。
[0014]进一步地，所述基于数据完整性校验模型对数据报文进行完整性校验的过程具体为：
[0015]获取网关设备生成数据报文的当前时刻和当前上报数据量，根据当前时刻选择对应的概率模型，基于该概率模型计算得到当前上报数据量的概率值，若该概率值不小于预设阈值则判定校验通过，否则判定校验不通过。
[0016]进一步地，所述预设阈值基于下式自适应得到：
[0017][0018]其中，表示k时刻对应概率模型的预设阈值，maxval和minval分别表示集合ψ
k
中的最大值和最小值，ψ
k
表示γ
k
对应的概率集合，σ表示集合ψ
k
的标准差。
[0019]进一步地，还包括以下内容：
[0020]在数据采集系统和量测中心部署哨兵，并将数据完整性校验模型分发至哨兵以进行完整性校验，若校验通过则将数据报文上报，若校验不通过则要求上游节点重传数据并再次进行校验，若再次校验不通过则将该数据报文标记为不完整数据并上报，若接收的数据报文被标记为不完整数据则直接上报。
[0021]进一步地，还包括以下内容：
[0022]在数据使用过程中采集完整数据，并利用完整数据对数据完整性校验模型进行更新。
[0023]另外，本专利技术还提供一种量测数据的完整性校验系统，包括：
[0024]模型构建模块，用于构建数据完整性校验模型；
[0025]哨兵部署模块，用于在网关设备处部署哨兵，并将构建的数据完整性校验模型分发至哨兵；
[0026]完整性校验模块，用于在网关设备采集感知数据并生成数据报文后，利用哨兵基于数据完整性校验模型对数据报文进行完整性校验，若校验通过则将数据报文上报至数据采集系统，若校验不通过则要求网关设备重新采集感知数据并再次生成数据报文，若重新生成的数据报文再次校验不通过则将该数据报文标记为不完整数据并上报至数据采集系统。
[0027]另外，本专利技术还提供一种电子设备，包括处理器和存储器，所述存储器中存储有计
算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，用于执行如上所述的方法的步骤。
[0028]另外，本专利技术还提供一种计算机可读取的存储介质，用于存储对量测数据的完整性进行校验的计算机程序，所述计算机程序在计算机上运行时执行如上所述的方法的步骤。
[0029]本专利技术具有以下效果：
[0030]本专利技术的量测数据的完整性校验方法，通过构建数据完整性校验模型并在网关设备处部署哨兵，利用哨兵机制基于数据完整性校验模型对网关设备生成的数据报文进行完整性校验，若校验通过则上传数据报文，若检验失败则重新生成数据报文，可以过滤掉一些不完整的数据，降低了不完整数据传输至量测中心的概率，提高了量测中心收集到的数据质量，并且，若再次校验失败则直接将数据报文标记为不完整数据并上传，在提高数据完整性的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种量测数据的完整性校验方法，其特征在于，包括以下内容：构建数据完整性校验模型；在网关设备处部署哨兵，并将构建的数据完整性校验模型分发至哨兵；在网关设备采集感知数据并生成数据报文后，利用哨兵基于数据完整性校验模型对数据报文进行完整性校验，若校验通过则将数据报文上报至数据采集系统，若校验不通过则要求网关设备重新采集感知数据并再次生成数据报文，若重新生成的数据报文再次校验不通过则将该数据报文标记为不完整数据并上报至数据采集系统。2.如权利要求1所述的量测数据的完整性校验方法，其特征在于，所述构建数据完整性校验模型的过程具体为：采集网关设备T天上报的完整历史数据，其中，网关设备每天上报的数据量为K，从而得到该网关设备的维度为T
×
K的训练集，训练集中的每个数据为非负整数，每个数据的值表示网关设备在该时刻上报的数据量；对于每个时刻维度k∈{1,2,
…
,K}，从训练集中对应取出维度为T
×
1的训练数据向量R，并基于训练数据向量R构建对应时刻上报数据量的概率模型，从而得到网关设备不同时刻上报数据量的校验模型。3.如权利要求2所述的量测数据的完整性校验方法，其特征在于，概率模型的表达式为：G＝{r
k
|P(r
k
)；r
k
∈γ
k
},k∈{1,2,...,K}其中，G表示网关设备上报数据量的概率模型，r
k
表示网关设备k时刻上报的数据量，P(r
k
)表示值r
k
出现的概率，P
t
表示训练数据向量R中第t条数据所占的权重，P
t
＝e
α(t
‑
T)
，t∈{1,2,...,T}，α表示时间衰减因子，M
r
表示训练数据向量R中值为r
k
组成的子集，P
i
表示子集M
r
中的第i条数据在训练数据向量R中所占的权重，γ
k
表示r
k
可能的取值集合。4.如权利要求3所述的...

【专利技术属性】
技术研发人员：祝视，杨芳僚，周沿东，田建伟，朱宏宇，孙毅臻，眭建新，方龙泉，焦筱悛，刘虎，
申请(专利权)人：国网湖南省电力有限公司信息通信分公司国家电网有限公司，
类型：发明
国别省市：