一种数据实时压缩存储方法、介质及系统技术方案

本发明专利技术公开一种数据实时压缩方法、介质及系统，该方法包括：在每一采集时间采集一个数据；从本次采集的第一个数据开始，采用旋转门趋势算法，进行本次数据压缩存储；所述采用旋转门趋势算法，进行本次数据压缩存储的步骤，包括：本次压缩存储的过程中，从采集第二个数据开始，计算当前数据对应的第一标准值和第二标准值；计算当前数据对应的第一标准值的绝对值和第二标准值的绝对值的和，得到当前数据对应的判断值；比较当前数据对应的判断值与数据异常存储值和数据正常存储值的大小关系；根据所述大小关系进行本次数据压缩存储。本发明专利技术可实现对数据无损压缩存储，从根源上解决数据量大、数据存取缓慢等问题。数据存取缓慢等问题。数据存取缓慢等问题。

【技术实现步骤摘要】
一种数据实时压缩存储方法、介质及系统


[0001]本专利技术涉及数据处理
，尤其涉及一种数据实时压缩存储方法、介质及系统。

技术介绍

[0002]变电站或数字换流站在线监测系统接入大量的被监测设备，主要包括充油、充气、避雷器、套管等重要设备，每台被监测设备含有一定数量的监测点，其实时采集数据量很大。由于现有在线监测采集数据未经处理直接存入数据库，随着在线监测系统的长期运行，系统数据存储量将逐步增大，进而导致数据存取缓慢，存在数据分析、数据特征提取困难等问题，不利于被监测设备的状态有效管控。

技术实现思路

[0003]本专利技术实施例提供一种数据实时压缩存储方法、介质及系统，以解决现有技术采集的数据未经处理直接存入数据库，导致数据存储量将逐步增大，使数据存取缓慢的问题。
[0004]第一方面，提供一种数据实时压缩方法，包括：
[0005]在每一采集时间采集一个数据；
[0006]从本次采集的第一个数据开始，采用旋转门趋势算法，进行本次数据压缩存储；
[0007]其中，所述采用旋转门趋势算法，进行本次数据压缩存储的步骤，包括：
[0008]本次压缩存储的过程中，从采集第二个数据开始，计算当前数据对应的第一标准值和第二标准值；
[0009]计算当前数据对应的第一标准值的绝对值和第二标准值的绝对值的和，得到当前数据对应的判断值；
[0010]比较当前数据对应的判断值与数据异常存储值和数据正常存储值的大小关系；
[0011]根据所述大小关系进行本次数据压缩存储。
[0012]第二方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令；所述计算机程序指令被处理器执行时实现如上述第一方面实施例所述的数据实时压缩存储方法。
[0013]第三方面，提供一种数据实时压缩存储系统，包括：如上述第二方面实施例所述的计算机可读存储介质。
[0014]这样，本专利技术实施例，可实现采集数据的无损压缩存储，从根源上解决数据量大、数据存取缓慢等问题，为后续系统数据分析及数据特征提取提供方便。
附图说明
[0015]为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图
获得其他的附图。
[0016]图1是本专利技术实施例的数据实时压缩存储方法的流程图；
[0017]图2是本专利技术实施例的旋转门趋势算法的流程图；
[0018]图3是本专利技术一具体实施例的数据压缩前后对比图。
具体实施方式
[0019]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获取的所有其他实施例，都属于本专利技术保护的范围。
[0020]本专利技术实施例公开了一种数据实时压缩存储方法。该方法可应用于变电站在线监测数据的压缩存储。如图1所示，该方法包括如下的步骤：
[0021]步骤S101：在每一采集时间采集一个数据。
[0022]一般的，两两相邻的采集时间的时间间隔相等，例如，间隔5s。
[0023]该数据可以是依次实时采集的数据，也可以是依次获取的历史数据。
[0024]当该数据是实时采集的数据时，采集后的数据可通过工业网络及传输标准传送获得，以便通过本专利技术实施例的方法处理一些变化的新采集数据。
[0025]当该数据是历史数据时，可通过计算机文件系统及相应的数据库应用获取历史数据，以便通过本专利技术实施例的方法处理原有数据，使压缩前与压缩后的数据有效性保持一致。
[0026]步骤S102：从本次采集的第一个数据开始，采用旋转门趋势算法，进行本次数据压缩存储。
[0027]具体的，如图2所示，该步骤包括如下的过程：
[0028]步骤S201：本次压缩存储的过程中，从采集第二个数据开始，计算当前数据对应的第一标准值和第二标准值。
[0029]也就是说压缩存储的过程，从采集第二个数据开始启动。
[0030]其中，对于本次压缩存储的过程中，采集的第二个数据，其计算第一标准值和第二标准值的过程如下：
[0031](1)若当前数据为本次压缩存储过程采集的第二个数据，则分别计算第二个数据的第一初始标准值和第二个数据的第二初始标准值。
[0032](2)若第二个数据的第一初始标准值小于0，则确定第二个数据的第一标准值为第二个数据的第一初始标准值与预设阈值的和，否则，确定第二个数据的第一标准值为第二个数据的第一初始标准值。
[0033](3)若第二个数据的第二初始标准值小于0，则确定第二个数据的第二标准值为第二个数据的第二初始标准值与预设阈值的和，否则，确定第二个数据的第二标准值为第二个数据的第二初始标准值。
[0034]其中，预设阈值可根据经验选择。本专利技术实施例确定预设阈值为1.57，则以K
t2a
表示本次压缩存储过程采集的第二个数据的第一标准值，K
t2b
表示本次压缩存储过程采集的第二个数据的第二标准值，K
t2a,0
表示本次压缩存储过程采集的第二个数据的第一初始标准
值，K
t2b,0
表示本次压缩存储过程采集的第二个数据的第二初始标准值，则得到：
[0035]若K
t2a,0
<0，则K
t2a
＝K
t2a,0
+1.57；若K
t2a,0
≥0，则K
t2a
＝K
t2a,0
。
[0036]若K
t2b,0
<0，则K
t2b
＝K
t2b,0
+1.57；若K
t2b,0
≥0，则K
t2b
＝K
t2b,0
。
[0037]其中，对于本次压缩存储的过程中，采集的第二个数据以后的数据，其计算第一标准值和第二标准值的过程如下：
[0038](1)从本次压缩存储过程采集的第三个数据开始，计算当前数据的第一初始标准值和第二初始标准值。
[0039](2)若当前数据的第一初始标准值大于前一数据的第一标准值，则确定当前数据的第一标准值为当前数据的第一初始标准值，否则，确定当前数据的第一标准值为前一数据的第一标准值。
[0040]以K
tna,0
表示本次压缩存储过程采集的第n个数据的第一初始标准值，K
t(n
‑
1)a
表示本次压缩存储过程采集的第n
‑
1个数据的第一标准值，K
tna
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据实时压缩方法，其特征在于，包括：在每一采集时间采集一个数据；从本次采集的第一个数据开始，采用旋转门趋势算法，进行本次数据压缩存储；其中，所述采用旋转门趋势算法，进行本次数据压缩存储的步骤，包括：本次压缩存储的过程中，从采集第二个数据开始，计算当前数据对应的第一标准值和第二标准值；计算当前数据对应的第一标准值的绝对值和第二标准值的绝对值的和，得到当前数据对应的判断值；比较当前数据对应的判断值与数据异常存储值和数据正常存储值的大小关系；根据所述大小关系进行本次数据压缩存储。2.根据权利要求1所述的数据实时压缩方法，其特征在于，所述计算当前数据对应的第一标准值和第二标准值的步骤，包括：若当前数据为本次压缩存储过程采集的第二个数据，则分别计算第二个数据的第一初始标准值和第二个数据的第二初始标准值；若第二个数据的第一初始标准值小于0，则确定第二个数据的第一标准值为第二个数据的第一初始标准值与预设阈值的和，否则，确定第二个数据的第一标准值为第二个数据的第一初始标准值；若第二个数据的第二初始标准值小于0，则确定第二个数据的第二标准值为第二个数据的第二初始标准值与预设阈值的和，否则，确定第二个数据的第二标准值为第二个数据的第二初始标准值；从本次压缩存储过程采集的第三个数据开始，计算当前数据的第一初始标准值和第二初始标准值；若当前数据的第一初始标准值大于前一数据的第一标准值，则确定当前数据的第一标准值为当前数据的第一初始标准值，否则，确定当前数据的第一标准值为前一数据的第一标准值；若当前数据的第二初始标准值大于前一数据的第二标准值，则确定当前数据的第二标准值为当前数据的第二初始标准值，否则，确定当前数据的第二标准值为前一数据的第二标准值。3.根据权利要求2所述的数据实时压缩方法，其特征在于，所述第一初始标准值的算式为：所述第二初始标准值的算式为：其中，K
tna,0
表示本次压缩存储过程采集的第n个数据的第一初始标准值，K
tnb,0
表示本次压缩存储过程采集的第n个数据的第二初始标准值；
c
t1
＝2U；其中，t
n
表示本次压缩存储过程采集的第n个数据对应的采集时间，t1表示本次压缩存储过程采集的第一个数据对应的采集时间，x
tn
表示本次压缩存储过程采集的第n个数据，x
t1
表示本次压缩存储过程采集的第一个数据，U表示实时数据采集偏差值，n≥2。4.根据权利要求1所述的数据实时压缩存储方法，其特征在于，所...

【专利技术属性】
技术研发人员：宋海龙，顾理强，徐辉，窦俊廷，秦有苏，张先领，柴斌，刘若鹏，金志杰，刘钊，陈一鸣，李昊，雷战斐，刘廷堃，毛春翔，
申请(专利权)人：南京固攀自动化科技有限公司，
类型：发明
国别省市：