一种高频时序数据自适应压缩方法及系统技术方案

本申请属于数据处理的技术领域，公开了一种高频时序数据自适应压缩方法及系统，所述方法包括：获取多个不同的数据压缩算法，以及每个数据压缩算法对应的单位压缩速率和数据丢失预测量；获取目标城轨运行时数据的周期性特征，基于周期性特征和每个单位压缩速率，预测得到每个数据压缩算法对应的压缩数据量；基于每个数据压缩算法对应的压缩数据量和数据丢失预测量，筛选得到最优压缩算法组合；基于最优压缩算法组合，利用对应的数据压缩算法对目标城轨运行时产生的高频时序数据进行压缩。本申请相较于现有技术，减少了目标城轨的高频时序数据压缩处理后的数据丢失量。序数据压缩处理后的数据丢失量。序数据压缩处理后的数据丢失量。

【技术实现步骤摘要】
一种高频时序数据自适应压缩方法及系统


[0001]本申请属于数据处理
，尤其是涉及一种高频时序数据自适应压缩方法及系统。

技术介绍

[0002]时间序列数据是物联网领域的应用研究热点，在轨道交通领域中，时序数据高频特性是其最显著的特点，这主要由轨道交通行业的高安全性特点决定的，以城市轨道交通领域为例，综合监控系统(ISCS，Integrated Supervisory Control System)和电力监控系统(PSCADA，Power monitoring System)的采样频率都是毫秒级，采集并发量极大，受存储介质容量限制，如何对这些数据进行存储是目前城市轨道佳通行业亟需解决的首要问题，因此高频时序数据的压缩技术也就自然成为了城市轨道交通领域的应用研究重点和热点。
[0003]现有的压缩算法难以适用于不同地区城轨的高频时序数据特质，导致在实际应用时，高频时序数据压缩处理后存在数据丢失量较大的情况，造成再次将压缩数据复原时，复原数据与原数据相比有较大的偏差。
[0004]因此，针对上述相关技术，现有的城轨的高频时序数据处理方法存在数据压缩后数据丢失量较大的问题。

技术实现思路

[0005]本申请提供一种高频时序数据自适应压缩方法、系统、计算机设备及存储介质，用以降低城轨的高频时序数据压缩后的数据丢失量。
[0006]本申请的专利技术目的一采用如下技术方案实现：一种高频时序数据自适应压缩方法，包括：获取多个不同的数据压缩算法，以及每个所述数据压缩算法对应的单位压缩速率和数据丢失预测量；获取目标城轨运行时数据的周期性特征，基于所述周期性特征和每个所述单位压缩速率，预测得到每个所述数据压缩算法对应的压缩数据量；基于每个所述数据压缩算法对应的所述压缩数据量和所述数据丢失预测量，筛选得到最优压缩算法组合；基于所述最优压缩算法组合，利用对应的数据压缩算法对所述目标城轨运行时产生的高频时序数据进行压缩。
[0007]通过上述技术方案，先获取多个数据压缩算法以及每个数据压缩算法对应的单位压缩速率和数据丢失预测量，再获取目标城轨运行时数据的周期性特征，根据目标城轨运行时数据的周期性特征和每个数据压缩算法对应的单位压缩速率，从而预测出每个数据压缩算法在周期性特征内对应的压缩数据量，根据每个数据压缩算法在周期性特征内对应的压缩数据量和每个数据压缩算法对应的数据丢失预测量，筛选得到最优压缩算法组合，以最优的压缩算法组合对目标城轨运行时产生的高频时序数据进行压缩；相较于现有技术，
本申请压缩方法使目标城轨运行时产生的高频时序数据的压缩方式不再采用单一的数据压缩算法进行压缩，而是结合多个数据压缩算法进行压缩，除此之外还结合城轨运行时自身的周期性特征，以得出最优压缩算法组合，能够根据不同地区城轨的周期性特征对实际数据压缩算法进行自适应调整，从而降低了目标城轨的高频时序数据压缩后的数据丢失量。
[0008]本申请进一步设置为：获取多个不同的数据压缩算法，以及每个所述数据压缩算法对应的单位压缩速率和数据丢失预测量，包括：基于预设的数据允许丢失阈值，获取数据丢失预测量小于所述数据允许丢失阈值的多个不同的数据压缩算法，以及每个所述数据压缩算法对应的单位压缩速率和数据丢失预测量。
[0009]通过上述技术方案，城轨工作人员可以根据实际情况设置数据允许丢失阈值，以作为数据压缩算法的限定条件，根据每个数据压缩算法的数据丢失预测量，将大于数据允许丢失阈值的数据压缩算法剔除，以实现数据压缩算法的初步筛选，从而降低不符合实际需求的数据压缩算法作为高频时序数据压缩算法的情况，进一步降低了高频时序数据压缩后的数据丢失量。
[0010]本申请进一步设置为：所述压缩数据量包括第一压缩数据量和第二压缩数据量；所述获取目标城轨运行时数据的周期性特征，基于所述周期性特征和每个所述单位压缩速率，预测得到每个所述数据压缩算法对应的压缩数据量，包括：获取目标城轨运行时数据的周期性特征；基于所述周期性特征，提取所述目标城轨运行到达目标站台的预测时间和到站停靠时间；基于每个所述单位压缩速率和所述目标城轨运行到达目标站台的预测时间，预测得到每个所述数据压缩算法对应的第一压缩数据量；基于每个所述单位压缩速率和所述目标城轨的到站停靠时间，预测得到每个所述数据压缩算法对应的第二压缩数据量。
[0011]通过上述技术方案，从目标城轨的周期性特征中分别提取目标城轨运行到达目标站台的预测时间和到站停靠时间，作为计算第一压缩数据量和第二压缩数据量的参数；相较于现有技术，不同的目标城轨运行到达目标站台的预测时间和到站停靠时间均不同，为了适应于各地区目标城轨的时间序列数据进行压缩，本申请的压缩方法考虑到了目标城轨运行到达目标站台的预测时间和到站停靠时间这两个目标城轨的周期性特征，将两个目标城轨的周期性特征融入到筛选步骤之中，与实际情况充分结合，具有更好的普适性和应用性。
[0012]本申请进一步设置为：基于每个所述数据压缩算法对应的所述压缩数据量和所述数据丢失预测量，筛选得到最优压缩算法组合，包括：基于每个所述数据压缩算法对应的所述压缩数据量、所述数据丢失预测量和预设的多个压缩算法组合，计算得到每个所述压缩算法组合的组合压缩数据量和组合数据丢失预测量；基于每个所述组合压缩数据量，筛选得到多个待选压缩算法组合；基于每个所述待选压缩算法组合和每个所述待选压缩算法组合对应的组合数据
丢失预测量，筛选得到组合数据丢失预测量最小的待选压缩算法组合作为最优压缩算法组合。
[0013]通过上述技术方案，压缩算法组合是指经过初步筛选后的多个数据压缩算法的组合；根据每个数据压缩算法对应的压缩数据量和数据丢失预测量，计算得到每一个压缩算法组合的组合压缩数据量和组合数据丢失预测量，根据每一个压缩算法组合的组合压缩数据量筛选得到多个待选压缩算法组合，再从各个待选压缩算法组合中筛选得到组合数据丢失预测量最小的待选压缩算法组合作为最优压缩算法组合，以最优压缩算法组合作为目标城轨的高频时序数据的压缩方法，降低了目标城轨的高频时序数据压缩后的数据丢失量。
[0014]本申请进一步设置为：基于所述最优压缩算法组合，利用对应的数据压缩算法对所述目标城轨运行时产生的高频时序数据进行压缩，包括：基于所述最优压缩算法组合和所述目标城轨运行时产生的高频时序数据的数据接收频率，利用对应的数据压缩算法分段压缩所述高频时序数据，得到多个数据压缩文件。
[0015]通过上述技术方案，高频时序数据的数据收发频率一般在100ms左右，由于各地的城轨维护需求或维护成本预算不同，各地的城轨的数据接收频率会有所差异，根据高频时序数据的数据接收频率，对高频时序数据进行分段压缩，以配合高频时序数据自身的高频特性，并且生成多个压缩文件存储至本地存储介质中。
[0016]本申请进一步设置为：在所述基于所述最优压缩算法组合和所述目标城轨运行时产生的高频时序数据的数据接收频率，利用对应的数据压缩算法分段压缩所述高频时序数据，得到多个数据压缩文件之后，所述方法还包括：基于多本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种高频时序数据自适应压缩方法，其特征在于，包括：获取多个不同的数据压缩算法，以及每个所述数据压缩算法对应的单位压缩速率和数据丢失预测量；获取目标城轨运行时数据的周期性特征，基于所述周期性特征和每个所述单位压缩速率，预测得到每个所述数据压缩算法对应的压缩数据量；基于每个所述数据压缩算法对应的所述压缩数据量和所述数据丢失预测量，筛选得到最优压缩算法组合；基于所述最优压缩算法组合，利用对应的数据压缩算法对所述目标城轨运行时产生的高频时序数据进行压缩。2.根据权利要求1所述的一种高频时序数据自适应压缩方法，其特征在于，所述获取多个不同的数据压缩算法，以及每个所述数据压缩算法对应的单位压缩速率和数据丢失预测量，包括：基于预设的数据允许丢失阈值，获取数据丢失预测量小于所述数据允许丢失阈值的多个不同的数据压缩算法，以及每个所述数据压缩算法对应的单位压缩速率和数据丢失预测量。3.根据权利要求1所述的一种高频时序数据自适应压缩方法，其特征在于，所述压缩数据量包括第一压缩数据量和第二压缩数据量；所述获取目标城轨运行时数据的周期性特征，基于所述周期性特征和每个所述单位压缩速率，预测得到每个所述数据压缩算法对应的压缩数据量，包括：获取目标城轨运行时数据的周期性特征；基于所述周期性特征，提取所述目标城轨运行到达目标站台的预测时间和到站停靠时间；基于每个所述单位压缩速率和所述目标城轨运行到达目标站台的预测时间，预测得到每个所述数据压缩算法对应的第一压缩数据量；基于每个所述单位压缩速率和所述目标城轨的到站停靠时间，预测得到每个所述数据压缩算法对应的第二压缩数据量。4.根据权利要求1所述的一种高频时序数据自适应压缩方法，其特征在于，所述基于每个所述数据压缩算法对应的所述压缩数据量和所述数据丢失预测量，筛选得到最优压缩算法组合，包括：基于每个所述数据压缩算法对应的所述压缩数据量、所述数据丢失预测量和预设的多个压缩算法组合，计算得到每个所述压缩算法组合的组合压缩数据量和组合数据丢失预测量；基于每个所述组合压缩数据量，筛选得到多个待选压缩算法组合；基于每个所述待选压缩算法组合和每个所述待选压缩算法组合对应的组合数据丢失预测量，筛选得到组合数据丢失预测量最小的待选压缩算法组合作为最优压缩算法组合。5.根据权利要求1所述的一...

【专利技术属性】
技术研发人员：赵彦军，牛晓东，肖红彬，袁志宏，
申请(专利权)人：北京思维实创科技有限公司，
类型：发明
国别省市：