一种监测数据无损压缩方法、装置、设备及可读存储介质制造方法及图纸

本发明专利技术提供了一种监测数据无损压缩方法、装置、设备及可读存储介质，涉及数据计算技术领域，包括获取待压缩数据表；根据预设的时间差分数学模型将所有时间数据进行计算得到时间戳压缩结果；根据预设的数据进制转换数学模型将所有监测值进行计算得到待压缩数值；根据预设的哈夫曼编码数学模型将待压缩数值进行计算得到监测值压缩结果。本发明专利技术的有益效果为通过针对监测值的浮点数特性，采用包含差分思想的算法编码进行编码转换、进制转换编码和哈夫曼编码三种编码思想相结合，最终构建监测值无损压缩算法模型，完成对监测值的压缩编码，达到提高数据压缩率、降低数据库存储压力的效果。果。果。

【技术实现步骤摘要】
一种监测数据无损压缩方法、装置、设备及可读存储介质


[0001]本专利技术涉及数据计算
，具体而言，涉及一种监测数据无损压缩方法、装置、设备及可读存储介质。

技术介绍

[0002]随着国家对交通构筑物安全的重视，交通构筑物上的各个角落布置的传感器密度会越来越高，相对应监测频率也会随着提高，采集每时每刻的监测数据，每年产生的数据达到PB级之多。目前在交通构筑物结构健康监测工作中，在交通构筑物的特定关键部位安装的传感器所采集到的交通构筑物结构响应数据均属于海量数据范畴，数据在长期的累积下，使得数据处理与分析及存储工作的工作量日益增加。当前的压缩技术应对交通构筑物监测系统中产生的监测数据时，存在压缩率低的缺点。

技术实现思路

[0003]本专利技术的目的在于提供一种监测数据无损压缩方法、装置、设备及可读存储介质，以改善上述问题。为了实现上述目的，本专利技术采取的技术方案如下：第一方面，本申请提供了一种监测数据无损压缩方法，包括：获取待压缩数据表，所述待压缩数据表包括传感器采集到的监测值和每个所述监测值对应的时间数据，每个所述监测值为所述传感器按照时间顺序采集得到；根据预设的时间差分数学模型将所有所述时间数据进行计算得到时间戳压缩结果，所述时间戳压缩结果包括一个起始时间戳和所有所述时间数据进行二次差值法处理后得到的时间戳二次差值；根据预设的数据进制转换数学模型将所有所述监测值进行计算得到待压缩数值；根据预设的哈夫曼编码数学模型将所述待压缩数值进行计算得到监测值压缩结果。
[0004]第二方面，本申请还提供了一种监测数据无损压缩装置，包括：数据采集模块，用于获取待压缩数据表，所述待压缩数据表包括传感器采集到的监测值和每个所述监测值对应的时间数据；第一计算模块，用于根据预设的时间差分数学模型将所有所述时间数据进行计算得到时间戳压缩结果，所述时间戳压缩结果包括一个起始时间戳和所有所述时间数据进行二次差值法处理后得到的时间戳二次差值；第二计算模块，用于根据预设的数据进制转换数学模型将所有所述监测值进行计算得到待压缩数值；第三计算模块，用于根据预设的哈夫曼编码数学模型将所述待压缩数值进行计算得到监测值压缩结果。
[0005]第三方面，本申请还提供了一种监测数据无损压缩设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现所述监测数据无损压缩方法的步骤。
[0006]第四方面，本申请还提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述基于监测数据无损压缩方法的步骤。
[0007]本专利技术的有益效果为：本专利技术通过针对监测值的浮点数特性，采用包含差分思想的算法编码进行编码转
换、进制转换编码和哈夫曼编码三种编码思想相结合，最终构建监测值无损压缩算法模型，完成对监测值的压缩编码，达到提高数据压缩率、降低数据库存储压力的效果。
[0008]本专利技术的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术实施例了解。本专利技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
[0009]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0010]图1为本专利技术实施例中所述的监测数据无损压缩方法流程示意图；图2为本专利技术实施例中所述的监测数据无损压缩装置结构示意图；图3为本专利技术实施例中所述的监测数据无损压缩设备结构示意图；图4为本专利技术实施例中所述的ASCII码转换示意图。
[0011]图中标记：1、数据采集模块；2、第一计算模块；21、第一计算单元；22、第二计算单元；3、第二计算模块；31、第三计算单元；311、第一判断单元；312、第二判断单元；313、第三判断单元；32、第四计算单元；321、第五计算单元；322、第六计算单元；4、第三计算模块；41、第七计算单元；42、第八计算单元；43、第九计算单元；800、监测数据无损压缩设备；801、处理器；802、存储器；803、多媒体组件；804、I/O接口；805、通信组件。
具体实施方式
[0012]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本专利技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本专利技术的实施例的详细描述并非旨在限制要求保护的本专利技术的范围，而是仅仅表示本专利技术的选定实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0013]应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本专利技术的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0014]实施例1：本实施例提供了一种监测数据无损压缩方法。
[0015]参见图1，图中示出了本方法包括步骤S100、步骤S200、步骤S300和步骤S400。
[0016]步骤S100、获取待压缩数据表，待压缩数据表包括传感器采集到的监测值和每个监测值对应的时间数据，每个监测值为传感器按照时间顺序采集得到。
[0017]需要说明的是，在步骤S100中，采集由交通构造物内传感器设备产生的时序数据，将采集到的监测数据进行缺失值填补、数据标准化、异常值剔除等操作，将得到的数据整理
为待压缩数据表，简化后续压缩过程的步骤，提升数据处理的效率。
[0018]S200、根据预设的时间差分数学模型将所有时间数据进行计算得到时间戳压缩结果，时间戳压缩结果包括一个起始时间戳和所有时间数据进行二次差值法处理后得到的时间戳二次差值。
[0019]需要说明的是，在步骤S200中，本步骤是对时间数据进行无损压缩，通过时间数据转换为时间戳形式后，将时间戳数据进行二次差值后得到时间戳压缩结果。通过对时间数据和监测值分别压缩处理，降低压缩数据的计算量。
[0020]S300、根据预设的数据进制转换数学模型将所有监测值进行计算得到待压缩数值。
[0021]需要说明的是，在步骤S300中，数据进制转换数学模型通过对浮点数形式的监测值进行多次进制转换，最终转化为ASCII编码，有效降低了存储成本。
[0022]S400、根据预设的哈夫曼编码数学模型将待压缩数值进行计算得到监测值压缩结果。
[0023]需要说明的是，在步骤S400中，哈夫曼编码数学模型通过对待压缩数值中ASCII码本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种监测数据无损压缩方法，其特征在于，包括：获取待压缩数据表，所述待压缩数据表包括传感器采集到的监测值和每个所述监测值对应的时间数据，每个所述监测值为所述传感器按照时间顺序采集得到；根据预设的时间差分数学模型将所有所述时间数据进行计算得到时间戳压缩结果，所述时间戳压缩结果包括一个起始时间戳和所有所述时间数据进行二次差值法处理后得到的时间戳二次差值；根据预设的数据进制转换数学模型将所有所述监测值进行计算得到待压缩数值；根据预设的哈夫曼编码数学模型将所述待压缩数值进行计算得到监测值压缩结果。2.根据权利要求1所述的监测数据无损压缩方法，其特征在于，所述根据预设的时间差分数学模型将所有所述时间数据进行计算得到时间戳压缩结果，包括：将所述时间数据转换为UNIX时间戳形式并按照时间顺序排列得到时间戳数据列；根据预设的时间戳二次差值法数学模型将时间戳数据列进行计算得到起始时间戳和时间戳二次差值。3.根据权利要求1所述的监测数据无损压缩方法，其特征在于，根据预设的数据进制转换数学模型将所有所述监测值进行计算得到待压缩数值，包括：根据预设的差分编码数学模型将所有所述监测值进行计算得到监测值编码，所述监测值编码为十进制编码；根据预设的编码进制转换模型将所述监测值编码进行计算得到待压缩数值，所述待压缩数值的进制高于所述监测值差分编码的进制。4.根据权利要求1所述的监测数据无损压缩方法，其特征在于，根据预设的哈夫曼编码数学模型将所述待压缩数值进行计算得到监测值压缩结果，包括：根据所述待压缩数值计算得到字符频率表，所述字符频率表中包括了所述待压缩数值中的数值与所述数值对应的频率；对所述字符频率表进行哈夫曼编码计算得到哈夫曼编码表；根据所述待压缩数值和所述哈夫曼编码表计算得到监测值压缩结果。5.一种监测数据无损压缩装置，其特征在于，包括：数据采集模块，用于获取待压缩数据表，所述待压缩数据表包括传感器采集到的监测值和每个所述监测值对应的时间数据；第一计算模...

【专利技术属性】
技术研发人员：杨柳，吴壮壮，刘恒，马征，张洪铭，李明慧，周海文，周权，路英烁，宋俊波，秦畅，
申请(专利权)人：西南交通大学，
类型：发明
国别省市：