物联网数据实时压缩方法和系统技术方案

本发明专利技术公开了一种物联网数据实时压缩方法和系统，其中，方法包括：根据业务场景对预设的压缩模型进行业务参数配置，并根据配置后的业务参数生成模型唯一标识；通过配置后的压缩模型获取当前输入的物联网数据，并根据配置后的业务参数和上次输入的物联网数据判断当前输入的物联网数据是否为有效数据；在当前输入的物联网数据被判断为有效数据后，通过压缩模型对当前输入的物联网数据进行压缩；并以模型唯一标识为标记将压缩后得到的字符数据保存至数据库中。本发明专利技术考虑实际业务场景，并且能够对物联网数据本身进行优化压缩，再将压缩后的物联网数据存储至数据库中；从而使数据库中存储的数据量大幅度降低，以解决较大的资源开销及性能降低的问题。

Real-time Data Compression Method and System for Internet of Things

The invention discloses a real-time data compression method and system for the Internet of Things. The method includes: configuring the service parameters of the preset compression model according to the service scenario, and generating the unique identification of the model according to the configurated service parameters; obtaining the current input data of the Internet of Things through the configurated compression model, and according to the configured service parameters and the last input of the Internet of Things. The network data determines whether the current input data of the Internet of Things is valid data; after the current input data of the Internet of Things is judged to be valid data, the current input data of the Internet of Things is compressed by the compression model; and the compressed character data is saved to the database with the unique identifier of the model. The invention considers the actual business scenario, and can optimize the compression of the Internet of Things data itself, and then store the compressed Internet of Things data into the database, thereby greatly reducing the amount of data stored in the database, so as to solve the problem of larger resource overhead and lower performance.

【技术实现步骤摘要】
物联网数据实时压缩方法和系统
本专利技术涉及物联网数据压缩
，尤其涉及一种物联网数据实时压缩方法和系统。
技术介绍
物联网是新一代信息技术的重要组成部分。顾名思义，物联网就是“物物相连的互联网”。物联网的定义是：通过射频识别、红外感应器、全球定位系统以及激光扫描器等信息传感设备，按约定的协议，把任何物体与互联网相连接，进行信息交换和通信，以实现对物体的智能化识别、定位、跟踪、监控以及管理的一种网络。一般而言，在物联网中对设备每次推送的数据都进行保存，然后对数据进行统一压缩，即采用先存储后压缩的方式。主要是对数据存储空间进行了优化，采用收缩日志方式释放磁盘空间。这种方式虽然也对数据进行了压缩，但没有考虑到实际的业务场景，并未对数据本身采取优化策略，存储的数据量会呈爆炸式增长，导致较大的资源开销及性能降低的问题。
技术实现思路
本专利技术提供的物联网数据实时压缩方法和系统，其主要目的在于克服现有先存储后压缩的压缩方式，存在存储的数据量会呈爆炸式增长，导致较大的资源开销及性能降低的问题。为解决上述技术问题，本专利技术采用如下技术方案：一种物联网数据实时压缩方法，包括以下步骤；根据业务场景对预设的压缩模型进行业务参数配置，并根据配置后的业务参数生成模型唯一标识；通过配置后的压缩模型获取当前输入的物联网数据，并根据配置后的所述业务参数和上次输入的物联网数据判断当前输入的物联网数据是否为有效数据；在当前输入的物联网数据被判断为有效数据后，通过所述压缩模型对当前输入的物联网数据进行压缩，得到字符数据；并以所述模型唯一标识为标记将所述字符数据保存至数据库中。作为一种可实施方式，所述数据库为关系型数据库或文档型数据库。作为一种可实施方式，所述根据配置后的所述业务参数和上次输入的物联网数据判断当前输入的物联网数据是否为有效数据；包括以下步骤；对当前输入的物联网数据和上次输入的物联网数据进行差值计算，得到数据差值；将所述数据差值与所述业务参数的有效波动阈值进行比较；若所述数据差值大于等于所述有效波动阈值，则将当前输入的物联网数据的时间和上次输入的物联网数据的时间进行差值计算，得到时间差值；并将所述时间差值与所述业务参数的最小采集频率进行比较；若所述时间差值大于等于所述最小采集频率，则将当前输入的物联网数据视为有效数据，同时将上次输入的物联网数据更新成当前输入的物联网数据；若所述时间差值小于所述最小采集频率，则将当前输入的物联网数据视为无效数据，同时对当前输入的物联网数据进行过滤。作为一种可实施方式，本专利技术提供的物联网数据实时压缩方法，还包括以下步骤；在根据配置后的业务参数生成模型唯一标识后，以模型唯一标识作为键值将配置后的压缩模型进行保存。作为一种可实施方式，本专利技术提供的物联网数据实时压缩方法，还包括以下步骤；在以所述模型唯一标识为标记将所述字符数据保存至数据库中之后，获取与所述字符数据对应的模型唯一标识，根据所述模型唯一标识提取对应的配置后的压缩模型，并利用所述配置后的压缩模型对所述字符数据进行还原扩展，并对还原扩展后的物联网数据进行展示。相应的，本专利技术还提供一种物联网数据实时压缩系统，包括配置模块、判断模块以及压缩模块；所述配置模块，用于根据业务场景对预设的压缩模型进行业务参数配置，并根据配置后的业务参数生成模型唯一标识；所述判断模块，用于通过配置后的压缩模型获取当前输入的物联网数据，并根据配置后的所述业务参数和上次输入的物联网数据判断当前输入的物联网数据是否为有效数据；所述压缩模块，用于在当前输入的物联网数据被判断为有效数据后，通过所述压缩模型对当前输入的物联网数据进行压缩，得到字符数据；并以所述模型唯一标识为标记将所述字符数据保存至数据库中。作为一种可实施方式，所述数据库为关系型数据库或文档型数据库。作为一种可实施方式，所述判断模块包括第一计算单元、第二计算单元、更新单元以及过滤单元；所述第一计算单元，用于对当前输入的物联网数据和上次输入的物联网数据进行差值计算，得到数据差值；将所述数据差值与所述业务参数的有效波动阈值进行比较；所述第二计算单元，用于若所述数据差值大于等于所述有效波动阈值，则将当前输入的物联网数据的时间和上次输入的物联网数据的时间进行差值计算，得到时间差值；并将所述时间差值与所述业务参数的最小采集频率进行比较；所述更新单元，用于若所述时间差值大于等于所述最小采集频率，则将当前输入的物联网数据视为有效数据，同时将上次输入的物联网数据更新成当前输入的物联网数据；所述过滤单元，用于若所述时间差值小于所述最小采集频率，则将当前输入的物联网数据视为无效数据，同时对当前输入的物联网数据进行过滤。作为一种可实施方式，本专利技术提供的物联网数据实时压缩系统，还包括存储模块；所述存储模块，用于在根据配置后的业务参数生成模型唯一标识后，以模型唯一标识作为键值将配置后的压缩模型进行保存。作为一种可实施方式，本专利技术提供的物联网数据实时压缩系统，还包括还原展示模块；所述还原展示模块，用于在以所述模型唯一标识为标记将所述字符数据保存至数据库中之后，获取与所述字符数据对应的模型唯一标识，根据所述模型唯一标识提取对应的配置后的压缩模型，并利用所述配置后的压缩模型对所述字符数据进行还原扩展，并对还原扩展后的物联网数据进行展示。与现有技术相比，本技术方案具有以下优点：本专利技术提供的物联网数据实时压缩方法和系统，先根据业务场景对预设的压缩模型进行业务参数配置，使得配置后的压缩模型能够匹配对应的业务场景；并且根据配置的业务参数实现对物联网数据本身进行优化压缩，即只对有效数据进行压缩，将压缩后的物联网数据存储至数据库中；从而使数据库中存储的数据量大幅度降低，以解决较大的资源开销及性能降低的问题。附图说明图1为本专利技术实施例一提供的物联网数据实时压缩方法的流程示意图；图2为本专利技术实施例二提供的物联网数据实时压缩系统的结构示意图；图3为图2中判断模块的结构示意图。图中：100、配置模块；200、判断模块；210、第一计算单元；220、第二计算单元；230、更新单元；240、过滤单元；300、压缩模块；400、存储模块；500、还原展示模块。具体实施方式以下结合附图，对本专利技术上述的和另外的技术特征和优点进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术的部分实施例，而不是全部实施例。请参阅图1，本专利技术实施例一提供的物联网数据实时压缩方法，包括以下步骤；S100、根据业务场景对预设的压缩模型进行业务参数配置，并根据配置后的业务参数生成模型唯一标识；S200、通过配置后的压缩模型获取当前输入的物联网数据，并根据配置后的业务参数和上次输入的物联网数据判断当前输入的物联网数据是否为有效数据；S300、在当前输入的物联网数据被判断为有效数据后，通过压缩模型对当前输入的物联网数据进行压缩，得到字符数据；并以模型唯一标识为标记将字符数据保存至数据库中。需要说明的是，压缩模型是预先建立的统一压缩模型，而不同业务场景对压缩的需求完全是不一样的，对于压缩模型具体建立的过程并不进行限制。于本实施例中，可以根据不同的业务场景进行业务参数配置。业务参数主要包括有效波动阈值和最小采集频率，具体的有效波动阈值和最小采集频率的阈值可以由实际业务场景来确定。比如，对于漏电值采集的本文档来自技高网...

【技术保护点】
1.一种物联网数据实时压缩方法，其特征在于，包括以下步骤；根据业务场景对预设的压缩模型进行业务参数配置，并根据配置后的业务参数生成模型唯一标识；通过配置后的压缩模型获取当前输入的物联网数据，并根据配置后的所述业务参数和上次输入的物联网数据判断当前输入的物联网数据是否为有效数据；在当前输入的物联网数据被判断为有效数据后，通过所述压缩模型对当前输入的物联网数据进行压缩，得到字符数据；并以所述模型唯一标识为标记将所述字符数据保存至数据库中。

【技术特征摘要】
1.一种物联网数据实时压缩方法，其特征在于，包括以下步骤；根据业务场景对预设的压缩模型进行业务参数配置，并根据配置后的业务参数生成模型唯一标识；通过配置后的压缩模型获取当前输入的物联网数据，并根据配置后的所述业务参数和上次输入的物联网数据判断当前输入的物联网数据是否为有效数据；在当前输入的物联网数据被判断为有效数据后，通过所述压缩模型对当前输入的物联网数据进行压缩，得到字符数据；并以所述模型唯一标识为标记将所述字符数据保存至数据库中。2.如权利要求1所述的物联网数据实时压缩方法，其特征在于，所述数据库为关系型数据库或文档型数据库。3.如权利要求1所述的物联网数据实时压缩方法，其特征在于，所述根据配置后的所述业务参数和上次输入的物联网数据判断当前输入的物联网数据是否为有效数据；包括以下步骤；对当前输入的物联网数据和上次输入的物联网数据进行差值计算，得到数据差值；将所述数据差值与所述业务参数的有效波动阈值进行比较；若所述数据差值大于等于所述有效波动阈值，则将当前输入的物联网数据的时间和上次输入的物联网数据的时间进行差值计算，得到时间差值；并将所述时间差值与所述业务参数的最小采集频率进行比较；若所述时间差值大于等于所述最小采集频率，则将当前输入的物联网数据视为有效数据，同时将上次输入的物联网数据更新成当前输入的物联网数据；若所述时间差值小于所述最小采集频率，则将当前输入的物联网数据视为无效数据，同时对当前输入的物联网数据进行过滤。4.如权利要求1-3任一项所述的物联网数据实时压缩方法，其特征在于，还包括以下步骤；在根据配置后的业务参数生成模型唯一标识后，以模型唯一标识作为键值将配置后的压缩模型进行保存。5.如权利要求1-3任一项所述的物联网数据实时压缩方法，其特征在于，还包括以下步骤；在以所述模型唯一标识为标记将所述字符数据保存至数据库中之后，获取与所述字符数据对应的模型唯一标识，根据所述模型唯一标识提取对应的配置后的压缩模型，并利用所述配置后的压缩模型对所述字符数据进行还原扩展，并对还原扩展后的物联网数据进行展示。6.一种物联网数据实时压缩系统，其特征在于，包括配置模块、判断模块以及压缩模块；所...

【专利技术属性】
技术研发人员：史李杨，
申请(专利权)人：杭州四方博瑞科技股份有限公司，
类型：发明
国别省市：浙江,33