一种适用于农业传感数据的压缩方法技术

本发明专利技术涉及一种适用于农业传感数据的压缩方法，包括：S10、数据噪声处理：设定数据的变化阀值，对于超出所述阀值的异常点进行处理，减小噪声数据的误差干扰；S20、数据压缩：通过SDT压缩算法，计算压缩区间；根据压缩区间的值计算出线性回归方程；再通过线性回归方程计算压缩值进行数据压缩，从而减少算法的压缩误差；S30、压缩精度参数调整：每次压缩完数据后，根据相邻压缩区间的压缩量，动态调整压缩精度参数，适应趋势变化；S40、使用最新的压缩参数精度，继续重复步骤S10～S40，进行下一轮的数据压缩和压缩精度参数调整，直到数据压缩结束，完成数据的压缩。本发明专利技术方法能够保证算法较低复杂度的前提下，降低压缩误差，有效提高压缩比。

A compression method suitable for agricultural sensing data

The invention relates to a compression method suitable for agricultural sensor data, including: S10, data noise processing: setting the change threshold of data, processing the abnormal points beyond the threshold, reducing the error interference of noise data; S20, data compression: Calculating Compression interval by SDT compression algorithm; and compression interval according to compression. Linear regression equation is calculated by interval value, and compression value is calculated by linear regression equation to reduce the compression error of the algorithm; S30, compression precision parameters are adjusted: after each compression, compression precision parameters are dynamically adjusted according to the compression quantity of adjacent compression intervals to adapt to the trend change; Using the latest compression parameter accuracy, continue to repeat the S 0-S 40, the next round of data compression and compression precision parameter adjustment, until the end of data compression, complete data compression. The method of the invention can reduce the compression error and effectively improve the compression ratio on the premise of lower complexity of the algorithm.

【技术实现步骤摘要】
一种适用于农业传感数据的压缩方法
本专利技术涉及数据压缩
，更具体地说，涉及一种适用于农业传感数据的压缩方法。
技术介绍
农业在生产过程中部署了大量的传感设备来采集数据。通过这些传感数据，可以对农作物的生产环境进行监测从而指导农作物的生产。将这些采集的数据放在数据中心，进而对农业生产环境的历史数据和实时数据进行分析。提高对农作物天气情况，气温条件，土壤湿度的关联监测能力。以便对农作物的生长进度，农产品产量做出科学的判断。这些监测数据都具采集频率高，数据量大，数据变化缓慢等特点。因此，为了确保能够存储这些海量数据，并且尽可能的降低数据的存储量，提高存储效率，需要对此类渐变式的传感数据进行数据压缩。现有的压缩技术主要分为两大类，包括无损压缩和有损压缩。其中无损压缩的特点是压缩还原数据不失真，但是其压缩比大量低于有损压缩，而且计算量大。有基于统计概率模型，基于字典模型等无损压缩算法。但是，由于农业传感数据特点是数据量大，变化趋势缓慢，并且容许有部分数据信息损失。因此，我们采取有损压缩算法，在误差允许范围内，可以获得较高的压缩比。目前，在有损压缩算法中，由于矢量算法计算量大，信号变换法目前技术还不够成熟。现如今，大部分的实时数据库都采用旋转门趋势(swingingdoortrending，SDT)压缩算法进行数据压缩。虽然后续的研究者对该算法陆续提出了一些改进方案，并且提高了压缩性能。但是或只提高了压缩比,或者只减低了压缩误差，又或者采取了较为复杂的计算来提高压缩性能。
技术实现思路
本专利技术的目的在于克服现有技术的不足，以提高农业传感的数据压缩性能为目的，提出了一种适用于农业传感数据的改进的旋转门数据压缩方法，首先，对于数据的异常点，通过设定变化阀值做异常处理，减少异常数据的误差干扰；然后，利用线性回归线代替简单首尾相连，减小压缩误差；最后，根据相邻压缩区间的压缩量进行趋势判断，动态调整压缩精度参数E，提高整体的压缩性能。本专利技术的技术方案如下：一种适用于农业传感数据的压缩方法，包括：S10、数据噪声处理：设定农业传感数据的变化阀值，对于超出所述阀值的异常点进行处理，减小噪声数据的误差干扰；S20、数据压缩：通过SDT压缩算法，计算出压缩区间；根据所述压缩区间的值计算出线性回归方程，并通过线性回归方程计算出压缩值进行数据压缩，从而减少算法的压缩误差；S30、压缩精度参数调整：每次压缩完数据后，根据相邻压缩区间的压缩量，动态调整压缩精度参数，适应趋势变化；S40、使用最新的压缩参数精度，重复步骤S10～S40，进行下一轮的数据压缩和压缩精度参数调整，直到数据压缩结束。优选的，步骤S10所述的数据噪声处理，包括如下步骤：S101、设定农业传感数据的变化阀值为TS；S102、对压缩数据进行判断，如果Δy>TS，则将当前农业传感数据采集点(tc，yc)的数据值yc置为前一个采集点(tc-1，yc-1)的数据值yc-1；其中，Δy表示当前农业传感数据采集点数据值yc相对于前一个采集点数据值yc-1的变化值。所述的农业传感数据包括温度、湿度和土壤PH值等通过传感器采集的数据。优选的，步骤S20所述的通过SDT压缩算法，计算出压缩区间，包括如下步骤：S201、以(t0，y0)作为农业传感数据的初始点，(tc，yc)作为当前农业传感数据的压缩点；计算(tc，yc)到(t0，y0+E)的上斜率和(t0，y0-E)的下斜率，其中E表示压缩精度参数；S202、由于上斜率的门只能往上旋转，下斜率的门只能往下旋转，因此当两扇门的内角和大于180度时，记录该节点的前一个节点(tc-1，yc-1)，则当前计算出的压缩区间为[t0，tc-1]；S203、判断是否还有数据需要压缩，如果未压缩完毕，以上一个压缩区间末点(tc-1,yc-1)作为下一个压缩区间段的起始点，重复步骤S201～S203，继续进行压缩。优选的，步骤S20所述的根据所述压缩区间的值计算出线性回归方程，并通过线性回归方程计算出压缩值进行数据压缩，包括如下步骤：S211、如果是首次压缩，通过SDT算法，计算压缩区间[t0，tn]；通过线性拟合回归方程算法L(t)＝α+βti计算出该区间段的初始化拟合回归线L0，将t0代入L0计算出压缩的初始点存入，为计算后的初始数据值；其中，α为拟合回归方程的常数项，β拟合回归方程的系数，ti为压缩区间的时间变量，yi为时间变量ti对应的数据值，n为当前压缩区间量(即一个压缩区间内的压缩点数，如压缩区间[t0，tn]中的点数为n，n即为当前压缩区间量)；S212、如果不是首次压缩，通过SDT算法，计算压缩区间[tk,tk+n]u，计算出该压缩区间段的拟合回归线Lu；利用二元一次方程求解法，计算Lu与Lu-1的交点进行相应判断；如果t^<tx<tk+n，则存入交点否则直接存入当前压缩区间起始点(tk，yk)，同时更新当前压缩区间段的拟合回归线Lu为前一个压缩区间段的拟合回归线Lu-1；其中，t^表示前一个压缩区间段的起始时间；u表示当前压缩区间段处于第几个压缩区间段，k表示当前压缩区间段的起始点位置；S213、判断是否到达当前压缩区间段的末点，如果到达末点，结束压缩；否则，重复步骤S212～S213。优选的，步骤S30所述的压缩精度参数调整，包括如下步骤：S301、初始化压缩精度参数E0，根据首次压缩区间[t0，tn]，初始化压缩量T0＝n，其中T0表示初始化压缩量；S302、根据当前压缩区间[tk，tk+n]u，计算当前压缩区间的压缩量Tu＝n；根据计算压缩系数a；其中，Tu为当前压缩区间的压缩量，Tu-1为前一个压缩区间的压缩量，u表示当前压缩区间段为第几个压缩区间段；S303、动态调整压缩精度参数E的值：其中，E0为初始化压缩精度参数，a为压缩系数，[Emin，Emax]为压缩精度参数E的变化区间，Emin＝E0/1.5，Emax＝1.5×E0；S304、判断是否达到压缩末点，如果没有，重复步骤S302～S304。本专利技术的有益效果如下：本专利技术一种适用于农业传感数据的压缩方法，首先设置数据变化阀值，减少噪声数据的干扰；其次压缩区间通过线性回归线代替简单的首尾相连，减少压缩误差；最后，通过相邻压缩区间的压缩量，自适应调整压缩精度参数，提高压缩性能。本专利技术方法能够保证算法较低复杂度的前提下，降低压缩误差，有效提高压缩比。以下结合附图及实施例对本专利技术作进一步详细说明，但本专利技术的一种适用于农业传感数据的压缩方法不局限于实施例。附图说明图1是本专利技术实施例的方法流程图；图2是本专利技术实施例的SDT压缩算法的原理图；图3是本专利技术实施例的仿真数据SDT/LA-SDT压缩比对比图；图4是本专利技术实施例的仿真数据SDT/LA-SDT压缩误差对比图；图5本专利技术实施例的实测数据SDT/LA-SDT压缩比对比图；图6本专利技术实施例的实测数据SDT/LA-SDT压缩误差对比图。具体实施方式以下结合附图及实施例对本专利技术进行进一步的详细说明。参见图1所示，本专利技术一种适用于农业传感数据的压缩方法，包括：S10、数据噪声处理：设定农业传感数据的变化阀值，对于超出所述阀值的异常点进行处理，减小噪声数据的误差干扰。具体包括如下步骤：S本文档来自技高网...

【技术保护点】
1.一种适用于农业传感数据的压缩方法，其特征在于，包括：S10、数据噪声处理：设定农业传感数据的变化阀值，对于超出所述阀值的异常点进行处理，减小噪声数据的误差干扰；S20、数据压缩：通过SDT压缩算法，计算出压缩区间；根据所述压缩区间的值计算出线性回归方程，并通过线性回归方程计算出压缩值进行数据压缩，从而减少算法的压缩误差；S30、压缩精度参数调整：每次压缩完数据后，根据相邻压缩区间的压缩量，动态调整压缩精度参数，适应趋势变化；S40、使用最新的压缩参数精度，重复步骤S10～S40，进行下一轮的数据压缩和压缩精度参数调整，直到数据压缩结束。

【技术特征摘要】
1.一种适用于农业传感数据的压缩方法，其特征在于，包括：S10、数据噪声处理：设定农业传感数据的变化阀值，对于超出所述阀值的异常点进行处理，减小噪声数据的误差干扰；S20、数据压缩：通过SDT压缩算法，计算出压缩区间；根据所述压缩区间的值计算出线性回归方程，并通过线性回归方程计算出压缩值进行数据压缩，从而减少算法的压缩误差；S30、压缩精度参数调整：每次压缩完数据后，根据相邻压缩区间的压缩量，动态调整压缩精度参数，适应趋势变化；S40、使用最新的压缩参数精度，重复步骤S10～S40，进行下一轮的数据压缩和压缩精度参数调整，直到数据压缩结束。2.根据权利要求1所述的适用于农业传感数据的压缩方法，其特征在于，步骤S10所述的数据噪声处理，包括如下步骤：S101、设定农业传感数据的变化阀值为TS；S102、对压缩数据进行判断，如果Δy>TS，则将当前农业传感数据采集点(tc，yc)的数据值yc置为前一个采集点(tc-1，yc-1)的数据值yc-1；其中，Δy表示当前农业传感数据采集点数据值yc相对于前一个采集点数据值yc-1的变化值。3.根据权利要求1所述的适用于农业传感数据的压缩算法，其特征在于：步骤S20所述的通过SDT压缩算法，计算出压缩区间，包括如下步骤：S201、以(t0，y0)作为农业传感数据的初始点，(tc，yc)作为当前农业传感数据的压缩点；计算(tc，yc)到(t0，y0+E)的上斜率和(t0，y0-E)的下斜率，其中E表示压缩精度参数；S202、由于上斜率的门只能往上旋转，下斜率的门只能往下旋转，因此当两扇门的内角和大于180度时，记录该节点的前一个节点(tc-1，yc-1)，则当前计算出的压缩区间为[t0，tc-1]；S203、判断是否还有数据需要压缩，如果未压缩完毕，以上一个压缩区间末点(tc-1,yc-1)作为下一个压缩区间段的起始点，重复步骤S201～S203，继续进行压缩。4.根据权利要求3所述的适用于农业传感数据的压缩算法，其特征在于：步骤S20所述...

【专利技术属性】
技术研发人员：李国刚，谢伟超，王燕琼，何惠如，
申请(专利权)人：华侨大学，
类型：发明
国别省市：福建,35