数据压缩方法、系统、设备和存储介质技术方案

本公开涉及物联网制造技术领域，特别涉及一种数据压缩方法、系统、设备和存储介质。本公开提供的数据压缩方法、系统、设备和存储介质，提高数据的压缩质量，进而使数据在传输过程中减少网络的占用带宽，避免因网络延迟、读写磁盘等处理速度之间的变化导致物联网系统整体处理能力的下降，以实现保持物联网处理速度的目的。

【技术实现步骤摘要】
数据压缩方法、系统、设备和存储介质
本公开涉及物联网制造
，特别涉及一种数据压缩方法、系统、设备和存储介质。
技术介绍
基于互联网的工业制造需要物联网技术、新兴网络与信息技术、人工智能技术、自动化物流技术等多领域技术支撑，而其中如何提高工厂的自动化、智能化是企业发展，尤其是橡胶制造企业良好发展的基础之一。
技术实现思路
本公开的一方面提供了一种数据压缩方法方法，其特征在于，所述方法包括如下步骤：对数据进行第一次筛选处理，以得到处于第一阈值范围内的常规数据；对所述常规数据进行拟合处理，以得到常规数据的拟合曲线；获取分布在拟合曲线周围的各数据与拟合曲线之间的间距值；对所述常规数据进行第二次筛选处理，以得到所述间距值超出第二阈值范围的压缩数据。在一实施例中，所述数据压缩方法还包括：判断所述压缩数据中在一时间段内分布在各时间点的数值点个数；当所述数值点个数大于预设值时，继续对所述压缩数据进行拟合处理和筛选处理，直至得到所述间距值超出每次拟合处理后重新设定的预设阈值范围，并且所述数值点个数符合预设值的目标压缩数据。在一实施例中，所述拟合处理采用最小二乘法拟合方式或直线拟合方式。本公开的另一方面是提供了一种数据压缩系统。所述数据压缩系统用于实现如前所述的数据压缩方法的步骤。所述系统包括：数据筛选模块，对数据进行第一次筛选处理，以得到处于第一阈值范围内的常规数据；拟合处理模块，用于对所述常规数据进行拟合处理，以得到常规数据的拟合曲线；数据获取模块，用于获取分布在拟合曲线周围的各数据与拟合曲线之间的间距值；所述数据筛选模块，还用于对所述常规数据进行第二次筛选处理，以得到所述间距值超出第二阈值范围的压缩数据。本公开的再一方面还提供了一种数据压缩设备。所述数据压缩设备包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如本公开前一方面所述的数据压缩方法的步骤。本公开的最后一方面则是提供了一种计算机可读存储介质。所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前所述的数据压缩方法的步骤。在本公开提供的数据压缩方法、系统、设备和存储介质，提高数据的压缩质量，进而使数据在传输过程中减少网络的占用带宽，避免因网络延迟、读写磁盘等处理速度之间的变化导致物联网系统整体处理能力的下降，以实现保持物联网处理速度的目的。附图说明附图示例性地示出了实施例并且构成说明书地一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于示例的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。图1是本公开一实施例所展示的数据压缩方法的步骤流程图；图2是本公开一实施例提供的优选的数据压缩方法步骤流程图；图3是本公开一实施例提供的数据压缩方法模拟数据压缩过程示意图；图4是本公开一实施例提供的数据压缩系统模块连接示意图；图5是本公开一实施例提供的计算机可读存储介质的结构示意图。具体实施方式通过上述说明可知，物联网技术的发展，已经是企业良好发展的基础之一。在物联网发展的过程中，数据的通讯是物联网向好发展的重要条件。然而，现阶段物联网中的通讯数据往往都是未经压缩或压缩方案不理想而直接用于物联网中。不仅制约着数据通讯的速度，而且还给网络带宽带来较大挑战。为了解决现有技术存在的问题，专利技术人通过创造性的劳动提出了一种数据压缩方法、系统、设备和存储介质，提高数据的压缩质量，进而使数据在传输过程中减少网络的占用带宽，避免因网络延迟、读写磁盘等处理速度之间的变化导致物联网系统整体处理能力的下降，以实现保持物联网处理速度的目的。以下结合附图和具体实施例对本公开提出的图像压缩方法、系统、设备及存储介质作进一步详细说明。根据权利要求书和下面说明，本公开的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本公开实施例的目的。应当理解的内容是，说明书中的用辞仅用于描述特定的实施例，并不旨在限定本公开。说明书使用的所有术语(包括技术术语和科学术语)除非另有定义，均具有本领域技术人员通常理解的含义。为简明和/或清楚起见，公知的功能或结构不再详细说明。对数据压缩方法的说明请参阅图1，其展示了本公开一实施例中的图像压缩方法的步骤流程图。在步骤S001中，对数据进行第一次筛选处理，以得到处于第一阈值范围内的常规数据；在步骤S002中，对所述常规数据进行拟合处理，以得到常规数据的拟合曲线；在步骤S003中，获取分布在拟合曲线周围的各数据与拟合曲线之间的间距值；在步骤S004中，对所述常规数据进行第二次筛选处理，以得到所述间距值超出第二阈值范围的压缩数据。通过上述实施步骤可知，本公开提供的数据压缩方法提高数据的压缩质量，进而使数据在传输过程中减少网络的占用带宽，避免因网络延迟、读写磁盘等处理速度之间的变化导致物联网系统整体处理能力的下降，以实现保持物联网处理速度的目的。在本公开的一实施例中，还对进一步提供了一种优选的数据压缩方法，如图2所示，是本公开一实施例体提供的优选的数据压缩方法步骤流程图。在步骤S005中，判断所述压缩数据中在一时间段内分布在各时间点的数值点个数；在步骤S006中，当所述数值点个数大于预设值时，继续对所述压缩数据进行拟合处理和筛选处理，直至得到所述间距值超出每次拟合处理后重新设定的预设阈值范围，并且所述数值点个数符合预设值的目标压缩数据。为了更加详细的说明本公开提供的方法，请参阅3，图3是本公开一实施例基于具体压缩内容给出的说明。在对数据进行压缩时，首先通过设置压缩精度ΔT，以确定筛选数据的阈值范围(报警上限、报警下限)。利用阈值范围的数据实时进行判断，对于超出该阈值范围的数据，即图3中类似t3和t8的数据，可以被认定为属于异常数据，那么只进行保留，不进行压缩处理。而对于异常数据以外的数据(为了区分异常数据，可以认为这些数据是在阈值范围内的常规数据)进行拟合处理，采用最小法或者直线拟合，本文示意直线拟合，拟合曲线计算出后，计算该拟合曲线在一段时间内的各时间点上的数值点个数，并计算偏差ΔE，如果偏差ΔE小于精度ΔE，那么该数值删掉，否则保留该点，从而得到压缩数据，如果数值点个数不符合要求是，可以根据上述步骤对精度不符合要求的数值点前后的数据再次进行拟合处理和精度判断处理，意识数值点个数符合要求。在本实施例中，经过运算后，保留点位t0，t2，t3，t4，t7，t8.由原9个数值点减少为6个数值点，从而对数据进行压缩。通过本实施例使网络传输的数据量大大减少，对于低带宽网络具有极大的保证，同时还保证了数据传输速率不会出现降低。保留的点位如下：t0：2020-02-2708：00：本文档来自技高网...

【技术保护点】
1.一种数据压缩方法方法，其特征在于，所述方法包括如下步骤：/n对数据进行第一次筛选处理，以得到处于第一阈值范围内的常规数据；/n对所述常规数据进行拟合处理，以得到常规数据的拟合曲线；/n获取分布在拟合曲线周围的各数据与拟合曲线之间的间距值；/n对所述常规数据进行第二次筛选处理，以得到所述间距值超出第二阈值范围的压缩数据。/n

【技术特征摘要】
1.一种数据压缩方法方法，其特征在于，所述方法包括如下步骤：
对数据进行第一次筛选处理，以得到处于第一阈值范围内的常规数据；
对所述常规数据进行拟合处理，以得到常规数据的拟合曲线；
获取分布在拟合曲线周围的各数据与拟合曲线之间的间距值；
对所述常规数据进行第二次筛选处理，以得到所述间距值超出第二阈值范围的压缩数据。


2.如权利要求1所述的数据压缩方法，其特征在于，所述方法还包括：
判断所述压缩数据中在一时间段内分布在各时间点的数值点个数；
当所述数值点个数大于预设值时，继续对所述压缩数据进行拟合处理和筛选处理，直至得到所述间距值超出每次拟合处理后重新设定的预设阈值范围，并且所述数值点个数符合预设值的目标压缩数据。


3.如权利要求1所述的用于数据压缩方法，其特征在于，所述拟合处理采用最小二乘法拟合方式或直线拟合方式。


4.一...

【专利技术属性】
技术研发人员：焦清国，徐腾，李伟，路畅，赵传奇，孙洪喜，刘相胜，
申请(专利权)人：青岛铁木真软件技术有限公司，
类型：发明
国别省市：山东;37