一种节省流量的数据采集及补齐方法技术

本发明专利技术公开了一种节省流量的数据采集及补齐方法，该方法包括数据采集传感器、数据采集终端设备、通讯网络、用于管控服务器的数据管理平台和服务器系统及配套管理软件，数据采集终端设备针对性地筛选数据采集传感器的数据进行数据上传，避免数据采集终端设备频繁地向服务器发送数据，降低服务器压力，节省数据流量；服务器能为数据库的数据进行数据补齐，使得用户在使用数据管理平台时能查看完整的采集数据。

【技术实现步骤摘要】
一种节省流量的数据采集及补齐方法
本专利技术涉及一种数据采集方法，特别是一种节省流量的数据采集及补齐方法。
技术介绍
现在许多基于物联网的终端检测系统，都要求终端检测系统的检测数据具有较高的实时性，因此，终端设备通常需要频繁地向服务器发送当前的实时数值（如终端设备每5秒钟接入3G/4G网络向服务器上传当前检测值），但大部分上传的采集数据在很长一段时间内的数值变化非常微小，频繁的数据上传会耗费大量的流量，造成网络资源的过度浪费，因此，采集数据的终端设备可以先进行基础的数据处理，将无变化或变化值在设定范围之内数据忽略，并不上传至服务器，节省数据流量，降低服务器压力，但这种处理方法存在缺陷，当用户在数据平台上想获数据库内一个时间段内的连续数据，但终端设备在采集处理此份数据时，因发现数据不存在变化而不进行数据上传，会造成数据库不存在此时间段内的连续数据，导致用户获取数据失败。
技术实现思路
为了克服现有技术的不足，本专利技术提供一种能降低服务器压力、数据库数据完整、节省流量的数据采集及补齐方法。本专利技术解决其技术问题所采用的技术方案是：一种节省流量的数据采集及补齐方法，该方法如下：（1）、判别实时数据数据采集终端以设定的采集时间间隔采集传感器的实时数据和实时时间点，并通过内部处理器让实时数据与前一实时数据进行数值比对，以比对的结果作为数据上传的条件。（2）、数据录入服务器以采集时间间隔为自检时间间隔，检测数据接收端口是否接收有数据采集终端上传的实时数据，服务器将接收的实时数据放入自检时间点内，一起导入数据库中的数据表并将自检时间点变更为实时时间点，而没能获取数据的自检时间点则标识为空白时间点导入数据库的数据表中。（3）、获取指定数据用户在数据管理平台通过设定指定时间段获取指定数据，数据操控平台发送指定时间段至服务器，让服务器根据指定时间段调取数据库中的数据表并标识为指定数据表，若检测到指定数据表中含有空白时间点，服务器进行数据补齐，计算出合适的实时数据补入空白时间点上，服务器将数据补齐后的指定数据表发送至数据管理平台。所述步骤（1）的数值比对中设置有作为数据比对条件的差值范围、存放实时数据的暂存变量和存放采集实时数据时间的暂存时间点。所述数据采集终端的数据比对与上传的流程如下：步骤1：数据采集终端采集传感器的实时数据和实时时间点；步骤2：数据采集终端上传实时数据；步骤3：数据采集终端清空暂存变量和暂存时间点的数值，并将实时数据的数值和采集时间分别存放入暂存变量和暂存时间点内；步骤4：数据采集终端继续采集传感器新的实时数据和实时时间点；步骤5：新的实时数据与暂存变量的差值如果小于差值范围，则执行步骤6，否则上传该实时数据；步骤6：新的实时时间点与暂存时间点的时间间隔如果超过30分钟，则执行步骤3，否则继续采集传感器新的实时数据和实时时间点。所述步骤（3）的指定时间段包括起始时间和终止时间，所述指定数据表中存放的数据为列表数据。所述服务器数据补齐流程如下：步骤1：用户在数据管理平台设定指定时间段；步骤2：服务器根据指定时间段获取起始时间和终止时间；步骤3：服务器根据起始时间和终止时间从数据库的数据表中调取指定数据表；步骤4：如果指定数据表的第一个实时时间点不为空白时间点，则执行步骤5，否则服务器将数据库上一时间点的实时数据取出，并以起始时间作为该实时数据的实时时间点，两者打包标记为缓存数据；步骤5：如果指定数据表的第一个实时时间点的时间与起始时间的时间间隔在5秒内，则执行步骤6，否则服务器将数据库上一个时间点的实时数据取出，并以起始时间作为该实时数据的实时时间点，两者打包标记为缓存数据；步骤6：服务器将指定数据表中的第一个实时时间点的时间与实时数据打包标记为缓存数据；步骤7：服务器将缓存数据设为指定数据表的首位列表数据；步骤8：缓存数据的实时时间点如果不大于终止时间点，则执行步骤9，否则服务器发送指定数据表至数据管理平台；步骤9：服务器继续读取指定数据表中的下一条列表数据；步骤10：服务器如果判别出列表数据的实时时间点与缓存数据的实时时间点间隔在5秒内，则执行步骤11，否则服务器将缓存数据的实时数据与列表数据的实时时间点构成新的列表数据插入指定数据表中并将该列表数据作为新的缓存数据；步骤11：服务器将列表数据的实时时间点和实时数据更新为新的缓存数据；步骤12：缓存数据的实时时间点如果大于终止时间点，则执行步骤13，否则服务器继续读取指定数据表中的下一条列表数据；步骤13：服务器发送指定数据表至数据管理平台。本专利技术的有益效果是：本专利技术包括数据采集传感器、数据采集终端设备、通讯网络、用于管控服务器的数据管理平台和服务器系统及配套管理软件，数据采集终端设备针对性地筛选数据采集传感器的数据进行数据上传，避免数据采集终端设备频繁地向服务器发送数据，降低服务器压力，节省数据流量；服务器能为数据库的数据进行数据补齐，使得用户在使用数据管理平台时能查看完整的采集数据。附图说明下面结合附图和实施例对本专利技术进一步说明。图1是本专利技术的数据比对与上传流程图；图2是本专利技术的数据补齐流程图。具体实施方式一种节省流量的数据采集及补齐方法，该方法包括数据采集传感器、数据采集终端设备、通讯网络、用于管控服务器的数据管理平台和服务器系统及配套管理软件，该方法包括如下个三个步骤：（1）、判别实时数据数据采集终端设置有采集时间时间间隔、作为数据比对条件的差值范围、存放实时数据的暂存变量和存放采集实时数据时间的暂存时间点，数据采集终端对传感器间隔采集实时数据和实时时间点，数据采集终端将采集的实时数据和实时时间点先分别放入暂存变量和暂存时间点内，数据采集终端继续采集传感器的实时数据和实时时间点，新的实时数据和暂存变量进行比对，两者差值如果小于差值范围，则判断为这两个相邻的数据没有发生变化，数据采集终端不上传此实时时间点采集到的实时数据，否则数据采集终端将该次采集到的实时数据发送至服务器，在本实施例中，采集时间为5秒。（2）、数据录入服务器以采集时间间隔为自检时间间隔，检测数据接收端口是否接收有数据采集终端上传的实时数据，服务器将接收的实时数据放入自检时间点内，一起导入数据库的数据表中并将自检时间点变更为实时时间点，而没能获取数据的自检时间点则标识为空白时间点导入数据库的数据表中。（3）、获取指定数据用户在数据管理平台通过设定指定时间段获取指定数据，指定时间段包括起始时间和终止时间，数据操控平台发送指定时间段至服务器，让服务器根据指定时间段调取数据库中的数据表并标识为指定数据表，指定数据表中存放的数据为列表数据，若检测到指定数据表中含有空白时间点，服务器进行数据补齐，计算一个合适的实时数据补入空白时间点上，服务器将数据补齐后的指定数据表发送至数据管理平台。本专利技术的数据采集终端的数据比对与上传流程如图1所示，其步骤如下：步骤1：数据采集终端采集传感器的实时数据和实时时间点；步骤2：数据采集终端上传实时数据；步骤3：数据采集终端清空暂存变量和暂存时间点的数值，并将实时数据的数值和采集时间分别存放入暂存变量和暂存时间点内；步骤4：数据采集终端继续采集传感器新的实时数据和实时时间点；步骤5：新的实时数据与暂存变量的差值如果小于差值范围，则执行步骤6，否则上传该实时数本文档来自技高网...

【技术保护点】
一种节省流量的数据采集及补齐方法，其特征在于该方法如下：（1）、判别实时数据数据采集终端以设定的采集时间间隔采集传感器的实时数据和实时时间点，并通过内部处理器让实时数据与前一实时数据进行数值比对，以比对的结果作为数据上传的条件。

【技术特征摘要】
1.一种节省流量的数据采集及补齐方法，其特征在于该方法如下：（1）、判别实时数据数据采集终端以设定的采集时间间隔采集传感器的实时数据和实时时间点，并通过内部处理器让实时数据与前一实时数据进行数值比对，以比对的结果作为数据上传的条件。2.（2）、数据录入服务器以采集时间间隔为自检时间间隔，检测数据接收端口是否接收有数据采集终端上传的实时数据，服务器将接收的实时数据放入自检时间点内，一起导入数据库中的数据表并将自检时间点变更为实时时间点，而没能获取数据的自检时间点则标识为空白时间点导入数据库的数据表中。3.（3）、获取指定数据用户在数据管理平台通过设定指定时间段获取指定数据，数据操控平台发送指定时间段至服务器，让服务器根据指定时间段调取数据库中的数据表并标识为指定数据表，若检测到指定数据表中含有空白时间点，服务器进行数据补齐，计算出合适的实时数据补入空白时间点上，服务器将数据补齐后的指定数据表发送至数据管理平台。4.根据权利要求1所述的节省流量的数据采集及补齐方法，其特征在于所述步骤（1）的数值比对中设置有作为数据比对条件的差值范围、存放实时数据的暂存变量和存放采集实时数据时间的暂存时间点。5.根据权利要求1-2所述的节省流量的数据采集及补齐方法，其特征在于所述数据采集终端的数据比对与上传的流程如下：步骤1：数据采集终端采集传感器的实时数据和实时时间点；步骤2：数据采集终端上传实时数据；步骤3：数据采集终端清空暂存变量和暂存时间点的数值，并将实时数据的数值和采集时间分别存放入暂存变量和暂存时间点内；步骤4：数据采集终端继续采集传感器新的实时数据和实时时间点；步骤5：新的实时数据与暂存变量的差值如果小于差值范围，则执行步骤6，否则上传该实时数据；步骤6：新的实时时间点与暂存时间点的时间间隔如果超过30分钟，则执行步骤3，否则继续采集传...

【专利技术属性】
技术研发人员：尚志锋，曾生辉，王高飞，何剑清，林嘉文，何卫明，
申请(专利权)人：中山路得斯空调有限公司，
类型：发明
国别省市：广东,44