一种基于层级时间栅栏的增量数据管理的方法及装置制造方法及图纸

本发明专利技术公开了一种基于层级时间栅栏的增量数据管理的方法及装置，包括：获取设备的当前时刻的增量数据。若根据设备的设备ID确定设备为已存储设备，则将增量数据确定为设备在当前发送周期的结束时刻的历史状态数据。确定在当前发送周期的结束时刻之前接收到设备的新的增量数据时，将新的增量数据确定为设备在当前发送周期的结束时刻的历史状态数据，直到确定在当前发送周期的结束时刻之前未收到设备的新的增量数据时将当前发送周期的结束时刻的历史状态数据存储至存储系统。避免后续数据分析过程进行数据回填过程，不再需要通过比较历史数据确定该时刻的设备状态数据，减少逐条时间比较的时间和计算，提升数据挖掘效率。

【技术实现步骤摘要】
一种基于层级时间栅栏的增量数据管理的方法及装置
本专利技术涉及数据管理领域，尤其涉及一种基于层级时间栅栏的增量数据管理的方法及装置。
技术介绍
随着物联网技术的进一步发展以及应用规模的扩大，海量传感器数据将不断采集的数据发送至数据中心。而物联网大数据的存储与管理，需要持久化存储数据，实时检索数据，对数据进行及时的分析和处理，并提供高效的计算框架，最终对数据实现有效的感知与控制。传统增量数据存储过程为系统收到“设备状态增量数据”后对编码数据进行相应状态解析等etl(Extract-Transform-Load，抽取-转换-加载)数据处理，然后即存入分布式大数据存储系统中，待后续数据分析与查询。其中，设备状态增量数据指的是相同设备的传感数据只有在值发生变化时才上报并存储，在维持传感状态值的时间段内不收集与存储设备状态值。这种方式虽然明确记录了设备的历史传感状态信息，但给后期的数据分析造成了很大的困扰与不便，特别对基于时间维度(如整点数据分析)的数据统计与分析需求带来了额外的数据处理与计算开销。例如，某空调设备会实时上报当前电流、电压值，在空调运行周期内只有电流或电压传感器的值发生改变时，才会将数据上报给大数据平台进行存储，在开机时间段内如果外界环境影响较小，可能在电流电压保持恒定的几个小时内都不会产生上报数据。若当前需求为依据上报历史数据计算某型号空调设备在以天为单位的时间范围内的耗电量情况，则需先根据上报时间对源数据进行数据回填，切分时间单位(小时)，此时逐条解析与比较寻找时间节点的操作，增加了分布式处理系统的计算与计算时间。因此，现亟需一种数据管理方法，以避免了后续数据分析过程进行数据回填过程，减少逐条时间比较的时间和计算，提升数据挖掘效率。
技术实现思路
本专利技术实施例提供一种基于层级时间栅栏的增量数据管理的方法及装置，用于避免后续数据分析过程进行数据回填过程，减少逐条时间比较的时间和计算，提升数据挖掘效率。第一方面，本专利技术实施例提供一种基于层级时间栅栏的增量数据管理的方法，包括：获取设备的当前时刻的增量数据；所述增量数据是所述设备的状态数据发生变化后所述设备上报的；所述增量数据包括所述设备的设备ID(IdentityDocument，身份标识号)；若根据所述设备的设备ID确定所述设备为已存储设备，则将所述增量数据确定为所述设备在当前发送周期的结束时刻的历史状态数据；所述发送周期是用户通过时间栅栏标签设置的；确定在所述当前发送周期的结束时刻之前是否接收到所述设备的新的增量数据，若是，则继续将所述新的增量数据确定为所述设备在当前发送周期的结束时刻的历史状态数据，直到确定在所述当前发送周期的结束时刻之前未收到所述设备的新的增量数据时将所述当前发送周期的结束时刻的历史状态数据存储至存储系统。上述技术方案中，在确定获取的增量数据对应的设备为已存储设备时，则确定该设备存在历史状态数据，并将当前时刻的增量数据通过数据字段之间的转换，确定出当前时刻的历史状态数据，然后确定在当前发送周期的结束时刻之前是否接收有新的增量数据，若没有，则将当前时刻的历史状态数据确定为当前发送周期的结束时刻的历史状态数据，相当于给予该设备在当前的发送周期的结束时刻记录设备状态数据，进而将该时刻的设备状态数据存储至存储系统。避免后续数据分析过程进行数据回填过程，不再需要通过比较历史数据确定该时刻的设备状态数据，减少逐条时间比较的时间和计算，提升数据挖掘效率。可选的，在将所述当前发送周期的结束时刻的历史状态数据存储至存储系统之后，还包括：确定所述当前发送周期的结束时刻的历史状态数据与所述存储系统中所述设备的时间栅栏管理列表中历史状态数据是否相同，若是，则在所述存储系统中所述设备的时间栅栏管理列表中与所述当前发送周期的结束时刻的历史状态数据相同的历史状态数据的时间栅栏标签中记录所述当前发送周期的结束时刻；否则，将所述当前发送周期的结束时刻的历史状态数据存储在所述存储系统中所述设备的时间栅栏管理列表中，并在所述当前发送周期的结束时刻的历史状态数据的时间栅栏标签中记录所述当前发送周期的结束时刻。上述技术方案中，在确定当前发送周期的结束时刻的历史状态数据与存储系统中设备的时间栅栏管理列表中历史状态数据相同时，只将当前发送周期的结束时刻的历史状态数据的结束时刻记录在对应的存储系统中设备的时间栅栏管理列表中，不再重新创建历史状态数据。以此既减少了存储的数据量，又不丢失数据，增加了对设备的历史状态数据的管理。可选的，所述方法还包括：若确定所述设备为新设备，则在所述存储系统中新增所述设备的时间栅栏管理列表，并将所述当前发送周期的结束时刻的历史状态数据存储在所述设备的时间栅栏管理列表中，在所述当前发送周期的结束时刻的历史状态数据的时间栅栏标签中记录所述当前发送周期的结束时刻。上述技术方案中，在确定为设备为新设备时，新建历史状态数据，并记录新设备的每个发送周期的结束时刻的历史状态数据，便于用户随时将新设备的历史状态数据进行存储并查询，提示用户的体验感。可选的，所述时间栅栏管理列表包括设备的开关状态；所述方法还包括：若当前发送周期内未接收到所述增量数据，则记录所述设备的未上报数据的次数；若所述设备的未上报数据的次数大于次数阈值，则将所述设备的开关状态设置为关。上述技术方案中，通过确定未上报数据的次数，确定设备的开关状态，以提升设备的历史状态数据的准确性。可选的，在获取设备的当前时刻的增量数据之后，还包括：确定所述设备的开关状态是否为关，若是，则将所述设备的开关状态设置为开，并将所述设备的未上报数据的次数设置为0。上述技术方案中，在时间栅栏管理列表中的设备的开关状态为关时，且接收到增量数据后，则设备的开关状态设置为开，并将设备的未上报数据的次数设置为0。以提升设备的历史状态数据的准确性。第二方面，本专利技术实施例提供一种基于层级时间栅栏的增量数据管理的装置，包括：获取模块，用于获取设备的当前时刻的增量数据；所述增量数据是所述设备的状态数据发生变化后所述设备上报的；所述增量数据包括所述设备的设备ID；处理模块，用于若根据所述设备的设备ID确定所述设备为已存储设备，则将所述增量数据确定为所述设备在当前发送周期的结束时刻的历史状态数据；所述发送周期是用户通过时间栅栏标签设置的；确定在所述当前发送周期的结束时刻之前是否接收到所述设备的新的增量数据，若是，则继续将所述新的增量数据确定为所述设备在当前发送周期的结束时刻的历史状态数据，直到确定在所述当前发送周期的结束时刻之前未收到所述设备的新的增量数据时将所述当前发送周期的结束时刻的历史状态数据存储至存储系统。可选的，所述处理模块还用于：在将所述当前发送周期的结束时刻的历史状态数据存储至存储系统之后，确定所述当前发送周期的结束时刻的历史状态数据与所述存储系统中所述设备的时间栅栏管理列表中历史状态数据是否相同，若是，则在所述存储系统中所述设备的时本文档来自技高网...

【技术保护点】
1.一种基于层级时间栅栏的增量数据管理的方法，其特征在于，包括：/n获取设备的当前时刻的增量数据；所述增量数据是所述设备的状态数据发生变化后所述设备上报的；所述增量数据包括所述设备的设备ID；/n若根据所述设备的设备ID确定所述设备为已存储设备，则将所述增量数据确定为所述设备在当前发送周期的结束时刻的历史状态数据；所述发送周期是用户通过时间栅栏标签设置的；/n确定在所述当前发送周期的结束时刻之前是否接收到所述设备的新的增量数据，若是，则继续将所述新的增量数据确定为所述设备在当前发送周期的结束时刻的历史状态数据，直到确定在所述当前发送周期的结束时刻之前未收到所述设备的新的增量数据时将所述当前发送周期的结束时刻的历史状态数据存储至存储系统。/n

【技术特征摘要】
1.一种基于层级时间栅栏的增量数据管理的方法，其特征在于，包括：
获取设备的当前时刻的增量数据；所述增量数据是所述设备的状态数据发生变化后所述设备上报的；所述增量数据包括所述设备的设备ID；
若根据所述设备的设备ID确定所述设备为已存储设备，则将所述增量数据确定为所述设备在当前发送周期的结束时刻的历史状态数据；所述发送周期是用户通过时间栅栏标签设置的；
确定在所述当前发送周期的结束时刻之前是否接收到所述设备的新的增量数据，若是，则继续将所述新的增量数据确定为所述设备在当前发送周期的结束时刻的历史状态数据，直到确定在所述当前发送周期的结束时刻之前未收到所述设备的新的增量数据时将所述当前发送周期的结束时刻的历史状态数据存储至存储系统。


2.如权利要求1所述的方法，其特征在于，在将所述当前发送周期的结束时刻的历史状态数据存储至存储系统之后，还包括：
确定所述当前发送周期的结束时刻的历史状态数据与所述存储系统中所述设备的时间栅栏管理列表中历史状态数据是否相同，若是，则在所述存储系统中所述设备的时间栅栏管理列表中与所述当前发送周期的结束时刻的历史状态数据相同的历史状态数据的时间栅栏标签中记录所述当前发送周期的结束时刻；
否则，将所述当前发送周期的结束时刻的历史状态数据存储在所述存储系统中所述设备的时间栅栏管理列表中，并在所述当前发送周期的结束时刻的历史状态数据的时间栅栏标签中记录所述当前发送周期的结束时刻。


3.如权利要求1所述的方法，其特征在于，所述方法还包括：
若确定所述设备为新设备，则在所述存储系统中新增所述设备的时间栅栏管理列表，并将所述当前发送周期的结束时刻的历史状态数据存储在所述设备的时间栅栏管理列表中，在所述当前发送周期的结束时刻的历史状态数据的时间栅栏标签中记录所述当前发送周期的结束时刻。


4.如权利要求1至3任一项所述的方法，其特征在于，所述时间栅栏管理列表包括设备的开关状态；
所述方法还包括：
若当前发送周期内未接收到所述增量数据，则记录所述设备的未上报数据的次数；
若所述设备的未上报数据的次数大于次数阈值，则将所述设备的开关状态设置为关。


5.如权利要求4所述的方法，其特征在于，在获取设备的当前时刻的增量数据之后，还包括：
确定所述设备的开关状态是否为关，若是，则将所述设备的开关状态设置为开...

【专利技术属性】
技术研发人员：胡伟凤，高雪松，
申请(专利权)人：青岛聚好联科技有限公司，
类型：发明
国别省市：山东;37