时序数据文件化管理方法、装置、设备及其存储介质制造方法及图纸

本申请实施例属于数据管理技术领域，涉及一种时序数据文件化管理方法、装置、设备及其存储介质，包括获取目标存储表的表名信息为文件目录名称生成管理根目录；获取缓存入的每一条待管理的时序数据的缓存入库时间；基于缓存入库时间和预设的表分区表达式，对所有待管理的时序数据进行分区处理；在管理根目录下，生成管理子目录；根据分区处理结果和目标存储表的表结构信息在所有管理子目录下生成对应的数据管理文件；获取所有待管理的时序数据，以数据流形式写入到对应的数据管理文件内，完成对待管理的时序数据的文件化管理。该方法便于提高时序数据压缩比，减少磁盘空间使用，增加时序数据的写入速率，科学对时序数据进行管理。理。理。

【技术实现步骤摘要】
时序数据文件化管理方法、装置、设备及其存储介质


[0001]本申请涉及数据管理
，尤其涉及一种时序数据文件化管理方法、装置、设备及其存储介质。

技术介绍

[0002]时序数据，即时间序列数据主要由电力行业、化工行业等各类型实时监测、检查与分析设备所采集、产生的数据，这些工业数据的典型特点是：产生频率快、依赖于采集时间、测点多信息量大。
[0003]在智慧物联IoT领域，越来越多的传感器或点表随着智能设备和智能网关的普及化，能够随时随地的上传数据。而这些数据往往都是时间顺序属于时序数据。目前，每一个监测点一秒钟内可产生多条数据，每一条数据均要求对应唯一的时间，常规的实时监测系统均有成千上万的监测点，监测点每秒钟都产生数据，每天可以产生几十GB的数据量。因此，如何提高时序数据压缩比，减少磁盘空间使用，增加时序数据的写入速率，科学对时序数据进行管理，成为了对时序数据进行存储管理时亟需解决的问题。

技术实现思路

[0004]本申请实施例的目的在于提出一种时序数据文件化管理方法、装置、设备及其存储介质，以提高时序数据压缩比，减少磁盘空间使用，增加时序数据的写入速率，科学对时序数据进行管理。
[0005]为了解决上述技术问题，本申请实施例提供一种时序数据文件化管理方法，采用了如下所述的技术方案：
[0006]一种时序数据文件化管理方法，包括下述步骤：
[0007]获取目标存储表的表名信息和表结构信息，其中，所述目标存储表用于存储待管理的时序数据；
[0008]在预设的文件管理服务器中以目标存储表的表名信息作为文件目录名称，以生成管理根目录；
[0009]根据预设的数据实时传输方式，将所述待管理的时序数据实时缓存入所述目标存储表中，并获取缓存入库时间，其中，所述缓存入库时间为每一条待管理的时序数据缓存到所述目标存储表中的时间；
[0010]将所述缓存入库时间作为计算参数传入预设的表分区表达式，对所述目标存储表内缓存入的所有待管理的时序数据进行分区处理，获取分区处理结果；
[0011]获取经过分区处理之后所述预设的表分区表达式输出的所有返回值；
[0012]在所述管理根目录下，以所有返回值作为文件目录名称，以生成各分区对应的管理子目录；
[0013]根据所述分区处理结果和所述目标存储表的表结构信息在各分区对应的管理子目录下对应生成数据管理文件；
[0014]获取所述目标存储表内缓存入的所有待管理的时序数据，并将所有待管理的时序数据以数据流形式写入到对应的数据管理文件内，完成对待管理的时序数据的文件化管理。
[0015]进一步的，所述根据预设的数据实时传输方式，将所述待管理的时序数据实时缓存入所述目标存储表中的步骤，具体包括：
[0016]在每一条待管理的时序数据进行缓存入库操作时，获取缓存入库时间；
[0017]以所述缓存入库时间作为排序字段，按照缓存入库时间的先后顺序对所有待管理的时序数据进行排序，获取排序结果；
[0018]根据排序结果将所有待管理的时序数据逐一缓存入目标存储表中。
[0019]进一步的，在执行所述将所述缓存入库时间作为计算参数传入预设的表分区表达式的步骤之前，所述方法还包括：
[0020]设置各分区内待管理的时序数据的行数信息，并将各分区内待管理的时序数据的行数信息作为行数阈值；
[0021]设置所述返回值的目标数据格式，其中，所述返回值表示所述表分区表达式执行完毕之后对应的输出结果；
[0022]在执行所述将所述缓存入库时间作为计算参数传入预设的表分区表达式的步骤之后，所述方法还包括：
[0023]步骤A：设置各分区内待管理的时序数据的初始行数信息为0；
[0024]步骤B：在待管理的时序数据的缓存入库时间作为计算参数传入预设的表分区表达式时，依次获取传入的计算参数，并统计所述传入的计算参数的数量，其中，每获取到一个传入的计算参数，所述初始行数信息累加1；
[0025]步骤C：直到所述初始行数信息对应的累加结果与目标分区对应的行数阈值相同，完成对目标分区的预分区处理；
[0026]步骤D：重复执行步骤B至步骤C，完成对各分区的预分区处理。
[0027]进一步的，所述对所述目标存储表内缓存入的所有待管理的时序数据进行分区处理的步骤，具体包括：
[0028]根据各分区进行预分区处理所获取的计算参数，确定各分区内各计算参数分别所对应的待管理的时序数据；
[0029]基于所述各分区进行预分区处理所获取的计算参数和各分区内各计算参数分别所对应的待管理的时序数据对目标存储表进行分区处理。
[0030]进一步的，在执行所述获取经过分区处理之后所述预设的表分区表达式输出的所有返回值的步骤之前，所述方法还包括：
[0031]获取经过分区处理之后各分区内时序数据最小编号；
[0032]获取经过分区处理之后各分区内时序数据最大编号；
[0033]基于预设的分区处理日志记录文件，识别各分区内被分区处理次数最多的时序数据，以及所述被分区处理次数最多的时序数据对应的分区处理次数；
[0034]当前分区输出的返回值由当前分区对应的分区计算值、当前分区中时序数据最小编号、当前分区中时序数据最大编号和当前分区内处理次数最多的时序数据对应的分区处理次数共同构成，所述返回值的目标数据格式为当前分区对应的分区计算值、当前分区中
时序数据最小编号、当前分区中时序数据最大编号和当前分区内处理次数最多的时序数据对应的分区处理次数四者的拼接格式数据，所述获取经过分区处理之后所述预设的表分区表达式输出的所有返回值的步骤，具体包括：
[0035]获取各分区分别对应的分区计算值、各分区中时序数据最小编号、各分区中时序数据最大编号和各分区内处理次数最多的时序数据对应的分区处理次数；
[0036]根据预设的拼接符号对同一分区对应的分区计算值、时序数据最小编号、时序数据最大编号和处理次数最多的时序数据对应的分区处理次数进行拼接处理，获取各分区分别对应的拼接格式数据；
[0037]将各分区分别对应的拼接格式数据作为各分区的返回值。
[0038]进一步的，目标数据表的表结构信息包括表中列字段信息、索引字段信息、数据总行数，所述数据管理文件包括基础管理文件和分区管理文件，所述根据所述分区处理结果和所述目标存储表的表结构信息在各分区对应的管理子目录下对应生成数据管理文件的步骤，具体包括：
[0039]根据所述分区处理结果生成所述分区管理文件，其中，所述分区管理文件包括分区表达式文件、分区字段最大值文件、分区字段最小值文件；
[0040]根据所述目标存储表的表结构信息生成所述基础管理文件，其中，所述基础管理文件包括校验文件、列信息文件、计数文件、索引文件、列数据文件、列字段标记文件。
[0041]进一步的，在执行所述将所有待管理的时序数据以数据流形式写入到对应的数据管理文件内的步骤本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种时序数据文件化管理方法，其特征在于，包括下述步骤：获取目标存储表的表名信息和表结构信息，其中，所述目标存储表用于存储待管理的时序数据；在预设的文件管理服务器中以目标存储表的表名信息作为文件目录名称，以生成管理根目录；根据预设的数据实时传输方式，将所述待管理的时序数据实时缓存入所述目标存储表中，并获取缓存入库时间，其中，所述缓存入库时间为每一条待管理的时序数据缓存到所述目标存储表中的时间；将所述缓存入库时间作为计算参数传入预设的表分区表达式，对所述目标存储表内缓存入的所有待管理的时序数据进行分区处理，获取分区处理结果；获取经过分区处理之后所述预设的表分区表达式输出的所有返回值；在所述管理根目录下，以所有返回值作为文件目录名称，以生成各分区对应的管理子目录；根据所述分区处理结果和所述目标存储表的表结构信息在各分区对应的管理子目录下对应生成数据管理文件；获取所述目标存储表内缓存入的所有待管理的时序数据，并将所有待管理的时序数据以数据流形式写入到对应的数据管理文件内，完成对待管理的时序数据的文件化管理。2.根据权利要求1所述的时序数据文件化管理方法，其特征在于，所述根据预设的数据实时传输方式，将所述待管理的时序数据实时缓存入所述目标存储表中的步骤，具体包括：在每一条待管理的时序数据进行缓存入库操作时，获取缓存入库时间；以所述缓存入库时间作为排序字段，按照缓存入库时间的先后顺序对所有待管理的时序数据进行排序，获取排序结果；根据排序结果将所有待管理的时序数据逐一缓存入目标存储表中。3.根据权利要求1所述的时序数据文件化管理方法，其特征在于，在执行所述将所述缓存入库时间作为计算参数传入预设的表分区表达式的步骤之前，所述方法还包括：设置各分区内待管理的时序数据的行数信息，并将各分区内待管理的时序数据的行数信息作为行数阈值；设置所述返回值的目标数据格式，其中，所述返回值表示所述表分区表达式执行完毕之后对应的输出结果；在执行所述将所述缓存入库时间作为计算参数传入预设的表分区表达式的步骤之后，所述方法还包括：步骤A：设置各分区内待管理的时序数据的初始行数信息为0；步骤B：在待管理的时序数据的缓存入库时间作为计算参数传入预设的表分区表达式时，依次获取传入的计算参数，并统计所述传入的计算参数的数量，其中，每获取到一个传入的计算参数，所述初始行数信息累加1；步骤C：直到所述初始行数信息对应的累加结果与目标分区对应的行数阈值相同，完成对目标分区的预分区处理；步骤D：重复执行步骤B至步骤C，完成对各分区的预分区处理。4.根据权利要求3所述的时序数据文件化管理方法，其特征在于，所述对所述目标存储
表内缓存入的所有待管理的时序数据进行分区处理的步骤，具体包括：根据各分区进行预分区处理所获取的计算参数，确定各分区内各计算参数分别所对应的待管理的时序数据；基于所述各分区进行预分区处理所获取的计算参数和各分区内各计算参数分别所对应的待管理的时序数据对目标存储表进行分区处理。5.根据权利要求4所述的时序数据文件化管理方法，其特征在于，在执行所述获取经过分区处理之后所述预设的表分区表达式输出的所有返回值的步骤之前，所述方法还包括：获取经过分区处理之后各分区内时序数据最小编号；获取经过分区处理之后各分区内时序数据最大编号；基于预设的分区处理日志记录文件，识别各分区内被分区处理次数最多的时序数据，以及所述被分区处理次数最多的时序数据对应的分区处理次数；当前分区输出的返回值由当前分区对应的分区计算值、当前分区中时序数据最小编号、当前分区中时序数据最大编号和当前分区内处理次数最多的时序数据对应的分区处理次数共同构成，所述返回值的目标数据格式为当前分区对应的分区计算值、当前分区中时序数据最小编号、当前分区中时序数据最大编号和当前分区内处理次数最多的时序数据对应的分区处理次数四者的拼接格式数据，所述获取经过分区处理之后所述预设的表分区表达式输出的所有返回值的步骤，具体包括：获取各分区分别对应的分区计算值、各分区中时序数...

【专利技术属性】
技术研发人员：姜亚玮，尹力澜，杜海，彭一轩，
申请(专利权)人：远光软件股份有限公司，
类型：发明
国别省市：