一种时序数据库集群的数据管理方法、装置、设备及介质制造方法及图纸

本发明专利技术涉及大数据处理技术领域，尤其涉及一种时序数据库集群的数据管理方法、装置、设备及介质。该方法获取用户上报的带有时间戳的目标数据，对目标数据进行校验处理，若校验通过，则根据分片计算规则，获取与目标数据关联的分片结果，根据分片结果，将目标数据放入目标缓冲队列；若检测到目标缓冲队列的数据属性达到预设的属性条件，则取出目标缓冲队列中所有的缓冲数据；对所有的缓冲数据进行缓存，得到缓存数据，将缓存数据存储至对应分片结果的时序数据库，根据分片计算规则将目标数据存储至对应分片结果的时序数据库，解决了金融场景下数据处理量较大的问题，提高了时序数据库集群的管理能力。群的管理能力。群的管理能力。

【技术实现步骤摘要】
一种时序数据库集群的数据管理方法、装置、设备及介质


[0001]本专利技术涉及大数据处理
，尤其涉及一种时序数据库集群的数据管理方法、装置、设备及介质。

技术介绍

[0002]时序数据库全称为时间序列数据库，主要用于处理带时间标签的数据，通常具有高性能、数据压缩、过期数据自动清理、支持多种聚合函数等特点，在监控、物联网、金融等领域逐渐成为主流。
[0003]在大规模的数据场景下，比如：金融场景下的交易数据、支付数据或者业务数据，数据规模会随着接入系统的扩张和新增而变大，单个时序数据库的处理能力有限，往往需要集群化才能满足性能、可用性、数据完整性等方面的要求，但是集群化具备一定的复杂性，存在着数据不规范、数据库异常、数据处理量较大等问题。因此，如何在金融场景下提高对时序数据库集群的管理能力成为亟待解决的问题。

技术实现思路

[0004]有鉴于此，本专利技术实施例提供了一种时序数据库集群的数据管理方法、装置、设备及介质，以解决现有金融场景下时序数据库集群的数据不规范、数据库异常、数据处理量较大的问题。
[000本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种时序数据库集群的数据管理方法，其特征在于，所述数据管理方法包括：获取用户上报的带有时间戳的目标数据，使用预设的全局校验规则对所述目标数据进行校验处理，若校验通过，则获取分片计算规则；根据所述分片计算规则，对所述目标数据进行分片计算，得到与所述目标数据关联的分片结果，根据所述分片结果，确定对应的目标缓冲队列，将所述目标数据放入所述目标缓冲队列；检测所述目标缓冲队列的数据属性是否达到预设的属性条件，若检测到所述目标缓冲队列的数据属性达到所述预设的属性条件，则取出所述目标缓冲队列中所有的缓冲数据；对所有的缓冲数据进行预处理，得到预处理后的数据，将所述预处理后的数据进行缓存，得到缓存数据，建立所述缓存数据的索引关系，将所述缓存数据存储至对应所述分片结果的时序数据库。2.根据权利要求1所述的数据管理方法，其特征在于，所述根据所述分片计算规则，对所述目标数据进行分片计算，得到与所述目标数据关联的分片结果，包括：获取所述目标数据的数据量和时间戳，根据所述数据量和所述时间戳，计算所述目标数据的数据标签；获取分片结果映射表，所述分片结果映射表包括数据标签与分片之间的映射关系；根据所述分片结果映射表，确定所述数据标签对应的分片结果。3.根据权利要求1所述的数据管理方法，其特征在于，所述预设的属性条件包括预设的时差阈值和/或预设的数据量阈值，所述检测所述目标缓冲队列的数据属性是否达到预设的属性条件，包括：获取所述目标缓冲队列中处于最先缓冲的数据的最早缓冲时间，计算所述最早缓冲时间与当前时间的时间差；获取所述目标缓冲队列在当前时间的缓冲数据量；检测所述时间差是否达到所述预设的时差阈值，和/或检测所述缓冲数据量是否达到所述预设的数据量阈值；在检测到所述时间差达到所述预设的时差阈值，和/或检测所述缓冲数据量达到所述预设的数据量阈值时，确定所述目标缓冲队列的数据属性达到预设的属性条件。4.根据权利要求1所述的数据管理方法，其特征在于，所述使用预设的全局校验规则对所述目标数据进行校验处理包括：获取预设的时间戳范围，根据所述目标数据的时间戳，滤除不在所述时间戳范围内的所述目标数据，得到第一目标数据；检测所述第一目标数据中是否存在空数据，若所述第一目标数据中存在空数据，则滤除所述空数据得到第二目标数据；获取所述第二目标数据的数据格式，使用预设的正则表达式对所述数据格式进行匹配，若匹配成功，则确定校验通过。5.根据权利要求1所述的数据管理方法，其特征在于，所述对所有的缓冲数据进行预处理，包括：针对任一缓冲数据，对所述缓冲数据进行标签更换，得到第一缓冲数据，对所述第一缓冲数据进行单位换算，得到第...

【专利技术属性】
技术研发人员：陈海钊，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：