【技术实现步骤摘要】
本申请涉及运维监控，尤其涉及一种时序数据库分库控制方法以及相关设备。
技术介绍
1、当前，随着云计算和大数据技术的发展，云监控及运维监控成为保障系统稳定运行的关键环节，在这样的背景下，云监控、运维监控以及容器监控等系统，通常需要处理巨量的数据并保障数据的隔离性，其中，这些系统倾向于使用诸如elasticsearch(es)集群这样的技术来存储监控数据，es集群能够处理高速的数据写入，支持数据的快速增长，进而实现对数据的存储；
2、然而，在当前es集群的实际应用过程中，会存在数据插入量过大导致集群磁盘io承受不住压力，从而影响整个系统的稳定性和响应速度的情况发生，具体的，当数据插入并发量大到一定程度时，单一es集群的存储能力和插入线程的处理能力均会受到严重影响，导致服务中断或性能下降，这不仅影响数据存储的效率，而且还可能影响到其他所有业务的正常运行。
技术实现思路
1、以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
2、本申请实施例提供了一种时序数据库分库控制方法以及相关设备，旨在解决现有技术中前es集群的实际应用过程中，会存在数据插入量过大导致集群磁盘io承受不住压力，从而影响整个系统的稳定性和响应速度的技术问题。
3、为实现上述目的，本申请实施例的第一方面提出了一种时序数据库分库控制方法，所述方法应用于所述时序数据库分库系统，所述系统包括接口层、控制层和执行层，所述方法包括：
4、配置预设的分库策略，并将
5、根据所述分库策略计算所述监控资源对应的关联关系，并将所述关联关系存入所述redis数据库，所述关联关系用于确定所述监控资源对应的时序数据库和kafka信息；
6、获取数据报文，确定所述数据报文对应的目标监控资源，并基于所述redis数据库中的所述分库策略和所述关联关系，确定所述目标监控资源对应的目标时序数据库和目标kafka信息，其中，所述不同的监控资源对应生成不同的数据报文；
7、将挂载有所述目标时序数据库和所述目标kafka信息的所述数据报文发送至对应的kafka主题，以使所述kafka主题消费所述数据报文时，将所述数据报文中数据库信息插入至所述目标时序数据库。
8、在一些实施例中，所述根据所述分库策略计算所述监控资源对应的关联关系，并将所述关联关系存入所述redis数据库，包括：
9、通过所述控制层编写所述分库策略对应的分库算法；
10、获取所述监控资源的租户、ip和资源类型；
11、通过所述执行层执行所述分库算法，以根据所述监控资源的租户、ip和资源类型计算所述监控资源与所述时序数据库之间的第一关联关系；
12、获取所述时序数据库与所述kafka信息之间的第二关联关系；
13、将所述第一关联关系和所述第二关联关系存入所述redis数据库。
14、在一些实施例中，所述分库算法包括hash一致性算法，所述根据所述监控资源的租户、ip和资源类型计算所述监控资源与所述时序数据库之间的第一关联关系，包括：
15、根据所述监控资源的租户、ip和资源类型计算所述监控资源对应的hash值；
16、对多个所述时序数据库进行编码处理，根据编码结果将多个所述时序数据库分布在预设的库编码轮盘上，以使多个所述时序数据库对应不同的编码范围；
17、根据所述监控资源的hash值落入的所述编码范围，划分所述监控资源应存储于的所述时序数据库，以得到所述监控资源与所述时序数据库之间的第一关联关系。
18、在一些实施例中，所述hash值的取值范围为0到2的32次方，所述对多个所述时序数据库进行编码处理，根据编码结果将多个所述时序数据库分布在预设的库编码轮盘上，以使多个所述时序数据库对应不同的编码范围，包括：
19、根据所述hash值的取值范围多个所述时序数据库进行编码处理，以确定多个所述时序数据库对应的编码值；
20、根据所述编码值的大小顺序将多个所述时序数据库分布在预设的库编码轮盘上；
21、将相邻的两个所述时序数据库之间的编码范围，确定为右侧的所述时序数据库对应的编码范围。
22、在一些实施例中，所述将所述数据报文中数据库信息插入至所述目标时序数据库之后，所述方法还包括：
23、获取待查询数据，并确定所述待查询数据对应的所述监控资源的租户、ip和资源类型；
24、确定所述待查询数据对应的时间维度；
25、基于所述redis数据库，从中确定所述监控资源和所述时间维度对应的所述目标时序数据库，以根据所述目标时序数据库得到对应的看板数据和报表数据。
26、在一些实施例中，所述将挂载有所述目标时序数据库和所述目标kafka信息的所述数据报文发送至对应的kafka主题，包括：
27、根据所述分库策略配置至少一个kafka集群，所述kafka集群包括多个kafka主题；
28、根据所述目标kafka信息确定对应的kafka主题，以将挂载有所述目标时序数据库和所述目标kafka信息的所述数据报文发送至对应的kafka主题。
29、为实现上述目的，本申请实施例的第二方面提出了一种时序数据库分库控制装置，所述时序数据库分库控制装包括：
30、分库策略配置单元，用于配置预设的分库策略，并将所述分库策略存入redis数据库；
31、资源上报单元，用于根据所述分库策略计算监控资源对应的关联关系，并将所述关联关系存入所述redis数据库，所述关联关系用于确定所述监控资源对应的时序数据库和kafka信息；
32、数据上报单元，用于获取数据报文，确定所述数据报文对应的目标监控资源，并基于所述redis数据库中的所述分库策略和所述关联关系，确定所述目标监控资源对应的目标时序数据库和目标kafka信息，其中，所述不同的监控资源对应生成不同的数据报文；
33、数据库分库单元，用于将挂载有所述目标时序数据库和所述目标kafka信息的所述数据报文发送至对应的kafka主题，以使所述kafka主题消费所述数据报文时，将所述数据报文中数据库信息插入至所述目标时序数据库。
34、为实现上述目的，本申请实施例的第三方面提出了一种时序数据库分库系统，包括：接口层、控制层和执行层；
35、所述接口层，用于配置预设的分库策略，并将所述分库策略存入redis数据库；
36、所述控制层，用于编写所述分库策略对应的分库算法；
37、所述执行层，用于根据所述分库策略对应的所述分库算法计算监控资源对应的关联关系，并将所述关联关系存入所述redis数据库，所述关联关系用于确定所述监控资源对应的时序数据库和kafka信息；以及用于获取数据报文，确定所述数据报文对应的目标监控资源，并基于所述redi本文档来自技高网...
【技术保护点】
1.一种时序数据库分库控制方法，其特征在于，所述方法应用于所述时序数据库分库系统，所述方法包括：
2.根据权利要求1所述的时序数据库分库控制方法，其特征在于，所述根据所述分库策略计算所述监控资源对应的关联关系，并将所述关联关系存入所述Redis数据库，包括：
3.根据权利要求2所述的时序数据库分库控制方法，其特征在于，所述分库算法包括hash一致性算法，所述根据所述监控资源的租户、ip和资源类型计算所述监控资源与所述时序数据库之间的第一关联关系，包括：
4.根据权利要求3所述的时序数据库分库控制方法，其特征在于，所述hash值的取值范围为0到2的32次方，所述对多个所述时序数据库进行编码处理，根据编码结果将多个所述时序数据库分布在预设的库编码轮盘上，以使多个所述时序数据库对应不同的编码范围，包括：
5.根据权利要求3所述的时序数据库分库控制方法，其特征在于，所述将所述数据报文中数据库信息插入至所述目标时序数据库之后，所述方法还包括：
6.根据权利要求1所述的时序数据库分库控制方法，其特征在于，所述将挂载有所述目标时序数据
7.一种时序数据库分库控制装置，其特征在于，所述时序数据库分库控制装包括：
8.一种时序数据库分库系统，其特征在于，包括：接口层、控制层和执行层；
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6中任意一项所述的时序数据库分库控制方法。
10.一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序被处理器执行时，实现如权利要求1至6中任意一项所述的时序数据库分库控制方法。
...【技术特征摘要】
1.一种时序数据库分库控制方法，其特征在于，所述方法应用于所述时序数据库分库系统，所述方法包括：
2.根据权利要求1所述的时序数据库分库控制方法，其特征在于，所述根据所述分库策略计算所述监控资源对应的关联关系，并将所述关联关系存入所述redis数据库，包括：
3.根据权利要求2所述的时序数据库分库控制方法，其特征在于，所述分库算法包括hash一致性算法，所述根据所述监控资源的租户、ip和资源类型计算所述监控资源与所述时序数据库之间的第一关联关系，包括：
4.根据权利要求3所述的时序数据库分库控制方法，其特征在于，所述hash值的取值范围为0到2的32次方，所述对多个所述时序数据库进行编码处理，根据编码结果将多个所述时序数据库分布在预设的库编码轮盘上，以使多个所述时序数据库对应不同的编码范围，包括：
5.根据权利要求3所述的时序数据库分库控制方法...
【专利技术属性】
技术研发人员：林旭东，李阳，陈仲强，郑浠，
申请(专利权)人：华润数字科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。