一种历史数据的管理方法及相关设备技术

本申请实施例公开了一种历史数据的管理方法和相关设备，审计系统将Clickhouse集群中需要备份的历史数据发送至中转服务器，并由中转服务器发送至存储器进行存储。建立Clickhouse历史集群，当需要对历史数据进行恢复时，审计系统查找保存在存储器中的所需要恢复的目标数据，并将该目标数据发送至Clickhouse历史集群进行恢复。由于存储器中已经保存了相应了历史数据，则可以对Clickhouse集群中已经完成备份的历史数据进行删除，减少了Clickhouse集群的资源占用。当需要恢复数据时，再将数据恢复到Clickhouse历史集群中。由于Clickhouse集群与Clickhouse历史集群之间的数据是互相独立的，因此数据的恢复，也不会影响到Clickhouse集群中的存储内容。影响到Clickhouse集群中的存储内容。影响到Clickhouse集群中的存储内容。

【技术实现步骤摘要】
一种历史数据的管理方法及相关设备


[0001]本申请实施例涉及计算机
，尤其涉及一种历史数据的管理方法及相关设备。

技术介绍

[0002]Clickhouse作为一种开源列式数据库，具有卓越的海量数据存储能力和高效处理性能、高可用及开箱即用等特点。
[0003]Clickhouse集群一般部署在CPU核数较多且磁盘空间较大的服务器上，并在本地磁盘完成读写操作。由于服务器的磁盘容量有限，当数据规模逐渐膨胀到磁盘容量上限时，Clickhouse集群必须通过增加节点的方式，扩大集群容量，存储数据。
[0004]针对大部分业务场景而言，数据存放的时间与被查询的频率往往是成反比的。因此Clickhouse集群中，往往存在大量的查询频率极低的数据。这些数据使得Clickhouse集群异常庞大，产生巨大的资源浪费。

技术实现思路

[0005]本申请实施例提供了一种历史数据的管理方法及相关设备，用于减少Clickhouse集群所占用的存储资源。
[0006]为了实现上述专利技术目的，本专利技术提供的具体技术方案如下本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种历史数据的管理方法，其特征在于，所述方法包括：审计系统确定Clickhouse集群中需要备份的历史数据；所述审计系统向中转服务器发送所述历史数据；所述审计系统将所述中转服务器中的所述历史数据压缩；所述审计系统将所述中转服务器中压缩后的所述历史数据发送至存储器，以使得所述存储器对所述历史数据进行保存；若所述审计系统接收到恢复数据的请求，所述审计系统根据所述请求确定所述历史数据中的目标数据；所述审计系统将所述存储器中的所述目标数据发送至Clickhouse历史集群。2.根据权利要求1所述的方法，其特征在于，所述审计系统将所述存储器中的所述目标数据发送至Clickhouse历史集群之后，所述方法还包括：所述审计系统确定所述Clickhouse历史集群的节点数；所述审计系统确定所述目标数据的数据量；所述审计系统根据所述数据量和所述分片数确定所述Clickhouse历史集群中，每个节点挂载的数据量；所述审计系统根据每个节点挂载的数据量为所述Clickhouse历史集群挂载所述目标数据。3.根据权利要求1所述的方法，其特征在于，所述审计系统向中转服务器发送所述历史数据之后，所述方法还包括：所述审计系统删除所述Clickhouse集群中的所述历史数据。4.根据权利要求1、2或3所述的方法，其特征在于，所述方法还包括：所述审计系统删除所述Clickhouse历史集群中逾期的所述目标数据。5.一种审计系统，其特征在于，所述审计系统包括：第一确定单元，用于确定C...

【专利技术属性】
技术研发人员：韩会杰，任悦，刘雨晨，王晨曦，张俊卿，聂晓杰，
申请(专利权)人：中国民航信息网络股份有限公司，
类型：发明
国别省市：