一种分布式数据库制造技术

本发明专利技术涉及一种分布式数据库，其中，计算节点集群用于接收数据访问请求，将数据访问请求调度至数据节点集群中对应的热数据分片和/或冷数据分片；数据节点集群包括热数据分片区域和冷数据分片区域，所述热数据分片区域对应的第一时间区间晚于所述冷数据分片区域对应的第二时间区间，数据节点集群中的热数据分片和/或冷数据分片，用于响应于数据访问请求，向计算节点集群返回结果集响应。本申请实施例通过在数据节点集群中设置热数据分片区域和冷数据分片区域，实现在一套数据库里同时处理在线库热数据和历史库冷数据，并且由于热数据分片区域对应的第一时间区间晚于冷数据分片区域对应的第二时间区间，所以能够实现自动进行冷热数据的隔离。冷热数据的隔离。冷热数据的隔离。

【技术实现步骤摘要】
一种分布式数据库


[0001]本申请涉及数据库
，尤其涉及一种分布式数据库。

技术介绍

[0002]关系型数据库经常用于海量历史数据的存储和查询。传统常见的处理方案是单独建设一个历史库，即在线库和历史库分离，该方案的劣势在于应用需要维护管理两套数据库，增加了成本开销，而且当查询日期涉及跨库查询的场景时，需要业务做特殊处理或直接对该功能进行限制，制约了业务的创新和发展；
[0003]鉴于分布式数据库大容量、可扩展的特性，越来越多的架构方案开始尝试不区分在线库和历史库，弱化数据的时间及冷热属性，使用一套分布式数据库，同时管理在线热数据和历史冷数据，但会导致冷热数据不能良好的分离，无法精准的匹配或利用对应的硬件资源。

技术实现思路

[0004]为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种分布式数据库。
[0005]第一方面，本申请提供了一种分布式数据库，包括：计算节点集群和数据节点集群；
[0006]所述计算节点集群，用于接收数据访问请求，所述数据访问请求中携带请求访问的冷数据和/或热数据对应的时间信息，根据所述时间信息将所述数据访问请求调度至所述数据节点集群中对应的热数据分片和/或冷数据分片；
[0007]所述数据节点集群包括热数据分片区域和冷数据分片区域，所述热数据分片区域对应的第一时间区间晚于所述冷数据分片区域对应的第二时间区间，所述热数据分片区域中的各热数据分片用于存储所述第一时间区间对应的热数据，所述冷数据分片区域中的不同冷数据分片对应不同的时间段，所述数据节点集群中的热数据分片和/或冷数据分片，用于响应于所述数据访问请求，向所述计算节点集群返回结果集响应。
[0008]可选地，每个所述热数据分片中按照时间维度划分为多个热数据分区，不同所述热数据分区对应相同或不同的时间范围。
[0009]可选地，若待写入所述热数据分片的热数据所对应的时间信息位于所述第一时间区间外，所述数据节点集群还用于在所述热数据分片中增加新的热数据分区，所述待写入的热数据所对应的时间信息位于所述新的热数据分区对应的时间范围内。
[0010]可选地，当任一所述热数据分片的容量超过预设容量阈值时，所述数据节点集群还用于对所述热数据分片进行扩容；
[0011]或者，
[0012]当所述冷数据分片区域需要扩容时，所述数据节点集群还用于在冷热数据分片策略中为所述冷数据分片区域新增冷数据分片。
[0013]可选地，当所述冷数据分片区域需要扩容时，所述数据节点集群还用于在所述冷数据分片区域新增冷数据分片。
[0014]可选地，还包括：总控组件；
[0015]所述总控组件，用于在检测到任一热数据分片中的热数据到达热数据生命周期时，向与所述热数据对应的热数据分片发送分区全量数据迁移指令；
[0016]所述热数据分片，还用于响应于所述分区全量数据迁移指令，将与到达热数据生命周期的热数据对应的热数据分区并发全量迁移至对应的冷数据分片中。
[0017]可选地，所述计算节点集群，还用于在任一所述热数据的全量迁移过程中，接收针对所述热数据分片中的热数据的数据查询请求，并将该数据查询请求调度至与所述热数据对应的热数据分片；
[0018]所述热数据分片，还用于响应于所述数据查询请求，向所述计算节点集群返回数据查询响应。
[0019]可选地，所述总控组件，还用于获取数据变更日志，所述数据变更日志用于记录在所述热数据在全量迁移过程中的变更情况，向与所述热数据对应的热数据分片发送分区增量数据迁移指令；
[0020]所述热数据分片，还用于响应于所述分区增量数据迁移指令，将所述热数据在全量迁移过程中的变更数据并发迁移至对应的冷数据分片中。
[0021]可选地，所述总控组件，还用于在迁移至所述冷数据分片中的热数据与所述热数据分区中的热数据之间的差距小于预设阈值时，向所述计算节点集群发送数据迁移结束预通知，所述数据迁移结束预通知用于指示所述计算节点集群停止接收针对所述热数据的数据查询请求。
[0022]可选地，所述总控组件，还用于在所述热数据全量迁移至所述冷数据分片完成时，向所述计算节点集群发送分区迁移结束指令，所述分区迁移结束指令用于指示所述计算节点集群与所述热数据对应的热数据分区迁移结束。
[0023]可选地，所述总控组件，还用于在所述热数据全量迁移至所述冷数据分片完成时，更新冷热数据分片策略
[0024]本申请实施例提供的上述技术方案与现有技术相比具有如下优点：
[0025]本申请实施例通过在数据节点集群中设置热数据分片区域和冷数据分片区域，实现在一套数据库里同时处理在线库热数据和历史库冷数据，并且由于热数据分片区域对应的第一时间区间晚于所述冷数据分片区域对应的第二时间区间，所以能够实现自动进行冷热数据的隔离。
附图说明
[0026]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本专利技术的实施例，并与说明书一起用于解释本专利技术的原理。
[0027]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0028]图1为本申请实施例提供的一种分布式数据库的结构图；
[0029]图2为本申请实施例提供的一种冷热数据切换迁移流程图。
具体实施方式
[0030]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0031]图1为本申请实施例提供的一种分布式数据库，所述分布式数据库包括：计算节点集群和数据节点集群；
[0032]所述计算节点集群，用于接收数据访问请求，所述数据访问请求中携带请求访问的冷数据和/或热数据对应的时间信息，根据所述时间信息将所述数据访问请求调度至所述数据节点集群中对应的热数据分片和/或冷数据分片；
[0033]本申请实施例中的计算节点集群，负责执行具有时间特征的冷热数据多层次数据分片策略，能将业务的SQL访问自动路由到热数据分片区域、冷数据分片区域或跨区域。
[0034]本申请实施例中，计算节点可从时间维度定义冷热数据多层次分片策略，该规则将数据节点集群分为在线数据分片区域(即热数据分片区域，用来存放热数据)及历史数据分片区(即冷数据分片区域，用来存放冷数据)，其中根据在线数据和历史数据的访问的不同时间特征，可以从物理上进行隔离和区别配置，实现最佳性价比；进一步的，每个数据分片区内可根据业务表的其他特征进行第二层分片策略设置。在线数据分片区域的若干数据分片可共同为提供数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式数据库，其特征在于，包括：计算节点集群和数据节点集群；所述计算节点集群，用于接收数据访问请求，所述数据访问请求中携带请求访问的冷数据和/或热数据对应的时间信息，根据所述时间信息将所述数据访问请求调度至所述数据节点集群中对应的热数据分片和/或冷数据分片；所述数据节点集群包括热数据分片区域和冷数据分片区域，所述热数据分片区域对应的第一时间区间晚于所述冷数据分片区域对应的第二时间区间，所述热数据分片区域中的各热数据分片用于存储所述第一时间区间对应的热数据，所述冷数据分片区域中的不同冷数据分片对应不同的时间段，所述数据节点集群中的热数据分片和/或冷数据分片，用于响应于所述数据访问请求，向所述计算节点集群返回结果集响应。2.根据权利要求1所述的分布式数据库，其特征在于，每个所述热数据分片中按照时间维度划分为多个热数据分区，不同所述热数据分区对应相同或不同的时间范围。3.根据权利要求1所述的分布式数据库，其特征在于，若待写入所述热数据分片的热数据所对应的时间信息位于所述第一时间区间外，所述数据节点集群还用于在所述热数据分片中增加新的热数据分区，待写入的所述热数据所对应的时间信息位于所述新的热数据分区对应的时间范围内。4.根据权利要求1所述的分布式数据库，其特征在于，当任一所述热数据分片的容量超过预设容量阈值时，所述数据节点集群还用于对所述热数据分片进行扩容；或者，当所述冷数据分片区域需要扩容时，所述数据节点集群还用于在冷热数据分片策略中为所述冷数据分片区域新增冷数据分片。5.根据权利要求1所述的分布式数据库，其特征在于，还包括：总控组件；所述总控组件，用于在检测到任一热数据分片中的热数据到达热数据生命周期时，向与所述热数据对应的热数据分片...

【专利技术属性】
技术研发人员：邹海丽，张鹏，张丽，
申请(专利权)人：金篆信科有限责任公司，
类型：发明
国别省市：