本发明专利技术公开了一种数据加载方法，包括：将要加载数据按照设置的数据划分策略划分成多个数据部分，并为所述多个数据部分分配不同的数据库节点；基于为所述多个数据部分分配的数据库节点将所述多个数据部分分别存储到多个本地缓存部分中，其中，所述多个本地缓存部分相互独立且每个本地缓存部分对应一个数据库节点；以及检测到所述多个本地缓存部分中的一个本地缓存部分存储的数据量达到或超过第一数据量阈值时，将该本地缓存部分中的数据加载到与该本地缓存对应的数据库节点中。本发明专利技术还公开了一种数据加载装置。采用本发明专利技术，可提高数据库集群系统中数据加载到数据库节点的性能。
【技术实现步骤摘要】
本专利技术涉及计算机数据处理
，更具体地，涉及一种数据加载装置、数据加载方法和数据库集群系统。
技术介绍
在数据库集群系统中，为了提高数据访问的性能，往往采用一定的划分策略将数据表分布到多个数据库节点上。因此在数据写入的时候，必须按照这些数据的划分策略，对数据进行划分并写入到相应的数据库中。常见的数据划分策略可以包括哈希Hash划分、范围Range划分、列表List划分和轮询Round划分。三种数据划分对查询处理和系统实现的比较如表I所示。表I三种数据划分方式的比较权利要求1.一种数据加载方法，包括将要加载数据按照设置的数据划分策略划分成多个数据部分，并为所述多个数据部分分配不同的数据库节点；基于为所述多个数据部分分配的数据库节点将所述多个数据部分分别存储到多个本地缓存部分中，其中，所述多个本地缓存部分相互独立且每个本地缓存部分对应一个数据库节点；检测到所述多个本地缓存部分中的一个本地缓存部分存储的数据量达到或超过第一数据量阈值时，将该本地缓存部分中的数据加载到与该本地缓存对应的数据库节点中。2.根据权利要求I所述的数据加载方法，其特征在于，所述数据划分策略包括哈希 Hash划分、范围Range划分或列表List划分。3.根据权利要求I所述的数据加载方法，其特征在于，所述数据加载方法还包括将所述多个数据部分存储到本地磁盘中；在每次数据加载服务启动时，检测所述本地磁盘中是否遗留有因之前数据加载装置或者数据库节点故障而加载失败的一个或多个数据部分；检测为是时，将所遗留的一个或多个数据部分加载到相对应的数据库节点中。4.根据权利要求I所述的数据加载方法，其特征在于，所述数据加载方法还包括 检测是否存在所述设置的数据划分策略，在检测为是时，将要加载数据按照设置的数据划分策略划分成多个数据部分；在检测为否时，采用默认的轮询划分策略将所述要加载数据划分成多个数据部分；采用轮询方式将所述多个数据部分中的每个数据部分依次存储到各数据库节点中；以及，在检测到一个数据库节点故障时，将应存储到该数据库节点的数据部分按照所述轮询方式存储到下一个数据库节点。5.根据权利要求I所述的数据加载方法，其特征在于，所述数据加载方法还包括 在检测到一个故障的数据库节点时，将应加载到所述故障的数据库节点的数据部分存储到本地磁盘中；在检测所述本地磁盘存储的应加载到所述故障的数据库节点的数据量达到或超过第二数据量阈值时，将应加载到所述故障的数据库节点的数据量加载到备份数据库节点；以及，在检测到所述故障的数据库节点已恢复时，将所述备份数据库节点中属于已恢复的数据库节点的数据量迁移到所述已恢复的数据库节点。6.一种数据加载装置，包括数据划分单元，用于将要加载数据按照设置的数据划分策略划分成多个数据部分，并为所述多个数据部分分配不同的数据库节点；数据加载单元，用于执行以下功能基于为所述多个数据部分分配的数据库节点将所述多个数据部分分别存储到多个本地缓存部分中，其中，所述多个本地缓存部分相互独立且每个本地缓存部分对应一个数据库节点；在检测到所述多个本地缓存部分中的一个本地缓存部分存储的数据量达到或超过第一数据量阈值时，将该本地缓存部分中的数据加载到与该本地缓存部分对应的数据库节点中。7.根据权利要求6所述的数据加载装置，其特征在于所述数据加载单元，还用于将所述多个数据部分存储到所述数据加载装置的本地磁盘中；在每次数据加载启动时，检测所述本地磁盘中是否遗留有因之前数据加载装置或节点故障而加载失败的一个或多个数据部分；检测为是时，将所遗留的一个或多个数据部分加载到相对应的数据库节点中。8.根据权利要求6所述的数据加载装置，其特征在于所述数据加载装置包括 所述数据划分单元，还用于检测是否存在所述设置的数据划分策略，在检测为是时，将要加载数据按照设置的数据划分策略划分成多个数据部分；在检测为否时，采用默认的轮询划分策略将所述要加载数据划分成多个数据部分；所述数据加载单元，还用于按照轮询方式将所述多个数据部分中的每个数据部分依次加载到各数据库节点中；故障检测单元，用于在检测到一个故障的数据库节点时，将故障指示发送给所述数据加载单元；所述数据加载单元，还用于根据所述故障指示将应加载到所述故障的数据库节点的数据部分按照所述轮询方式加载到下一个数据库节点。9.根据权利要求6所述的数据加载装置，其特征在于，所述数据加载装置还包括 故障检测单元，用于在检测到一个故障的数据库节点时，发送故障指示给所述数据加载单元；所述数据加载单元，还用于根据所述故障指示将应加载到所述故障的数据库节点的数据部分存储到本地磁盘中；以及在检测到所述本地磁盘存储的应加载到所述故障的数据库节点的数据量达到或超过第二数据量阈值时，将应加载到所述故障的数据库节点的数据加载到备份数据库节点；以及，数据迁移单元，用于在检测到所述故障的数据库节点已恢复时，将所述备份数据库节点中属于已恢复的数据库节点的数据迁移到所述已恢复的数据库节点。10.一种数据库集群系统，包括多个数据库节点和权利要求6至9任一项所述的数据加载装置。全文摘要本专利技术公开了一种数据加载方法，包括将要加载数据按照设置的数据划分策略划分成多个数据部分，并为所述多个数据部分分配不同的数据库节点；基于为所述多个数据部分分配的数据库节点将所述多个数据部分分别存储到多个本地缓存部分中，其中，所述多个本地缓存部分相互独立且每个本地缓存部分对应一个数据库节点；以及检测到所述多个本地缓存部分中的一个本地缓存部分存储的数据量达到或超过第一数据量阈值时，将该本地缓存部分中的数据加载到与该本地缓存对应的数据库节点中。本专利技术还公开了一种数据加载装置。采用本专利技术，可提高数据库集群系统中数据加载到数据库节点的性能。文档编号G06F17/30GK102938001SQ20121053040公开日2013年2月20日 申请日期2012年12月10日 优先权日2012年12月10日专利技术者宋怀明, 王颖, 苗艳超, 刘新春, 邵宗有 申请人:曙光信息产业(北京)有限公司本文档来自技高网...
【技术保护点】
一种数据加载方法，包括：将要加载数据按照设置的数据划分策略划分成多个数据部分，并为所述多个数据部分分配不同的数据库节点；基于为所述多个数据部分分配的数据库节点将所述多个数据部分分别存储到多个本地缓存部分中，其中，所述多个本地缓存部分相互独立且每个本地缓存部分对应一个数据库节点；检测到所述多个本地缓存部分中的一个本地缓存部分存储的数据量达到或超过第一数据量阈值时，将该本地缓存部分中的数据加载到与该本地缓存对应的数据库节点中。
【技术特征摘要】
【专利技术属性】
技术研发人员：宋怀明，王颖，苗艳超，刘新春，邵宗有，
申请(专利权)人：曙光信息产业北京有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。