【技术实现步骤摘要】
数据分库处理方法、系统、装置和存储介质
本专利技术涉及数据处理领域，具体而言，涉及一种数据分库处理方法、系统、装置和存储介质。
技术介绍
互联网时代，也是关系型数据库独领风骚的时代，从早期的Oracle独步天下，到现在MySQL蒸蒸日上，关系型数据库是大多数互联网应用在数据可靠性存储上的“命脉”。随着互联网产品在体量和规模上日益膨胀，无论是Oracle还是MySQL，都会第一时间面临来自磁盘、CPU和内存等单机瓶颈，为此，产品方除了需要不断购买成本难以控制的高规格服务器，还要面临不断迭代的在线数据迁移。在这种情况下，无论是海量的结构化数据还是快速成长的业务规模，都迫切需要一种水平扩展的方法将存储成本分摊到成本可控的商用服务器上。同时，也希望通过线性扩容降低全量数据迁移对线上服务带来的影响：(1)大数据量的存储需要大量的数据库资源；(2)数据量的不断增长要求数据库存储具有可扩展性；(3)在保证大数据量的情况下，要保证性能、高可用性等质量要求；(4)现有框架中没有彻底解决大数据量的存储问题。尽管现有技术中也试图通过多种技术手段解决改善，但是却无法有效解决上述问题。专利...
【技术保护点】
1.一种数据分库处理方法，其特征在于，所述方法包括：根据数据库中数据业务类型，对所述数据库进行垂直切分处理，得到多个切分库；对所述多个切分库内表格的数据量和增速进行数据分析，并判断是否需要进行水平切分；若需要进行所述水平切分，则对所述多个切分库进行水平切分。
【技术特征摘要】
1.一种数据分库处理方法，其特征在于，所述方法包括：根据数据库中数据业务类型，对所述数据库进行垂直切分处理，得到多个切分库；对所述多个切分库内表格的数据量和增速进行数据分析，并判断是否需要进行水平切分；若需要进行所述水平切分，则对所述多个切分库进行水平切分。2.如权利要求1所述方法，其特征在于，所述判断是否需要进行水平切分包括：若所述切分库内表格的数据增长速度达到预定阈值，则判断为需要进行水平切分；若所述切分库内表格的数据增长速度未达到预定阈值，则判断为不需要进行水平切分。3.如权利要求1所述方法，其特征在于，对所述多个切分库进行水平切分包括：依据业务逻辑和表间关系，将每个切分库再切分为多个小切分库。4.如权利要求3所述方法，其特征在于，所述水平切分后还包括：根据所述多个小切分库中的用户编号信息进行哈希分库分表处理。5.一种数据分库处理系统，其特征在于，所述系统包括：垂直切分模块，用于根据数据库中数据业务类型，对所述数据库进行垂直切分处理，得到多个切分库；分析判断模块，用于对所述多个切分库内表格的数据量和增速进行数据分析，并判断是否需要进行...
【专利技术属性】
技术研发人员：范雄健，程明远，苏贤杰，陈大平，黄瑾，范玄，周小聪，
申请(专利权)人：中国建设银行股份有限公司，
类型：发明
国别省市：北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。