一种数据分片方法技术

技术编号:36208081 阅读:31 留言:0更新日期:2023-01-04 12:03
本发明专利技术提供的一种数据分片方法,包括数据库分区和业务层分区;其中数据库分区将表的数据均衡分摊到不同的硬盘,系统或是不同服务器存储介子中;将数据分散存储到多个数据库中,使得单一数据库中的数据量变小,通过扩充主机的数量突破单节点数据库的性能限制,解决数据库扩展性问题,减少数据库的负担,缩短查询时间,从而达到提升数据库操作性能的目的。业务层分区包括分表、分库两种方式,分表把数据库当中数据根据按照分库原则分到多个数据表当中,就把大表变成多个小表,不同的分表中数据不重复,提高处理效率。提高处理效率。提高处理效率。

【技术实现步骤摘要】
一种数据分片方法


[0001]本专利技术涉及数据监管领域,尤其涉及一种数据分片方法。

技术介绍

[0002]在大数据时代,随着业务数量的暴增和应用规模的不断扩大,关系型数据库本身比较容易成为系统性能瓶颈,单机存储容量、连接数、处理能力等都很有限,都会面临服务器CPU、磁盘IO和内存的各种瓶颈问题。当单表的数据量达到1000W或100G以后,由于查询维度较多,即使添加从库、优化索引,做很多操作时性能仍下降严重。数据库本身的“有状态性”导致了它并不像Web和应用服务器那么容易扩展。

技术实现思路

[0003]鉴于上述问题,提出了本专利技术以便提供克服上述问题或者至少部分地解决上述问题的一种数据分片方法。
[0004]根据本专利技术的一个方面,提供了一种数据分片方法包括:数据库分区和业务层分区;
[0005]所述数据库分区是将表的数据均衡分摊到不同的硬盘,系统和/或是不同服务器存储介子中;
[0006]所述业务层分区是将大数据库分布到多个物理节点上的一个分区方案。
[0007]可选的,所述业务层分区包括本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据分片方法,其特征在于,所述分片方法包括:数据库分区和业务层分区;所述数据库分区是将表的数据均衡分摊到不同的硬盘,系统和/或是不同服务器存储介子中;所述业务层分区是将大数据库分布到多个物理节点上的一个分区方案。2.根据权利要求1所述的一种数据分片方法,其特征在于,所述业务层分区包括:分表和分库两种方式;所述分表为把数据库当中数据根据按照分库原则分到多个数据表中;所述分库为将数据分片,采用类似分布式数据库理论指导的方法实现,对...

【专利技术属性】
技术研发人员:王金贺刘明伟任昊文刘竹青
申请(专利权)人:南方电网数字电网研究院有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1