【技术实现步骤摘要】
一种大容量数据表的动态分表方法及系统
本专利技术涉及计算机数据库分表
,尤其涉及一种大容量数据表的动态分表方法及系统。
技术介绍
随着信息化社会的到来,全球数据的规模以一种爆炸式的形式快速增长,伴随着产生的海量数据,一方面是传统数据处理方式已经无法满足如此大规模数据量的情况下进行快速分析处理;另一方面是在这海量数据中存在的宝贵数据价值亟待挖掘。而在这一背景下,如何实现大数据的快速分析查询是本领域亟待解决的一个技术问题,主要包括以下两方面:1、大数据平台中数据的存储管理方式多种多样,如何设计一个能够适应大多数业务需求,并且以尽可能少的存储空间进行存储,同时设计能够支持快速分析的数据结构也是一个难点;2、针对许多大数据分析工具高延时的特点,如何能够对其进行一定程度的处理使其能够以较少的代价获得实时分析查询的能力也依然值得研究。在实际应用中,比如在超大规模、超高维度的数据仓库上执行复杂的数据查询时,查询响应时间会影响到用户的体验,必须满足交互环境的需要。公开号为CN103631959A的专利文献公开了“一种基于Hash算法支持千万用户数据分表方法”,该本专利技术公 ...
【技术保护点】
一种大容量数据表的动态分表方法,其特征在于,包括步骤:S1.建立数据表,并向数据表内存入数据;S2.定期检查数据表内存入的数据量是否达到预设门限值,对数据量达到预设门限值的数据表执行分表操作;S3.向新的数据表内存入数据,并返回步骤S2。
【技术特征摘要】
1.一种大容量数据表的动态分表方法,其特征在于,包括步骤:S1.建立数据表,并向数据表内存入数据;S2.定期检查数据表内存入的数据量是否达到预设门限值,对数据量达到预设门限值的数据表执行分表操作;S3.向新的数据表内存入数据,并返回步骤S2。2.如权利要求1所述的一种大容量数据表的动态分表方法,其特征在于,步骤S2中,在检查不同数据表内存入的数据量是否达到预设门限值时,不同数据表的预设门限值相同或不同。3.如权利要求1所述的一种大容量数据表的动态分表方法,其特征在于,步骤S2中,所述预设门限值为非固定值。4.如权利要求1所述的一种大容量数据表的动态分表方法,其特征在于,步骤S2中,对数据量达到预设门限值的数据表执行分表操作具体为:S21.根据数据量达到预设门限值的第一数据表,创建两个新的子表:第二数据表及第三数据表;S22.将所述第一数据表内的数据转移至第二数据表及第三数据表;S23.删除所述第一数据表。5.如权利要求4所述的一种大容量数据表的动态分表方法,其特征在于,步骤S21之前还包括:创建用于保存分表信息的记录表;当对数据量达到预设门限值的数据表执行分表操作,更新所述记录表内保存的分表信息。6.如权利要求1所述的一种大容...
【专利技术属性】
技术研发人员:郑晟,
申请(专利权)人:上海斐讯数据通信技术有限公司,
类型:发明
国别省市:上海,31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。