一种数据分片分表自主扩展系统及方法技术方案

技术编号:42665239 阅读:22 留言:0更新日期:2024-09-10 12:21
本发明专利技术公开一种数据分片分表自主扩展系统及方法,涉及数据处理技术领域,旨在解决现有的分片分表技术主要依赖于人工配置和管理导致增加运维成本的问题,系统包括:数据分片策略自动调整模块,分析数据访问模式,调整分片情况,自动调整和优化分片策略;数据动态迁移模块,采用智能调度算法对数据进行迁移,并对迁移过程进行实时监控;负载均衡模块,获取各数据库节点的性能指标,动态调整请求路由策略,针对负载不均衡情况重新分配数据。还包括相应的方法;本发明专利技术能够根据数据量和访问模式自动调整分片策略,并实现数据的动态迁移和负载均衡,从而提高数据处理的效率和系统的扩展性。

【技术实现步骤摘要】

本专利技术涉及数据处理,具体涉及一种数据分片分表自主扩展系统及方法


技术介绍

1、目前,在数据处理或者管理系统中,为了解决单一数据库的性能瓶颈问题,通常采用分片分表的方式来提升系统的扩展性和处理能力;分片分表技术通过将数据按照一定的规则分散存储在多个数据库节点上,实现了数据的水平切分,垂直拆分,从而提高了系统的处理能力和存储容量。

2、然而,现有的分片分表技术主要依赖于人工配置和管理,当数据量增长或者业务需求变化时,需要人工进行分片策略的调整和数据迁移,用户数据量或日志记录数据量持续增加时,需要人工对数据进行分片(即用户数据水平分片,日志数据垂直分片),这不仅增加了运维成本,而且难以满足实时性和自动化的需求。


技术实现思路

1、本专利技术解决了现有的分片分表技术主要依赖于人工配置和管理导致增加运维成本的问题,提出一种数据分片分表自主扩展系统及方法,能够根据数据量和访问模式自动调整分片策略,并实现数据的动态迁移和负载均衡,从而提高数据处理的效率和系统的扩展性。

2、为了实现上述目的,本本文档来自技高网...

【技术保护点】

1.一种数据分片分表自主扩展系统,其特征在于,包括:

2.根据权利要求1所述的一种数据分片分表自主扩展系统,其特征在于,所述数据分片策略自动调整模块包括:

3.根据权利要求1或2所述的一种数据分片分表自主扩展系统,其特征在于,所述数据动态迁移模块包括智能迁移单元,所述智能迁移单元采用增量迁移和双写技术启动数据迁移任务,并采用优先级队列和资源调度策略来优化迁移。

4.根据权利要求1或2所述的一种数据分片分表自主扩展系统,其特征在于,所述负载均衡模块包括:

5.根据权利要求1或2所述的一种数据分片分表自主扩展系统,其特征在于,还包括故障恢复与容...

【技术特征摘要】

1.一种数据分片分表自主扩展系统,其特征在于,包括:

2.根据权利要求1所述的一种数据分片分表自主扩展系统,其特征在于,所述数据分片策略自动调整模块包括:

3.根据权利要求1或2所述的一种数据分片分表自主扩展系统,其特征在于,所述数据动态迁移模块包括智能迁移单元,所述智能迁移单元采用增量迁移和双写技术启动数据迁移任务,并采用优先级队列和资源调度策略来优化迁移。

4.根据权利要求1或2所述的一种数据分片分表自主扩展系统,其特征在于,所述负载均衡模块包括:

5.根据权利要求1或2所述的一种数据分片分表自主扩展系统,其特征在于,还包括故障恢复与容错模块,所述故障恢复与容错模块在检测到节点故障或性能下降时,将自动切换到备用节点。

6.根据权利要求2所述的一种数据分片分表自主扩展系统,其特...

【专利技术属性】
技术研发人员:龙为超王宇杰祝新平孙文蒋伟杰申屠颖婷张娟娟王晓丽
申请(专利权)人:杭州易和互联软件技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1