【技术实现步骤摘要】
本专利技术涉及数据处理,具体涉及一种数据分片分表自主扩展系统及方法。
技术介绍
1、目前,在数据处理或者管理系统中,为了解决单一数据库的性能瓶颈问题,通常采用分片分表的方式来提升系统的扩展性和处理能力;分片分表技术通过将数据按照一定的规则分散存储在多个数据库节点上,实现了数据的水平切分,垂直拆分,从而提高了系统的处理能力和存储容量。
2、然而,现有的分片分表技术主要依赖于人工配置和管理,当数据量增长或者业务需求变化时,需要人工进行分片策略的调整和数据迁移,用户数据量或日志记录数据量持续增加时,需要人工对数据进行分片(即用户数据水平分片,日志数据垂直分片),这不仅增加了运维成本,而且难以满足实时性和自动化的需求。
技术实现思路
1、本专利技术解决了现有的分片分表技术主要依赖于人工配置和管理导致增加运维成本的问题,提出一种数据分片分表自主扩展系统及方法,能够根据数据量和访问模式自动调整分片策略,并实现数据的动态迁移和负载均衡,从而提高数据处理的效率和系统的扩展性。
2、
...【技术保护点】
1.一种数据分片分表自主扩展系统,其特征在于,包括:
2.根据权利要求1所述的一种数据分片分表自主扩展系统,其特征在于,所述数据分片策略自动调整模块包括:
3.根据权利要求1或2所述的一种数据分片分表自主扩展系统,其特征在于,所述数据动态迁移模块包括智能迁移单元,所述智能迁移单元采用增量迁移和双写技术启动数据迁移任务,并采用优先级队列和资源调度策略来优化迁移。
4.根据权利要求1或2所述的一种数据分片分表自主扩展系统,其特征在于,所述负载均衡模块包括:
5.根据权利要求1或2所述的一种数据分片分表自主扩展系统,其特征在于
...【技术特征摘要】
1.一种数据分片分表自主扩展系统,其特征在于,包括:
2.根据权利要求1所述的一种数据分片分表自主扩展系统,其特征在于,所述数据分片策略自动调整模块包括:
3.根据权利要求1或2所述的一种数据分片分表自主扩展系统,其特征在于,所述数据动态迁移模块包括智能迁移单元,所述智能迁移单元采用增量迁移和双写技术启动数据迁移任务,并采用优先级队列和资源调度策略来优化迁移。
4.根据权利要求1或2所述的一种数据分片分表自主扩展系统,其特征在于,所述负载均衡模块包括:
5.根据权利要求1或2所述的一种数据分片分表自主扩展系统,其特征在于,还包括故障恢复与容错模块,所述故障恢复与容错模块在检测到节点故障或性能下降时,将自动切换到备用节点。
6.根据权利要求2所述的一种数据分片分表自主扩展系统,其特...
【专利技术属性】
技术研发人员:龙为超,王宇杰,祝新平,孙文,蒋伟杰,申屠颖婷,张娟娟,王晓丽,
申请(专利权)人:杭州易和互联软件技术有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。