mySQL数据分片处理方法、装置、计算机设备和可读存储介质制造方法及图纸

技术编号:24853193 阅读:32 留言:0更新日期:2020-07-10 19:07
本申请涉及一种mySQL数据分片处理方法、装置、计算机设备和计算机可读存储介质,该方法通过分库分表中间件结合数据库系统实现了数据的灵活存、负载均衡和自动上下线,通过读写分离中间件解决了不支持读写分离以及不支持平滑扩容迁移的问题,通过主库高可用中间件解决不支持mySQL高可用的问题,实现了mySQL数据能够读写分离和mysql高可用、支持负载均衡和自动上下线、支持无缝扩容迁的移分片处理。

【技术实现步骤摘要】
mySQL数据分片处理方法、装置、计算机设备和可读存储介质
本申请涉及数据库领域,特别是涉及mySQL数据分片处理方法、装置、计算机设备和计算机可读存储介质。
技术介绍
MySQL作为一种主流的关系型数据库,在互联网行业广泛应用,随着业务需求越来越复杂,数据量越来越大,对于mySQL存储以及数据访问的要求越来越高,一种比较可行的方案就是对mySQL大表进行分片处理。然而,相关技术中,通过客户端模式实现分库分表,不具有读写分离和高可用功能,也不具有负载均衡和自动上下线功能;而通过服务端模式实现分库分表,也需要通过中间件代理或者需要支持mySQL协议的一套软件系统来实现分库分表,由于架构复杂,性能较低,维护难度大,应用场景受限,只适合少部分离线业务。目前针对相关技术中mySQL数据分片处理无法兼顾读写分离、mySQL高可用、负载均衡和自动上下线,以及平滑扩容迁移的问题,尚未提出有效的解决方案。
技术实现思路
本申请实施例提供了一种mySQL数据分片处理方法、装置、计算机设备和计算机可读存储介质,以至少解决相关技术本文档来自技高网...

【技术保护点】
1.一种mySQL数据分片处理方法,其特征在于,所述方法包括:/n在进行读写操作时,根据分库分表策略获取分片连接,并通过所述分片连接将数据通过读写分离中间件写入mySQL主库,或者通过读写分离中间件从mySQL从库中读取数据,其中,所述分库分表策略配置于分库分表中间件中,所述分片连接由数据库系统提供,所述分片连接指示用于所述数据的读写分离中间件;/n所述数据库系统根据所述读写操作的数据量改变所述数据库系统中的可用连接数,其中,所述可用连接数量是同一时间所提供的所述分片连接的数量;/n在从库扩容指令被触发的情况系下,通过所述读写分离中间件进行mySQL从库扩容,在从库迁移指令被触发的情况下,通过...

【技术特征摘要】
1.一种mySQL数据分片处理方法,其特征在于,所述方法包括:
在进行读写操作时,根据分库分表策略获取分片连接,并通过所述分片连接将数据通过读写分离中间件写入mySQL主库,或者通过读写分离中间件从mySQL从库中读取数据,其中,所述分库分表策略配置于分库分表中间件中,所述分片连接由数据库系统提供,所述分片连接指示用于所述数据的读写分离中间件;
所述数据库系统根据所述读写操作的数据量改变所述数据库系统中的可用连接数,其中,所述可用连接数量是同一时间所提供的所述分片连接的数量;
在从库扩容指令被触发的情况系下,通过所述读写分离中间件进行mySQL从库扩容,在从库迁移指令被触发的情况下,通过所述读写分离中间件进行mySQL从库迁移;
在所述读写操作过程中,在检测到所述mySQL主库发生故障的情况下,主库高可用中间件触发选举以及迁移新mySQL主库。


2.根据权利要求1所述的mySQL数据分片处理方法,其特征在于,所述数据库系统根据所述读操作以及所述写操作的数据量改变所述数据库系统中的可用连接数包括:
在所述可用连接数小于预设的最大连接数,并且所述数据库系统中的第一连接数大于所述可用连接数的情况下,增加所述可用连接数至预设的第一阈值,其中,所述第一连接数为所述数据库系统中的待处理数据所需的连接数量;
在第二连接数小于所述可用连接数,并且,所述第二连接数大于预设的最小连接数的情况下,减少所述可用连接数至预设的第二阈值,其中,所述第二连接数为处理中数据所需的连接数量。


3.根据权利要求1所述的mySQL数据分片处理方法,其特征在于,在所述分库分表中间件为sharding-jdbc的情况下,所述sharding-jdbc接收数据处理指令,根据所述数据处理指令中预设的关键词以及所述分库分表策略,从所述数据库系统中获取分片连接,完成所述读写操作。


4.根据权利要求1所述mySQL数据分片处理方法,其特征在于,在所述读写分离中间件为proxysql的情况下,
在所述数据库系统中挂载多个proxysql服务,根据所述数据库系统的启动连接指令上线proxysql服务,或者根据所述数据库系统的断开连接指令下线proxysql服务;
在所述从库扩容指令被触发的情况下,在新服务器上启动新proxysql服务,并将所述新proxysql服务加载至所述数据库系统,在所述从库迁移指令被触发的情况下,在新服务器上启动新proxysql服务,并将所述新proxysql服务加载至所述数据库系统,并从所述数据库系统下线旧proxysql服务,在针对所述旧proxysql服务的数据交互请求结束后,下线所述旧proxysql服务。


5.根据权利要求1所述的mySQL数据分片处...

【专利技术属性】
技术研发人员:顾伟涛周游刘培锴曹彩鹏陈洪彬
申请(专利权)人:杭州浮云网络科技有限公司
类型:发明
国别省市:浙江;33

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1