数据分库方法及系统技术方案

本申请公开一种数据分库方法及系统，包括：配置中心监听多个数据库的工作状态，并在监听到任一数据库处于异常状态时，将任一数据库的容灾配置项修改为第一容灾状态；应用系统监听到任一数据库的容灾配置项被修改为第一容灾状态后，当存在与任一数据库匹配的待存储数据时，对待存储数据添加容灾标识；数据分类系统获取到附带容灾标识的待存储数据后，将待存储数据存储至容灾数据库中。通过应用系统将与异常状态的数据库匹配的待存储数据中添加容灾标识，数据分类系统将带有容灾标识的待存储数据存储至容灾数据库，使得与处于异常状态的数据库匹配的待存储数据也能被正常存储，应用系统正常运行，不造成数据丢失和系统瘫痪，提高了数据分库可靠性。提高了数据分库可靠性。提高了数据分库可靠性。

【技术实现步骤摘要】
数据分库方法及系统


[0001]本专利技术涉及计算机
，特别涉及一种数据分库方法及系统。

技术介绍

[0002]数据库是“按照数据结构来组织、存储和管理数据的仓库”，是一个长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合。随着存储的数据量增多，不仅数据库的占用空间变大，且读取数据的速度也会变慢，因此需要将数据库分散存储到多个数据分库中，使得单一数据分库中的数据量变小，从而达到提升数据库操作性能的目的。数据库拆分主要有三种方式：分库、分表和分库分表。
[0003]分库分表是比较常见的数据库拆分方法，目前常见的数据库分库分表是采用分库分表组件实现的。但是使用分库分表组件进行拆分时如果出现了数据库宕机或者数据库异常的场景，就只能返回异常结果和数据库错误信息。这样的策略会产生以下几点问题：(1)当出现数据分库宕机或数据分库异常的情况，数据写入失败，会造成一些数据丢失。(2)一旦出现数据分库宕机或数据库异常的情况，直到数据库恢复，这段时间整个系统处于瘫痪状态，严重影响系统的高可用性。(3)数据库恢复后，丢失的数据还需要根据请求日志，人工手动恢复，并不能保证恢复数据的准确性和安全性。
[0004]因此，亟需一种数据分库方法在数据库宕机或异常时，不造成整个系统的瘫痪及数据丢失，在数据库恢复后能自动恢复数据，且保证恢复数据的准确性和安全性。

技术实现思路

[0005]有鉴于此，本专利技术提供了一种数据分库方法及系统，主要目的在于解决目前进行数据分库，当数据库处于宕机或异常状态，致使整个系统瘫痪，造成数据丢失，在数据库恢复后需手动恢复数据，且不能保证恢复数据的准确性和安全性的问题。
[0006]根据本申请的一个方面，提供了一种数据分库方法，该方法包括：
[0007]配置中心监听多个数据库的工作状态，并在监听到任一数据库处于异常状态时，所述配置中心将所述任一数据库的容灾配置项修改为第一容灾状态；
[0008]应用系统监听到所述任一数据库的容灾配置项被修改为所述第一容灾状态后，当存在与所述任一数据库匹配的待存储数据时，对所述待存储数据添加容灾标识，并下发至数据分类系统；
[0009]所述数据分类系统获取到附带所述容灾标识的所述待存储数据后，将所述待存储数据存储至预设的容灾数据库中。
[0010]根据本申请的另一个方面，提供了一种数据分库系统，包括：数据分类系统、配置中心和应用系统，
[0011]所述配置中心，用于监听多个数据库的工作状态，并在监听到任一数据库处于异常状态时，将所述任一数据库的容灾配置项修改为第一容灾状态；
[0012]所述应用系统，用于监听到所述任一数据库的容灾配置项被修改为所述第一容灾
状态后，当存在与所述任一数据库匹配的待存储数据时，对所述待存储数据添加容灾标识，并下发至数据分类系统；
[0013]所述数据分类系统，用于获取到附带所述容灾标识的所述待存储数据后，将所述待存储数据存储至预设的容灾数据库中。
[0014]借由上述技术方案，本申请提供的一种数据分库方法及系统，通过配置中心监听到任一数据库处于异常状态，将处于异常状态的数据库的容灾配置项修改为第一容灾状态，应用系统将与异常状态的数据库匹配的待存储数据中添加容灾标识，并将添加容灾标识后的待存储数据发送至数据分类系统，数据分类系统将带有容灾标识的待存储数据存储至容灾数据库，使得与处于异常状态的数据库匹配的待存储数据也能被正常存储，应用系统正常运行，无需等待处于异常状态的数据库的响应，不造成数据的丢失和系统的瘫痪，提高了数据分库的运行性和可靠性。
[0015]本申请提供的一种数据分库方法及系统，通过配置中心发送恢复数据通知至数据分类系统，数据分类系统从容灾数据库中提取与恢复的数据库处于异常状态时匹配的数据并存储到该恢复的数据库中，使得在数据库处于异常状态时数据也被正常存储，且在数据库恢复后，数据库处于异常状态时被存储的数据通过自动方式恢复，没有造成数据库异常时数据的丢失，不用手工恢复数据，保证恢复数据的准确性和安全性。
[0016]上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。
附图说明
[0017]通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
[0018]图1示出了本申请实施例提供的一种数据分库方法的流程图；
[0019]图2示出了本申请实施例提供的另一种数据分库方法的流程图；
[0020]图3示出了本申请实施例提供的一种数据分库方法的数据库A异常时的分库流程图；
[0021]图4示出了本申请实施例提供的一种数据分库方法的数据库A恢复时的分库流程图；
[0022]图5示出了本申请实施例提供的一种数据分库系统的结构连接示意图。
[0023]图中：1
‑
数据分类系统；2
‑
配置中心；3
‑
应用系统；4
‑
数据库；5
‑
容灾数据库。
具体实施方式
[0024]下文中将参考附图并结合实施例来详细说明本专利技术。需要说明的是，在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。
[0025]为更进一步阐述本专利技术为达成预定专利技术目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本专利技术申请的具体实施方式、结构、特征及其功效，详细说明如后。在下述说明中，不同的“一实施例”或“实施例”指的不一定是同一实施例。此外，一或多
个实施例中的特定特征、结构、或特点可由任何合适形式组合。
[0026]针对目前进行数据分库，当数据库宕机或异常时，整个系统处于瘫痪状态，造成数据丢失的问题，本申请实施例提供了一种数据分库方法，如图1所示，该方法包括：
[0027]102：配置中心监听多个数据库的工作状态，并在监听到任一数据库处于异常状态时，配置中心将任一数据库的容灾配置项修改为第一容灾状态；
[0028]104：应用系统监听到任一数据库的容灾配置项被修改为第一容灾状态后，当存在与任一数据库匹配的待存储数据时，对待存储数据添加容灾标识，并下发至数据分类系统；
[0029]106：数据分类系统获取到附带容灾标识的待存储数据后，将待存储数据存储至预设的容灾数据库中。
[0030]具体的，在对上述数据分库方法进行说明之前，首先对数据分库做简单介绍。随着单个数据库中的数据量越来越大、数据库的访问率越来越高，相应的，对数据库的读写所需要的时间也越来越长，数据库的读写性能受到限制，此时就需要做数据库性能方面的优化，例如将单个数据库拆分为多个数据分库。...

【技术保护点】

【技术特征摘要】
1.一种数据分库方法，其特征在于，包括：配置中心监听多个数据库的工作状态，并在监听到任一数据库处于异常状态时，所述配置中心将所述任一数据库的容灾配置项修改为第一容灾状态；应用系统监听到所述任一数据库的容灾配置项被修改为所述第一容灾状态后，当存在与所述任一数据库匹配的待存储数据时，对所述待存储数据添加容灾标识，并下发至数据分类系统；所述数据分类系统获取到附带所述容灾标识的所述待存储数据后，将所述待存储数据存储至预设的容灾数据库中。2.如权利要求1所述的数据分库方法，其特征在于，所述待存储数据包括数据、数据对应的数据库和数据对应的数据库容灾标识，所述对所述待存储数据添加容灾标识，包括：将所述数据对应的数据库容灾标识修改为处于第二容灾状态。3.如权利要求2所述的数据分库方法，其特征在于，所述数据分类系统获取到附带所述容灾标识的所述待存储数据后，将所述待存储数据存储至预设的容灾数据库中，包括：所述数据分类系统对所述待存储数据进行解析，获得数据、数据对应的数据库和数据对应的数据库容灾标识，当所述数据对应的数据库容灾标识为处于第二容灾状态时，将所述数据存储至所述预设的容灾数据库中。4.如权利要求2所述的数据分库方法，其特征在于，所述数据库的工作状态包括异常状态、恢复状态和正常状态，所述配置中心监听多个数据库的工作状态，包括：所述数据分类系统获取其与多个数据库的通信状态，将所述通信状态推送至所述配置中心；所述配置中心根据所述通信状态确定每个数据库的工作状态。5.如权利要求4所述的数据分库方法，其特征在于，当所述配置中心确定任一数据库处于恢复状态时，将恢复的数据库的容灾配置项修改为不处于第一容灾状态并下发数据恢复通知至所述数据分类系统；应用系统监听到恢复的数据库的容灾配置项被修改为不处于第一容灾状态后，将与所述恢复的数据库匹配的待存储数据中的数据库容灾标识修改为不处于第二容灾状态，并下发至数据分类系统；数据分类系统对...

【专利技术属性】
技术研发人员：蒲兆楠，
申请(专利权)人：平安付科技服务有限公司，
类型：发明
国别省市：