业务数据的处理方法、处理装置及终端制造方法及图纸

本发明专利技术适用于计算机数据库技术领域，提供了一种业务数据的处理方法、处理装置、终端及计算机可读存储介质。其中，该处理方法应用于主从架构数据库系统，该处理方法包括：获取业务数据，并将本次获取的业务数据存入主节点数据库；监测系统状态，并根据所述系统状态进行从机写入决策；若从机写入决策的结果为不通过，则将本次获取的业务数据同时记录于预设存储区；若从机写入决策的结果为通过，则将本次获取的业务数据和记录于预设存储区的业务数据均同步到从节点数据库。本发明专利技术能够实现主从架构数据库系统中主节点和从节点的数据同步，保障了主从架构数据库系统集群服务的鲁棒性。

【技术实现步骤摘要】
业务数据的处理方法、处理装置及终端
本专利技术属于计算机数据库
，尤其涉及一种业务数据的处理方法、处理装置、终端及计算机可读存储介质。
技术介绍
InfluxDB是一个开源分布式时序、事件和指标数据库。使用Go语言编写，无需外部依赖。其设计目标是实现分布式和水平伸缩扩展。InfluxDB包括用于存储和查询数据，在后台处理ETL或监视和警报目的，用户仪表板以及可视化和探索数据等的API。然而，当前版本的Influxdb未提供原生的多节点数据同步方案，在主从或其他多节点的集群环境下进行节点切换时，将出现数据缺失，其中某个计算节点崩溃将导致本机InfluxDb数据不可逆的缺失，从而使得集群服务的鲁棒性无法得到保障；同时，已有的第三方同步方案大多存在资源抢占严重、同步粒度大、效率低的问题，并不适用于海量业务数据的复杂应用场景。
技术实现思路
有鉴于此，本专利技术提供了一种业务数据的处理方法、处理装置、终端及计算机可读存储介质，以解决现有的主从架构数据库系统中的可能发生的主从节点数据不同步，使得集群服务的鲁棒性无法得到保障的问题。本专利技术实施例的第一方面提供了一种业务数据的处理方法，应用于主从架构数据库系统中，所述处理方法包括：获取业务数据，并将本次获取的业务数据存入主节点数据库；监测系统状态，并根据所述系统状态进行从机写入决策；若从机写入决策的结果为不通过，则将本次获取的业务数据同时记录于预设存储区；若从机写入决策的结果为通过，则将本次获取的业务数据和记录于预设存储区的业务数据均同步到从节点数据库。基于第一方面，在第一方面第一种可能的实现方式中，所述主节点的系统状态包括系统负载率、网络拥堵率和记录于预设存储区的业务数据的数据容量；相应的，所述根据所述系统状态进行从机写入决策包括：若所述系统状态满足第一预设条件、第二预设条件和第三预设条件之中的至少一个，则判定从机写入决策通过，否则，判定从机写入决策不通过；其中，所述第一预设条件包括所述系统负载率小于预设负载率阈值，所述第二预设条件包括所述网络拥堵率小于预设拥堵率阈值，所述第三预设条件包括所述数据容量大于预设数据容量阈值。基于第一方面或第一方面第一种可能的实现方式，在第二种可能的实现方式中，在将记录于预设存储区的业务数据同步到从节点数据库之后还包括：删除记录于预设存储区的业务数据。基于第一方面或第一方面第一种可能的实现方式，，在第三种可能的实现方式中，在所述根据所述系统状态进行从机写入决策之前还包括：监测从节点的运行状态；相应的，所述根据所述系统状态进行从机写入决策包括：在从节点的运行状态为正常时，根据所述系统状态进行从机写入决策；在从节点的运行状态为异常时，停止进行从机写入决策。基于第一方面第三种可能的实现方式，在第四种可能的实现方式中，所述处理方法还包括：在从节点的运行状态为异常时，根据从节点的运行状态为异常的开始时间生成对应该从节点的第一时间快照；在从节点的运行状态由异常恢复为正常时，生成对应该从节点的第二时间快照，并将所述第一时间快照和所述第二时间快照之间的时间段对应的业务数据从主节点数据库的恢复至从节点数据库。基于第一方面第三种可能的实现方式，在第五种可能的实现方式中，所述监测从节点的运行状态包括：定时向从节点发送监测报文；若在指定的延迟时间内收到从节点对所述监测报文的回复，则从节点的运行状态为正常；若未在指定的延迟时间内收到从节点对所述监测报文的回复，则从节点的运行状态为异常。基于第一方面第四种可能的实现方式，在第六种可能的实现方式中，所述将所述第一时间快照和所述第二时间快照之间的时间段对应的业务数据从主节点数据库的恢复至从节点数据库包括：对所述第一时间快照与所述第二时间快照之间的时间段进行切片，得到多个时间切片；每次恢复一个时间切片对应的主节点数据库的业务数据，直至所有时间切片对应的主节点数据库的业务数据恢复完成。本专利技术实施例的第二方面提供了一种业务数据的处理装置，应用于主从架构数据库系统，所述处理装置包括：数据获取单元，用于获取业务数据，并将本次获取的业务数据存入主节点数据库；写入决策单元，用于监测系统状态，并根据所述系统状态进行从机写入决策；数据缓存单元，用于若从机写入决策的结果为不通过，则将本次获取的业务数据同时记录于预设存储区；数据同步单元，用于若从机写入决策的结果为通过，则将本次获取的业务数据和记录于预设存储区的业务数据均同步到从节点数据库。本专利技术实施例的第三方面提供了一种终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如任一项所述业务数据的处理方法的步骤。本专利技术实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如任一项所述业务数据的处理方法的步骤。本专利技术与现有技术相比存在的有益效果是：本专利技术应用于主从架构数据库系统，在每次获取到业务数据时，一方面，将本次获取的业务数据存入主节点数据库，另一方面根据监测到的系统状态进行从机写入决策；在从机写入决策的结果为不通过时，将本次获取的业务数据同时记录于预设存储区，并等待下一次从机写入结果；在从机写入决策的结果为通过时，将本次获取的业务数据和记录于预设存储区的业务数据均同步到从节点数据库。本专利技术一方面引入了基于主节点系统状态的从机写入决策机制，有利于避免从机写入过程影响主节点，另一方面利用预设存储区实现从机的业务数据同步，避免从主节点数据库向从节点数据库进行业务数据的同步时还需要进行数据查询操作，使得同步过程耗时长的问题，保障了较快的数据同步速度。可见，本专利技术能够实现主从架构数据库系统中主节点和从节点的数据同步，保障了主从架构数据库系统集群服务的鲁棒性。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的业务数据的处理方法的一个实现流程图；图2是本专利技术实施例提供的业务数据的处理装置的结构示意图；图3是本专利技术实施例提供的终端的示意图。具体实施方式以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本专利技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本专利技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本专利技术的描述。为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图通过具体实施例来进行说明。...

【技术保护点】
1.一种业务数据的处理方法，其特征在于，应用于主从架构数据库系统，所述处理方法包括：/n获取业务数据，并将本次获取的业务数据存入主节点数据库；/n监测系统状态，并根据所述系统状态进行从机写入决策；/n若从机写入决策的结果为不通过，则将本次获取的业务数据同时记录于预设存储区；/n若从机写入决策的结果为通过，则将本次获取的业务数据和记录于预设存储区的业务数据均同步到从节点数据库。/n

【技术特征摘要】
1.一种业务数据的处理方法，其特征在于，应用于主从架构数据库系统，所述处理方法包括：
获取业务数据，并将本次获取的业务数据存入主节点数据库；
监测系统状态，并根据所述系统状态进行从机写入决策；
若从机写入决策的结果为不通过，则将本次获取的业务数据同时记录于预设存储区；
若从机写入决策的结果为通过，则将本次获取的业务数据和记录于预设存储区的业务数据均同步到从节点数据库。


2.如权利要求1所述的业务数据的处理方法，其特征在于，所述主节点的系统状态包括系统负载率、网络拥堵率和记录于存储区的业务数据的数据容量；
相应的，所述根据所述系统状态进行从机写入决策包括：
若所述系统状态满足第一预设条件、第二预设条件和第三预设条件之中的至少一个，则判定从机写入决策通过，否则，判定从机写入决策不通过；
其中，所述第一预设条件包括所述系统负载率小于预设负载率阈值，所述第二预设条件包括所述网络拥堵率小于预设拥堵率阈值，所述第三预设条件包括所述数据容量大于预设数据容量阈值。


3.如权利要求1或2所述的业务数据的处理方法，其特征在于，在将记录于预设存储区的业务数据同步到从节点数据库之后还包括：
删除记录于预设存储区的业务数据。


4.如权利要求1或2所述的业务数据的处理方法，其特征在于，在所述根据所述系统状态进行从机写入决策之前还包括：
监测从节点的运行状态；
相应的，所述根据所述系统状态进行从机写入决策包括：
在从节点的运行状态为正常时，根据所述系统状态进行从机写入决策；
在从节点的运行状态为异常时，停止进行从机写入决策。


5.如权利要求4所述的业务数据的处理方法，其特征在于，所述处理方法还包括：在从节点的运行状态为异常时，根据从节点的运行状态为异常的开始时间生成对应该从节点的第一时间快照；
在从节点的运行状态由异常恢复为正常时，生成对应该从节点的...

【专利技术属性】
技术研发人员：魏鑫，梁任选，周静平，
申请(专利权)人：厦门科灿信息技术有限公司，科华数据股份有限公司，
类型：发明
国别省市：福建;35