一种数据处理方法、装置及电子设备和存储介质制造方法及图纸

本申请公开了一种数据处理方法、装置及设备和介质，包括：在当前中间业务系统发生异常之后，停止接收外围业务系统发送的业务处理请求；对当前中间业务系统异常期间的业务处理请求进行记录，将业务处理请求写入外围业务系统的预设文件中；在当前中间业务系统恢复正常后，确定预设文件中记录的增量业务数据；将增量业务数据按照业务处理请求的业务逻辑写入对应的数据库表中，并在写入完成后恢复接收外围业务系统发送的业务处理请求。本申请仅在将预设文件中记录的增量业务数据写入对应的数据库表，完成数据的恢复和同步之后，启动对于后续业务处理请求的接收，实现了在不影响后续交易的基础上恢复所有异常期间的数据，保证了数据的完整性和准确性。

A data processing method, device, electronic equipment and storage medium

【技术实现步骤摘要】
一种数据处理方法、装置及电子设备和存储介质
本申请涉及数据恢复
，更具体地说，涉及一种数据处理方法、装置及一种电子设备和一种计算机可读存储介质。
技术介绍
如今，互联网产品越来越注重可靠性，尤其是在生产环境中使用的系统，对高可用性都有一定的要求。熔断类似电力系统中的保险丝，当负载过大、或电路发生故障或异常时，电流会不断升高，为防止升高的电流有可能损坏电路中的某些重要器件或贵重器件，烧毁电路甚至造成火灾，保险丝会在电流异常升高到一定的高度和热度的时候，自身熔断切断电流，从而起到保护电路安全运行的作用。同样，在分布式系统中，如果调用的远程服务或者资源由于某种原因无法使用时，假如没有这种过载保护，就会导致请求的资源阻塞在服务器上等待从而耗尽系统或者服务器资源。刚开始可能仅仅是系统出现了局部的、小规模的故障，然而由于种种原因，故障影响的范围越来越大，最终可能会导致全局性的后果。而这种过载保护就是俗称的熔断。熔断机制在高可用场景中应用较多。为了保证中间系统的高可用，会在该系统服务不可用时，启用熔断机制，此时，发送到该系统的业务数据，会被切断。通常系统的高可用设计中，在所有服务不可用时，对中断期间的交易数据，仅采用记录机制。如何实现系统恢复后，在不影响后续交易的基础上恢复所有数据是本领域技术人员亟待解决的问题。
技术实现思路
本申请的目的在于提供一种数据处理方法、装置及一种电子设备和一种计算机可读存储介质，实现了在不影响后续交易的基础上恢复所有异常期间的数据，保证了数据的完整性和准确性。为实现上述目的，本申请提供了一种数据处理方法，包括：在当前中间业务系统发生异常之后，停止接收外围业务系统发送的业务处理请求；对所述当前中间业务系统异常期间的所述业务处理请求进行记录，将所述业务处理请求写入所述外围业务系统中的预设文件中；在所述当前中间业务系统恢复正常之后，确定所述预设文件中记录的增量业务数据；将所述增量业务数据按照所述业务处理请求的业务逻辑写入对应的数据库表中，并在写入完成后恢复接收所述外围业务系统发送的业务处理请求。可选的，所述确定所述预设文件中记录的增量业务数据，包括：获取所述预设文件中记录的所述业务处理请求的第一时间；获取所述数据库表中最后一次更新的第二时间；通过对比所述第一时间和所述第二时间，得到所述第一时间中比所述第二时间新的目标业务处理请求；将所述目标业务处理请求的数据确定为所述增量业务数据。可选的，所述确定所述预设文件中记录的增量业务数据之前，还包括：关闭缓存同步开关，禁止将缓存中的过期数据同步至所述数据库表中。可选的，在所述将所述增量业务数据按照所述业务处理请求的业务逻辑写入对应的数据库表中之后，还包括：对所述缓存进行清空操作，并在清空后将所述数据库表中保存的数据装载至所述缓存中；开启所述缓存同步开关，以便后续将所述缓存中的数据实时同步至对应的所述数据库表中。可选的，所述确定所述预设文件中记录的增量业务数据之后，还包括：若所述预设文件中不存在所述增量业务数据，则直接启动对所述缓存进行清空操作的步骤。可选的，还包括：实时监测所述当前中间业务系统的故障次数；若所述故障次数大于预设阈值，则判定所述当前中间业务系统发生异常。为实现上述目的，本申请提供了一种数据处理装置，包括：接收停止模块，用于在当前中间业务系统发生异常之后，停止接收外围业务系统发送的业务处理请求；请求记录模块，用于对所述当前中间业务系统异常期间的所述业务处理请求进行记录，将所述业务处理请求写入所述外围业务系统中的预设文件中；增量确定模块，用于在所述当前中间业务系统恢复正常之后，确定所述预设文件中记录的增量业务数据；数据写入模块，用于将所述增量业务数据按照所述业务处理请求的业务逻辑写入对应的数据库表中，并在写入完成后恢复接收所述外围业务系统发送的业务处理请求。可选的，还包括：开关关闭模块，用于在确定所述预设文件中记录的增量业务数据之前关闭缓存同步开关，禁止将缓存中的过期数据同步至所述数据库表中；缓存清空模块，用于在将所述增量业务数据按照所述业务处理请求的业务逻辑写入对应的数据库表中之后，对所述缓存进行清空操作，并在清空后将所述数据库表中保存的数据装载至所述缓存中；开关开启模块，用于开启所述缓存同步开关，以便后续将所述缓存中的数据实时同步至对应的所述数据库表中。为实现上述目的，本申请提供了一种电子设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现前述公开的任一种数据处理方法的步骤。为实现上述目的，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现前述公开的任一种数据处理方法的步骤。通过以上方案可知，本申请提供的一种数据处理方法，包括：在当前中间业务系统发生异常之后，停止接收外围业务系统发送的业务处理请求；对所述当前中间业务系统异常期间的所述业务处理请求进行记录，将所述业务处理请求写入所述外围业务系统中的预设文件中；在所述当前中间业务系统恢复正常之后，确定所述预设文件中记录的增量业务数据；将所述增量业务数据按照所述业务处理请求的业务逻辑写入对应的数据库表中，并在写入完成后恢复接收所述外围业务系统发送的业务处理请求。由上可知，本申请在系统异常后，将不再接收业务处理请求，将异常期间的业务处理请求记录在外围业务系统的预设文件。在系统恢复正常后，仍然停止接收后续业务处理请求，仅在将预设文件中记录的增量业务数据写入对应的数据库表，完成数据的恢复和同步之后，启动对于后续外围业务系统发送的业务处理请求的接收，从而实现了在不影响后续交易的基础上恢复所有异常期间的数据，保证了数据的完整性和准确性。本申请还公开了一种数据处理装置及一种电子设备和一种计算机可读存储介质，同样能实现上述技术效果。应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本申请实施例公开的一种数据处理方法的流程图；图2为本申请实施例公开的另一种数据处理方法的流程图；图3为本申请实施例公开的一种数据记录过程的示意图；图4为本申请实施例公开的一种具体的数据处理方法的流程图；图5为本申请实施例公开的一种数据处理装置的结构图；图6为本申请实施例公开的一种电子设备的结构图；图7为本申请实施例公开的另一种电子设备的结构图。具体实施方式下面将结合本申本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n在当前中间业务系统发生异常之后，停止接收外围业务系统发送的业务处理请求；/n对所述当前中间业务系统异常期间的所述业务处理请求进行记录，将所述业务处理请求写入所述外围业务系统中的预设文件中；/n在所述当前中间业务系统恢复正常之后，确定所述预设文件中记录的增量业务数据；/n将所述增量业务数据按照所述业务处理请求的业务逻辑写入对应的数据库表中，并在写入完成后恢复接收所述外围业务系统发送的业务处理请求。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
在当前中间业务系统发生异常之后，停止接收外围业务系统发送的业务处理请求；
对所述当前中间业务系统异常期间的所述业务处理请求进行记录，将所述业务处理请求写入所述外围业务系统中的预设文件中；
在所述当前中间业务系统恢复正常之后，确定所述预设文件中记录的增量业务数据；
将所述增量业务数据按照所述业务处理请求的业务逻辑写入对应的数据库表中，并在写入完成后恢复接收所述外围业务系统发送的业务处理请求。


2.根据权利要求1所述的数据处理方法，其特征在于，所述确定所述预设文件中记录的增量业务数据，包括：
获取所述预设文件中记录的所述业务处理请求的第一时间；
获取所述数据库表中最后一次更新的第二时间；
通过对比所述第一时间和所述第二时间，得到所述第一时间中比所述第二时间新的目标业务处理请求；
将所述目标业务处理请求的数据确定为所述增量业务数据。


3.根据权利要求1所述的数据处理方法，其特征在于，所述确定所述预设文件中记录的增量业务数据之前，还包括：
关闭缓存同步开关，禁止将缓存中的过期数据同步至所述数据库表中。


4.根据权利要求3所述的数据处理方法，其特征在于，在所述将所述增量业务数据按照所述业务处理请求的业务逻辑写入对应的数据库表中之后，还包括：
对所述缓存进行清空操作，并在清空后将所述数据库表中保存的数据装载至所述缓存中；
开启所述缓存同步开关，以便后续将所述缓存中的数据实时同步至对应的所述数据库表中。


5.根据权利要求4所述的数据处理方法，其特征在于，所述确定所述预设文件中记录的增量业务数据之后，还包括：
若所述预设文件中不存在所述增量业务数据，则直接启动对所述缓存进行清空操作的步骤。

<...

【专利技术属性】
技术研发人员：王瑾，范渊，
申请(专利权)人：杭州安恒信息技术股份有限公司，
类型：发明
国别省市：浙江;33