一种数据存储失败时的重建方法及装置制造方法及图纸

技术编号:14821214 阅读:181 留言:0更新日期:2017-03-15 14:25
本发明专利技术实施例公开了一种数据存储失败时的重建方法,包括下述步骤:将插入失败的数据寄存在缓存区域内;根据数据携带的业务识别信息对所述寄存在缓存区域内的数据进行聚合;将聚合后的数据分批次的进行重新插入。通过将插入失败的数据寄存在缓存区域内,并在缓存区域内对数据进行聚合,压缩插入失败的数据总量,减少对存储设备信息吞吐压力,分批次的将聚合后的数据进行重新插入,能够使重新插入有次序的进行,减少了对进程的压力,在不影响向业务正常进行的情况下,实现了数据的重新插入。

【技术实现步骤摘要】

本专利技术实施例涉及计算机
,一种数据存储失败时的重建方法及装置
技术介绍
随着移动通信、计算机以及互联网技术的发展,相隔两地的用户能够通过计算机平台进行营收活动,营收活动是指一方用户用电子账户中货币,向另一方面购买网络虚拟货币或服务,或者用户直接在线消费虚拟物品,计算机记录其消费的虚拟货币的种类、数量与单价,并从其电子账户中扣除相应的虚拟货币的行为。由于营收活动涉及钱财交易,必须及时对营收活动中的信息进行存储,存储时若出现存储插入错误,需要对数据进行重新插入。现有技术中提供的数据重新插入方法为:当数据插入失败时,存储设备会直接将直接插入错误的数据存放到内存队伍当中,然后寻找合适的时间点把数据再次进行插入。本专利技术创造的专利技术人在研究中发现,使用现有技术的数据插入方法,对插入失败的数据进行重新插入时,再次插入的失败的几率很大,当数据量很大的时候,出现很多数据插入失败,若再把原来插入失败的数据重试插入,不仅不能保证数据安全性,而且会使数据量累积越来越多,最终将后台进程完全都塞,影响业务正常运行。
技术实现思路
本专利技术实施例主要解决的技术问题是提供一种数据存储失败时的重建方法,通过将插入失败的数据寄存在缓存区域内,并在缓存区域内对数据进行聚合,压缩插入失败的数据总量,减少对存储设备信息吞吐压力,分批次的将聚合后的数据进行重新插入,能够使重新插入有次序的进行,减少了对进程的压力,在不影响向业务正常进行的情况下,实现了数据的重新插入。为解决上述技术问题,本专利技术创造的实施例采用的一个技术方案是:提供一种数据存储失败时的重建方法,包括下述步骤:将插入失败的数据寄存在缓存区域内;根据数据携带的业务识别信息对所述寄存在缓存区域内的数据进行聚合;将聚合后的数据分批次的进行重新插入。可选地,所述将聚合后的数据分批次的进行重新插入包括:所述重新插入依次进行,当前批次的数据插入成功后,对下一批次数据进行插入。可选地,所述将聚合后的数据分批次的进行重新插入包括:对业务进程进行监控;当业务进程出现空闲时,将所述聚合后的数据进行重新写入。可选地,所述根据数据携带的业务识别信息对所述寄存在缓存区域内的数据进行聚合包括:识别寄存在所述缓存区域内数据携带的业务识别信息;将携带有同一业务识别信息的数据进行统计;用统计得到的数字数据替代所述存储区域内执行相同业务功能的数据。可选地,所述业务识别信息包括:主机地址、目标地址和业务代码。可选地,所述将聚合后的数据分批次的进行重新插入步骤之后,包括:记录所述重新插入时连续失败的次数;将所述连续失败的次数与预设的扩容阈值进行比较;当所述连续失败的次数大于所述扩容阈值时,发出预警信息。可选地,当所述连续失败的次数大于所述扩容阈值时,发出预警信息,包括:计算所述缓存区域的数据总量;根据所述数据总量确定扩容建议信息;将所述扩容建议信息写入到预警信息内。可选地,所述方法还包括:识别所述业务代码所代表的业务类型;当所述业务类型为收费业务类型时,优先将执行所述收费业务类型的数据进行重新插入。可选地,所述方法还包括:识别所述主机地址被标记的权限级别;当所述主机地址被标记为特权用户时,优先将所述特权用户的数据进行重新插入。为解决上述技术问题,本本专利技术创造的实施例还提供一种数据存储失败时的重建装置,包括:缓存写入模块,用于将插入失败的数据寄存在缓存区域内;数据整合模块,用于根据数据携带的业务识别信息对所述寄存在缓存区域内的数据进行聚合;数据插入模块,用于将聚合后的数据分批次的进行重新插入。可选地,所述重新插入依次进行,当前批次的数据插入成功后,对下一批次数据进行插入。可选地,所述数据存储失败时的重建装置还包括:进程监控模块,用于对业务进程进行监控;所述进程监控模块检测到业务进程出现空闲时,所述数据插入模块将所述聚合后的数据进行重新写入。可选地,所述数据存储失败时的重建装置还包括:第一识别模块,用于识别寄存在所述缓存区域内数据携带的业务识别信息;统计模块,用于将携带有同一业务识别信息的数据进行统计;所述数据整合模块用统计得到的数字数据替代所述存储区域内执行相同业务功能的数据。可选地,所述业务识别信息包括:主机地址、目标地址和业务代码。可选地,所述数据存储失败时的重建装置还包括:记录模块,用于记录所述重新插入时连续失败的次数;比较模块,用于将所述连续失败的次数与预设的扩容阈值进行比较;警示模块,用于当所述连续失败的次数大于所述扩容阈值时,发出预警信息。可选地,所述数据存储失败时的重建装置还包括:计算模块,用于计算所述缓存区域的数据总量;扩容信息生成模块,用于根据所述数据总量确定扩容建议信息;扩容信息写入模块,用于将所述扩容建议信息写入到预警信息内。可选地,所述数据存储失败时的重建装置还包括:第二识别模块,用于识别所述业务代码所代表的业务类型;当所述业务类型为收费业务类型时,所述数据插入模块优先将执行所述收费业务类型的数据进行重新插入。可选地,所述数据存储失败时的重建装置还包括:第三识别模块,用于识别所述主机地址被标记的权限级别;当所述主机地址被标记为特权用户时,所述数据插入模块优先将所述特权用户的数据进行重新插入。本专利技术实施例的有益效果是:通过将插入失败的数据寄存在缓存区域内,并在缓存区域内对数据进行聚合,压缩插入失败的数据总量,减少对存储设备信息吞吐压力,分批次的将聚合后的数据进行重新插入,能够使重新插入有次序的进行,减少了对进程的压力,在不影响向业务正常进行的情况下,实现了数据的重新插入。附图说明为了更清楚地说明本专利技术实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本专利技术的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。图1为本专利技术实施例数据存储失败时的重建方法的基本流程图;图2为本专利技术实施例数据聚合方法的具体流程图;图3为本专利技术实施例中数据重新插入时的具体方法流程图;图4为本专利技术实施例扩容提醒方法流程图;图5为本专利技术实施例警示信息的生产方法流程图;图6为本专利技术实施例优先存储方法的流程图;图7为本专利技术实施例另一种优先存储方法的流程图;图8为本专利技术实施例数据存储失败时的重建装置基本结构框图;图9为本专利技术实施例具有数据聚合功能的重建装置结构框图;图10为本专利技术实施例具有监控进程功能的重建装置结构框图;图11为本专利技术实施例具有扩容提醒功能的重建装置结构框图;图12为本专利技术实施例具有扩容信息生成功能的重建装置结构框图;图13为本专利技术实施例具有优先级数据插入功能的重建装置结构框图;图14为本专利技术实施例中另一种具有优先级数据插入功能的重建装置结构框图。具体实施方式为了使本
的人员更好地理解本专利技术方案,下面将结合本专利技术实施例中的附图,对本专利技术实施例中的技术方案进行清楚、完整地描述。在本专利技术的说明书和权利要求书及上述附图中的描述的一些流程中,包含了按照特定顺序出现的多个操作,但是应该清楚了解,这些操作可以不按照其在本文中出现的顺序来执行或并行执行,操作的序号如101、102等,仅仅是用于区分开各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执本文档来自技高网
...
一种数据存储失败时的重建方法及装置

【技术保护点】
一种数据存储失败时的重建方法,其特征在于,包括下述步骤:将插入失败的数据寄存在缓存区域内;根据数据携带的业务识别信息对所述寄存在缓存区域内的数据进行聚合;将聚合后的数据分批次的进行重新插入。

【技术特征摘要】
1.一种数据存储失败时的重建方法,其特征在于,包括下述步骤:将插入失败的数据寄存在缓存区域内;根据数据携带的业务识别信息对所述寄存在缓存区域内的数据进行聚合;将聚合后的数据分批次的进行重新插入。2.根据权利要求1所述的数据存储失败时的重建方法,其特征在于,所述将聚合后的数据分批次的进行重新插入包括:所述重新插入依次进行,当前批次的数据插入成功后,对下一批次数据进行插入。3.根据权利要求1所述的数据存储失败时的重建方法,其特征在于,所述将聚合后的数据分批次的进行重新插入包括:对业务进程进行监控;当业务进程出现空闲时,将所述聚合后的数据进行重新写入。4.根据权利要求1所述的数据存储失败时的重建方法,其特征在于,所述根据数据携带的业务识别信息对所述寄存在缓存区域内的数据进行聚合包括:识别寄存在所述缓存区域内数据携带的业务识别信息;将携带有同一业务识别信息的数据进行统计;用统计得到的数字数据替代所述存储区域内执行相同业务功能的数据。5.根据权利要求1~4任意一项所述的数据存储失败时的重建方法,其特征在于,所述业务识别信息包括:主机地址、目标地址和业务代码。6.根据权利要求1所述的数据存储失败时的重建方法,其特征在于,...

【专利技术属性】
技术研发人员:黄立尧
申请(专利权)人:广州华多网络科技有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1