System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据清算回退方法、装置、设备和存储介质制造方法及图纸_技高网

数据清算回退方法、装置、设备和存储介质制造方法及图纸

技术编号:40772760 阅读:3 留言:0更新日期:2024-03-25 20:20
本发明专利技术涉及数据处理技术领域,尤其涉及一种数据清算回退方法、装置、设备及存储介质。该方法通过将待处理数据分为多个批次分别进行数据清算,得到已清算数据集,当清算出现异常时,根据异常信息确定异常清算阶段,然后根据异常清算阶段,得到目标回退数据。本发明专利技术将待处理数据按批次、按阶段进行数据清算,提高了清算效率,并且使得当数据清算出现异常时,可按批次、按阶段的进行数据回退,减少了清算异常时重做所耗费的时间。

【技术实现步骤摘要】

本专利技术涉及数据处理,尤其涉及一种数据清算回退方法、装置、设备和存储介质


技术介绍

1、目前,随着社交网络、云计算等技术不断融入人们的生活,以及现有的计算能力、存储空间、网络带宽等高速发展,人类积累的数据在互联网、通信、金融、商业等诸多领域不断地增长和累积。在现有技术中,若数据清算过程中出现异常,容易导致整个清算都需要重新处理,从而耗费大量的时间。

2、上述内容仅用于辅助理解本专利技术的技术方案,并不代表承认上述内容是现有技术。


技术实现思路

1、本专利技术的主要目的在于提供了一种数据清算回退方法、装置、设备及存储介质,以实现在清算出现异常时对清算进行按批次与按阶段回退,减少清算异常时重做所耗费的时间。

2、为实现上述目的,本专利技术提供了一种数据清算回退方法,所述方法包括以下步骤:

3、将待处理数据分为多个批次分别进行数据清算,得到已清算数据集,其中,所述数据清算包括多个清算阶段;

4、若所述已清算数据集中的已清算数据出现异常,根据异常信息确定异常清算阶段;

5、根据所述异常清算阶段,得到目标回退数据。

6、可选地,所述将待处理数据分为多个批次分别进行数据清算,得到已清算数据集,包括:

7、将每一批次的待处理数据基于清算顺序分为第一待清算数据与第二待清算数据,其中,所述第一待清算数据的数据清算完成后,所述第二待清算数据再进行数据清算;

8、采用spark集群分别对所述第一待清算数据与所述第二待清算数据进行数据清算,得到所述已清算数据集。

9、可选地,所述采用spark集群分别对所述第一待清算数据与所述第二待清算数据进行数据清算,得到所述已清算数据集,包括:

10、采用spark集群分别对所述第一待清算数据进行数据清算,得到多个第一已清算数据;

11、判断所述第二待清算数据相同批次下的第一待清算数据是否已完成数据清算;

12、若是,则采用spark集群分别对所述第二待清算数据进行数据清算,得到多个第二已清算数据;

13、将所述多个第一已清算数据与所述多个第二已清算数据作为已清算数据集。

14、可选地,所述若是,则采用spark集群分别对所述第二待清算数据进行数据清算,得到多个第二已清算数据,包括:

15、若是,则采用spark集群并根据所述多个清算阶段中的预处理阶段分别对每个第二待清算数据进行预处理,得到多个预处理数据;

16、将所述多个预处理数据加载至所述spark集群,并采用所述spark集群分别对所述每个预处理数据进行簿记处理,得到多个簿记数据;

17、将所述多个簿记数据加载至所述spark集群,并采用所述spark集群分别对每个簿记数据进行对账处理,得到所述多个第二已清算数据。

18、可选地,在所述若所述已清算数据集中的已清算数据出现异常,根据异常信息确定异常清算阶段之前,还包括:

19、分别对所述多个第一已清算数据与所述多个第二已清算数据进行备份,得到第一备份数据与第二备份数据;

20、基于所述第一备份数据与所述第二备份数据建立时序数据预测模型;

21、获取预设样本数据,并根据所述预设样本数据与所述时序数据预测模型,得到时序残差数据;

22、基于所述时序残差数据,构建异常判别模型;

23、通过所述异常判别模型判断所述已清算数据集中的已清算数据是否出现异常。

24、可选地,所述若所述已清算数据集中的已清算数据出现异常,根据异常信息确定异常清算阶段,包括:

25、若所述已清算数据集中的已清算数据出现异常,根据异常信息确定清算步骤信息;

26、根据所述清算步骤信息与所述已清算数据对应的批次信息确定所述异常清算阶段。

27、可选地,所述根据所述异常清算阶段,得到目标回退数据,包括:

28、获取所述异常清算阶段上一阶段对应的清算数据,并将所述异常清算阶段上一阶段对应的清算数据作为所述目标回退数据。

29、此外,为实现上述目的,本专利技术还提出一种数据清算回退装置,所述数据清算回退装置包括:

30、数据清算模块,用于将待处理数据分为多个批次分别进行数据清算,得到已清算数据集,其中,所述数据清算包括多个清算阶段;

31、清算异常模块,用于若所述已清算数据集中的已清算数据出现异常,根据异常信息确定异常清算阶段;

32、清算回退模块,用于根据所述异常清算阶段,得到目标回退数据。

33、此外,为实现上述目的,本专利技术还提出一种数据清算回退设备,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据清算回退程序,所述数据清算回退程序配置为实现如上文所述的数据清算回退方法的步骤。

34、此外,为实现上述目的,本专利技术还提出一种存储介质,所述存储介质上存储有数据清算回退程序,所述数据清算回退程序被处理器执行时实现如上文所述的数据清算回退方法的步骤。

35、本专利技术通过将待处理数据分为多个批次分别进行数据清算,得到已清算数据集,当清算出现异常时,根据异常信息确定异常清算阶段,然后根据异常清算阶段,得到目标回退数据。本专利技术将待处理数据按批次、按阶段进行数据清算,提高了清算效率,并且使得当数据清算出现异常时,可按批次、按阶段的进行数据回退,减少了清算异常时重做所耗费的时间。

本文档来自技高网...

【技术保护点】

1.一种数据清算回退方法,其特征在于,包括:

2.根据权利要求1所述的数据清算回退方法,其特征在于,所述将待处理数据分为多个批次分别进行数据清算,得到已清算数据集,包括:

3.根据权利要求2所述的数据清算回退方法,其特征在于,所述采用Spark集群分别对所述第一待清算数据与所述第二待清算数据进行数据清算,得到所述已清算数据集,包括:

4.根据权利要求3所述的数据清算回退方法,其特征在于,所述若是,则采用Spark集群分别对所述第二待清算数据进行数据清算,得到多个第二已清算数据,包括:

5.根据权利要求3所述的数据清算回退方法,其特征在于,在所述若所述已清算数据集中的已清算数据出现异常,根据异常信息确定异常清算阶段之前,还包括:

6.根据权利要求1-5中任一项所述的数据清算回退方法,其特征在于,所述若所述已清算数据集中的已清算数据出现异常,根据异常信息确定异常清算阶段,包括:

7.根据权利要求1-5中任一项所述的数据清算回退方法,其特征在于,所述根据所述异常清算阶段,得到目标回退数据,包括:

8.一种数据清算回退装置,其特征在于,包括:

9.一种计算机设备,其特征在于,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的一种数据清算回退方法。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的一种数据清算与回退方法。

...

【技术特征摘要】

1.一种数据清算回退方法,其特征在于,包括:

2.根据权利要求1所述的数据清算回退方法,其特征在于,所述将待处理数据分为多个批次分别进行数据清算,得到已清算数据集,包括:

3.根据权利要求2所述的数据清算回退方法,其特征在于,所述采用spark集群分别对所述第一待清算数据与所述第二待清算数据进行数据清算,得到所述已清算数据集,包括:

4.根据权利要求3所述的数据清算回退方法,其特征在于,所述若是,则采用spark集群分别对所述第二待清算数据进行数据清算,得到多个第二已清算数据,包括:

5.根据权利要求3所述的数据清算回退方法,其特征在于,在所述若所述已清算数据集中的已清算数据出现异常,根据异常信息确定异常清算阶段之前,还包括:

6....

【专利技术属性】
技术研发人员:周贤谦李艳光
申请(专利权)人:深圳市金证科技股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1