System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 资源数据处理系统、方法、装置和计算机设备和存储介质制造方法及图纸_技高网

资源数据处理系统、方法、装置和计算机设备和存储介质制造方法及图纸

技术编号:40827237 阅读:4 留言:0更新日期:2024-04-01 14:49
本申请涉及大数据技术领域,提供一种资源数据处理系统、方法、装置、计算机设备、存储介质和计算机程序产品。系统包括:部署于生产环境中的资源交互模块,分别部署于生产环境和隔离环境的资源计算引擎和资源记录管理模块,资源交互模块,用于统计生产环境数据库中的资源收入数据,将统计得到的资源收入统计数据发送至资源计算引擎,资源计算引擎用于对整合资源收入统计数据,将整合得到的各资源发生额发送给资源记录管理模块,资源记录管理模块用于将生产环境数据库中指定日期已有的资源余量数据同步至隔离环境中,基于各资源计算科目的资源发生额和资源余量数据,生成指定日期的资源统计估算报表。采用本方案能提高资源数据处理效率。

【技术实现步骤摘要】

本申请涉及大数据,特别是涉及一种资源数据处理系统、方法、装置、计算机设备、存储介质和计算机程序产品。


技术介绍

1、随着互联网技术的蓬勃发展,各个行业都需要通过各种应用系统进行业务处理。在一些资源交互的场景中,企业或机构经常需要根据不同的业务场景和业务规则进行资源整合统计。

2、但是,目前常用的资源整合统计方式是通过定期的批处理日切操作进行的,在批处理日切通常是在每天的24点或深夜的时间段进行。例如,在年终当天,通常是根据前一天12月30日的资源整合数据来估算12月31日的资源交互情况,生成统计报表。

3、由此可见,上述资源整合统计方式,影响了资源整合统计的时效性,并且,在批处理日切过程中,资源交互所涉及的科目较多且涉及的业务场景也较多,计算工作量大,计算机设备需要执行大量的数据处理操作,相应地,会存在处理速度缓慢的问题,进而导致资源数据处理的效率低下。


技术实现思路

1、基于此,有必要针对上述技术问题,提供一种能够高效地进行资源处理的资源数据处理系统、方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

2、第一方面,本申请提供了一种资源数据处理系统。所述系统包括:相互通信连接的资源交互模块、资源计算引擎和资源记录管理模块,资源交互模块部署于生产环境中,资源计算引擎和资源记录管理模块分别部署于生产环境和隔离环境,隔离环境为生产环境的副本;

3、资源交互模块,用于在生产环境中,统计生产环境数据库中的资源收入数据,得到资源收入统计数据,将资源收入统计数据发送至资源计算引擎;

4、资源计算引擎,用于在隔离环境中,对接收到的资源收入统计数据进行批量资源整合操作,得到各资源计算科目的资源发生额,将各资源计算科目的资源发生额发送给资源记录管理模块;

5、资源记录管理模块,用于从生产环境数据库中获取指定日期已有的资源余量数据,并将资源余量数据同步至隔离环境中,在隔离环境中,接收资源计算引擎发送的各资源计算科目的资源发生额,基于各资源计算科目的资源发生额和资源余量数据,生成指定日期的资源统计估算报表。

6、在其中一个实施例中,资源交互模块,用于将生产环境数据库中的资源收入数据存储至批量服务器中,调用批量服务器,对资源收入数据进行批量统计,得到资源收入统计数据。

7、在其中一个实施例中,资源交互模块,用于筛选出资源收入数据中的符合资源统计条件的目标资源收入数据,确定每一笔目标资源收入数据的所属业务场景和统计方式,并基于已确定的统计方式和业务场景,对目标资源收入数据进行批量统计,得到资源收入统计数据。

8、在其中一个实施例中,资源计算引擎,用于对接收到的资源收入统计数据进行入库检查,筛选出符合预设的入库要求的目标资源收入统计数据,对目标资源收入统计数据进行批量资源整合操作,得到各资源计算科目的资源发生额,其中,入库检查包括要素检查和格式化检查。

9、在其中一个实施例中,资源记录管理模块,用于对接收到的各资源计算科目的资源发生额进行合法性校验,筛选出通过数据合法性校验的目标资源发生额,基于目标资源发生额和资源余量数据,生成指定日期的资源统计估算报表。

10、上述资源数据处理系统,通过将资源计算引擎和资源记录管理模块部署在隔离环境中,提供了独立的环境进行资源计算和管理操作,使得在进行资源计算和记录管理时不会对生产环境造成影响,保障了生产环境的稳定性和数据完整性,资源交互模块部署在生产环境中,直接从生产环境数据库中获取资源收入数据,并统计资源收入,将统计得到的资源收入统计数据发送给资源计算引擎,可以提高资源收入统计数据的准确性和实时性,资源计算引擎对接收到资源收入统计数据进行批量资源整合操作,得到各资源计算科目的资源发生额,能够提高计算效率,减少资源计算的时间和资源消耗,资源记录管理模块区别于传统的获取前一天的资源余量数据,而是直接从生产环境数据库中获取指定日期已有的资源余量数据,并将其同步至隔离环境中,如此,在隔离环境中进行资源统计估算时,可以基于实时的资源余量数据进行计算,能够及时估算出资源统计信息,并生成资源统计估算报表。上述方案,通过隔离环境、资源交互模块、资源计算引擎和资源记录管理模块的合理部署和协作,高效地实现了资源统计和管理,且无需依赖于前一天的资源统计数据来估算当天的资源统计数据,提高了资源统计的效率和时效性。

11、第二方面,本申请还提供了一种资源数据处理方法,应用于上述资源数据处理系统。所述方法包括:

12、响应资源统计估算请求,通过资源交互模块统计生产环境数据库中的资源收入数据,得到资源收入统计数据;

13、通过资源计算引擎对资源收入统计数据进行批量资源整合操作,得到各资源计算科目的资源发生额;

14、通过资源记录管理模块从生产环境数据库中获取当前日期已有的资源余量数据,并将所述资源余量数据同步至隔离环境中,基于所述各资源计算科目的资源发生额和所述资源余量数据,生成指定日期的资源统计估算报表。

15、在其中一个实施例中,方法还包括:

16、获取与所述资源统计估算报表对应的资源统计真实报表;

17、在所述资源统计真实报表与所述资源统计估算报表不一致的情况下,识别出所述资源统计真实报表与所述资源统计估算报表中的差异资源计算科目;

18、提取所述差异资源计算科目对应的资源交互数据;

19、对提取出的所述资源交互数据进行差异分析,得到差异分析结果。

20、在其中一个实施例中,方法还包括:

21、通过所述资源交互模块筛选出资源收入数据中的符合资源统计条件的目标资源收入数据,确定每一笔目标资源收入数据的所属业务场景和统计方式,并基于已确定的统计方式和业务场景,对所述目标资源收入数据进行批量统计,得到资源收入统计数据。

22、第三方面,本申请还提供了一种资源数据处理装置,其特征在于,应用于如上述任一实施例所述的资源数据处理系统,所述装置包括:

23、数据统计模块,用于通过资源交互模块统计生产环境数据库中的资源收入数据,得到资源收入统计数据;

24、资源整合模块,用于通过资源计算引擎对资源收入统计数据进行批量资源整合操作,得到各资源计算科目的资源发生额;

25、报表生成模块,用于通过资源记录管理模块从生产环境数据库中获取当前日期已有的资源余量数据,并将所述资源余量数据同步至隔离环境中,基于所述各资源计算科目的资源发生额和所述资源余量数据,生成指定日期的资源统计估算报表。

26、第四方面,本申请还提供了一种计算机设备。计算机设备包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现上述各资源数据处理方法实施例中的步骤。

27、第四方面,本申请还提供了一种计算机可读存储介质。计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述各资源数据处理方法实施例中的步本文档来自技高网...

【技术保护点】

1.一种资源数据处理系统,其特征在于,所述系统包括:相互通信连接的资源交互模块、资源计算引擎和资源记录管理模块,所述资源交互模块部署于生产环境中,所述贷款所述资源计算引擎和所述资源记录管理模块分别部署于生产环境和隔离环境,所述隔离环境为所述生产环境的副本;

2.根据权利要求1所述的资源数据处理系统,其特征在于,所述资源交互模块,用于筛选出资源收入数据中的符合资源统计条件的目标资源收入数据,确定每一笔目标资源收入数据的所属业务场景和统计方式,并基于已确定的统计方式和业务场景,对所述目标资源收入数据进行批量统计,得到资源收入统计数据。

3.根据权利要求1所述的资源数据处理系统,其特征在于,所述资源交互模块,用于将生产环境数据库中的资源收入数据存储至批量服务器中,调用所述批量服务器,对所述资源收入数据进行批量统计,得到资源收入统计数据。

4.根据权利要求1至3任意一项所述的资源数据处理系统,其特征在于,所述资源计算引擎,用于对接收到的资源收入统计数据进行入库检查,筛选出符合预设的入库要求的目标资源收入统计数据,对所述目标资源收入统计数据进行批量资源整合操作,得到各资源计算科目的资源发生额,其中,所述入库检查包括要素检查和格式化检查。

5.根据权利要求1至3任意一项所述的资源数据处理系统,其特征在于,所述资源记录管理模块,用于对接收到的各资源计算科目的资源发生额进行合法性校验,筛选出通过数据合法性校验的目标资源发生额,基于目标资源发生额和所述资源余量数据,生成指定日期的资源统计估算报表。

6.一种资源数据处理方法,其特征在于,应用于如权利要求1至5任意一项所述的资源数据处理系统,所述方法包括:

7.根据权利要求6所述的资源数据处理方法,其特征在于,所述方法还包括:

8.根据权利要求6或7所述的资源数据处理方法,其特征在于,所述通过资源交互模块统计生产环境数据库中的资源收入数据,得到资源收入统计数据包括:

9.一种资源数据处理装置,其特征在于,应用于如权利要求1至5任意一项所述的资源数据处理系统,所述装置包括:

10.根据权利要求9所述的装置,其特征在于,所述装置还包括数据优化模块,用于获取与所述资源统计估算报表对应的资源统计真实报表;

11.根据权利要求9或10所述的装置,其特征在于,所述数据统计模块,还用于通过所述资源交互模块筛选出资源收入数据中的符合资源统计条件的目标资源收入数据,确定每一笔目标资源收入数据的所属业务场景和统计方式,并基于已确定的统计方式和业务场景,对所述目标资源收入数据进行批量统计,得到资源收入统计数据。

12.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求6至9中任一项所述的方法的步骤。

13.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求6至9中任一项所述的方法的步骤。

14.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求6至9中任一项所述的方法的步骤。

...

【技术特征摘要】

1.一种资源数据处理系统,其特征在于,所述系统包括:相互通信连接的资源交互模块、资源计算引擎和资源记录管理模块,所述资源交互模块部署于生产环境中,所述贷款所述资源计算引擎和所述资源记录管理模块分别部署于生产环境和隔离环境,所述隔离环境为所述生产环境的副本;

2.根据权利要求1所述的资源数据处理系统,其特征在于,所述资源交互模块,用于筛选出资源收入数据中的符合资源统计条件的目标资源收入数据,确定每一笔目标资源收入数据的所属业务场景和统计方式,并基于已确定的统计方式和业务场景,对所述目标资源收入数据进行批量统计,得到资源收入统计数据。

3.根据权利要求1所述的资源数据处理系统,其特征在于,所述资源交互模块,用于将生产环境数据库中的资源收入数据存储至批量服务器中,调用所述批量服务器,对所述资源收入数据进行批量统计,得到资源收入统计数据。

4.根据权利要求1至3任意一项所述的资源数据处理系统,其特征在于,所述资源计算引擎,用于对接收到的资源收入统计数据进行入库检查,筛选出符合预设的入库要求的目标资源收入统计数据,对所述目标资源收入统计数据进行批量资源整合操作,得到各资源计算科目的资源发生额,其中,所述入库检查包括要素检查和格式化检查。

5.根据权利要求1至3任意一项所述的资源数据处理系统,其特征在于,所述资源记录管理模块,用于对接收到的各资源计算科目的资源发生额进行合法性校验,筛选出通过数据合法性校验的目标资源发生额,基于目标资源发生额和所述资源余量数据,生成指定日期的资源统计估算报表。

6.一...

【专利技术属性】
技术研发人员:涂文伟
申请(专利权)人:中国建设银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1