System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种Oracle数据库中事件的采集方法、装置及产品制造方法及图纸_技高网

一种Oracle数据库中事件的采集方法、装置及产品制造方法及图纸

技术编号:41099376 阅读:5 留言:0更新日期:2024-04-25 13:56
本申请公开了一种Oracle数据库中事件的采集方法、装置及产品。获得多个历史SCN范围取值的平均SCN范围取值,和在当前采集周期内采集Oracle数据库中待新增事件的预测采集速度;根据平均SCN范围取值和预测采集速度,获得当前采集周期内的待新增SCN范围取值;根据待新增SCN范围取值确定多个工作线程,以利用多个工作线程对待新增事件进行采集。可见,在本申请中利用历史采集周期内的历史采集事件,预测获得当前采集周期内的待新增SCN范围取值,以及采用多线程的方式对待新增SCN范围取值提前进行线程划分,以在当前周期内利用多个线程对待新增SCN范围取值对应的待新增事件进行采集,如此提高了采集效率。

【技术实现步骤摘要】

本申请涉及数据处理,特别是涉及一种oracle数据库中事件的采集方法、装置及产品。


技术介绍

1、oracle数据库为关系数据库管理系统,目前被大量应用于重要数据的存储和管理,比如在购物应用中存储用户的购物事件。进一步的,采集端需要不断从oracle数据库采集用户的新增事件,以便于根据新增事件为用户推荐更适合的产品,其中通过采集scn范围取值(即事件开始时间和事件结束时间)来采集新增事件。

2、在相关技术中,大多利用固定的scn范围取值,确定当前采集周期的scn范围取值,从而采用单线程的方式提前对该scn范围取值进行划分,以对划分后的scn范围取值下的新增事件进行采集,然而当在数据量突增的情况下,根据该固定scn范围取值确定的scn范围取值则不准确,进而导致采集效率低。

3、由此,如何提高采集效率是本领域技术人员关注的重点问题。


技术实现思路

1、基于上述问题,本申请提供了一种oracle数据库中事件的采集方法、装置及产品,以提高采集效率。

2、本申请实施例公开了如下技术方案:

3、本申请第一方面提供了一种oracle数据库中事件的采集方法。该oracle数据库中事件的采集方法包括:

4、获取在历史采集周期内对于oracle数据库的多个历史采集事件和所述多个历史采集事件分别对应的历史scn范围取值,其中所述历史scn范围取值为所述历史采集事件在所述oracle数据库中的时间标识范围;

5、对所述多个历史采集事件和多个历史scn范围取值进行处理,获得所述多个历史scn范围取值的平均scn范围取值,和在当前采集周期内采集所述oracle数据库中待新增事件的预测采集速度,其中所述历史采集周期与所述当前采集周期为连续的两个采集周期;

6、根据所述平均scn范围取值和所述预测采集速度,获得所述当前采集周期内的待新增scn范围取值;

7、根据所述待新增scn范围取值确定多个工作线程,以利用所述多个工作线程对所述待新增事件进行采集。

8、可选的,在所述对所述多个历史采集事件和多个历史scn范围取值进行处理,获得所述多个历史scn范围取值的平均scn范围取值,和在当前采集周期内采集所述oracle数据库中待新增事件的预测采集速度之前,还包括:

9、根据所述历史采集周期,确定所述历史采集周期对应的采集总时长,以及根据所述多个历史采集事件,确定所述多个历史采集事件对应的采集总数量;

10、所述对所述多个历史采集事件和多个历史scn范围取值进行处理,获得所述多个历史scn范围取值的平均scn范围取值,和在当前采集周期内采集所述oracle数据库中待新增事件的预测采集速度,包括:

11、对所述多个历史scn范围取值进行处理,获得所述多个历史scn范围取值的历史scn范围总取值;

12、对所述采集总数量和所述历史scn范围总取值进行计算,获得所述多个历史scn范围取值的平均scn范围取值;

13、对所述采集总时长和所述采集总数量进行计算,获得在当前采集周期内采集所述oracle数据库中待新增事件的预测采集速度。

14、可选的,在所述对所述采集总时长和所述采集总数量进行计算,获得在当前采集周期内采集所述oracle数据库中待新增事件的预测采集速度之前,还包括:

15、获取预设平滑因子;

16、所述对所述采集总时长和所述采集总数量进行计算,获得在当前采集周期内采集所述oracle数据库中待新增事件的预测采集速度,包括:

17、对所述采集总时长和所述采集总数量进行计算,获得所述多个历史采集事件的平均采集速度;

18、对所述预设平滑因子和所述平均采集速度进行计算,获得在当前采集周期内采集所述oracle数据库中待新增事件的预测采集速度。

19、可选的,在所述根据所述平均scn范围取值和所述预测采集速度,获得所述当前采集周期内的待新增scn范围取值之前,还包括:

20、根据所述采集总时长,获得在所述当前采集周期内采集所述待新增事件的采集预测总时长;

21、所述根据所述平均scn范围取值和所述预测采集速度,获得所述当前采集周期内的待新增scn范围取值,包括:

22、对所述采集预测总时长、所述平均scn范围取值和所述预测采集速度进行计算,获得所述当前采集周期内的待新增scn范围取值。

23、可选的,在所述当前采集周期内所述oracle数据库包括存在于采集队列中的待采集scn范围取值,在所述根据所述待新增scn范围取值确定多个工作线程之前,还包括:

24、获取所述待采集scn范围取值中的最后一个待采集scn取值;

25、所述根据所述待新增scn范围取值确定多个工作线程,包括:

26、根据所述待采集scn取值和所述待新增scn范围取值,确定待新增的scn目标范围取值;

27、根据所述待新增的scn目标范围取值,确定多个工作线程。

28、可选的,在所述根据所述待采集scn取值和所述待新增scn范围取值,确定待新增的scn目标范围取值之后,还包括:

29、获取在所述当前采集周期内所述oracle数据库接收到的已新增scn范围取值;

30、根据所述待采集scn取值和所述已新增scn范围取值,获得已新增的scn目标范围取值;

31、所述根据所述待新增的scn目标范围取值,确定多个工作线程,包括:

32、若所述待新增的scn目标范围取值小于所述已新增的scn目标范围取值,根据所述待新增的scn目标范围取值,确定多个工作线程。

33、可选的,所述根据所述待新增的scn目标范围取值,确定多个工作线程,包括:

34、将所述待新增的scn目标范围取值插入至所述采集队列中,获得目标采集队列;

35、在预设划分时间内对所述目标采集队列进行划分,获得多个采集子队列;

36、根据所述多个采集子队列,确定多个工作线程,其中一个采集子队列对应一个工作线程。

37、本申请第二方面提供了一种oracle数据库中事件的采集装置。该oracle数据库中事件的采集装置包括:

38、历史采集事件获取单元,用于获取在历史采集周期内对于oracle数据库的多个历史采集事件和所述多个历史采集事件分别对应的历史scn范围取值,其中所述历史scn范围取值为所述历史采集事件在所述oracle数据库中的时间标识范围;

39、历史采集事件处理单元,用于对所述多个历史采集事件和多个历史scn范围取值进行处理,获得所述多个历史scn范围取值的平均scn范围取值,和在当前采集周期内采集所述oracle数据库中待新增事件的预测采集速度,其中所述历史采集周期与所述当前采集周期为连续的两个采集周期;

40、待新增scn范围取值获得单元,用本文档来自技高网...

【技术保护点】

1.一种Oracle数据库中事件的采集方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,在所述对所述多个历史采集事件和多个历史SCN范围取值进行处理,获得所述多个历史SCN范围取值的平均SCN范围取值,和在当前采集周期内采集所述Oracle数据库中待新增事件的预测采集速度之前,还包括:

3.根据权利要求2所述的方法,其特征在于,在所述对所述采集总时长和所述采集总数量进行计算,获得在当前采集周期内采集所述Oracle数据库中待新增事件的预测采集速度之前,还包括:

4.根据权利要求2所述的方法,其特征在于,在所述根据所述平均SCN范围取值和所述预测采集速度,获得所述当前采集周期内的待新增SCN范围取值之前,还包括:

5.根据权利要求1所述的方法,其特征在于,在所述当前采集周期内所述Oracle数据库包括存在于采集队列中的待采集SCN范围取值,在所述根据所述待新增SCN范围取值确定多个工作线程之前,还包括:

6.根据权利要求5所述的方法,其特征在于,在所述根据所述待采集SCN取值和所述待新增SCN范围取值,确定待新增的SCN目标范围取值之后,还包括:

7.根据权利要求6所述的方法,其特征在于,所述根据所述待新增的SCN目标范围取值,确定多个工作线程,包括:

8.一种Oracle数据库中事件的采集装置,其特征在于,包括:

9.一种计算机设备,其特征在于,包括:

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1-7所述的Oracle数据库中事件的采集方法的步骤。

...

【技术特征摘要】

1.一种oracle数据库中事件的采集方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,在所述对所述多个历史采集事件和多个历史scn范围取值进行处理,获得所述多个历史scn范围取值的平均scn范围取值,和在当前采集周期内采集所述oracle数据库中待新增事件的预测采集速度之前,还包括:

3.根据权利要求2所述的方法,其特征在于,在所述对所述采集总时长和所述采集总数量进行计算,获得在当前采集周期内采集所述oracle数据库中待新增事件的预测采集速度之前,还包括:

4.根据权利要求2所述的方法,其特征在于,在所述根据所述平均scn范围取值和所述预测采集速度,获得所述当前采集周期内的待新增scn范围取值之前,还包括:

5.根据权利要求1所述的方法,其特征在...

【专利技术属性】
技术研发人员:李琛
申请(专利权)人:东软集团股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1