System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请涉及计算机,特别是涉及一种数据处理任务执行方法、装置、计算机设备、存储介质和计算机程序产品。
技术介绍
1、随着计算机技术的发展,将现实世界中的事物、信息等,通过数字技术的手段,转化为计算机可以处理的数字形式,从而实现信息的存储、传输和处理的数字化技术,在社交媒体、电子商务、在线支付、出行服务、移动办公等领域得到的广泛的应用。在不同的应用场景中,数字化产生的数据往往通过不同的数据库进行存储,如不同机构的不同部门之间各自独立的数据库存储、维护数据。
2、在针对不同数据库的数据进行联合分析时,往往需要将分散在不同数据库中存储的数据集中连接后统一进行分析处理,但目前将数据集中连接后统一进行分析处理的效率较低。
技术实现思路
1、基于此,有必要针对上述技术问题,提供一种能够提高数据处理任务执行效率的数据处理任务执行方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
2、第一方面,本申请提供了一种数据处理任务执行方法。所述方法包括:
3、确定待执行的数据处理任务;
4、当确定数据处理任务满足缓存复用判定条件,确定数据处理任务执行时对应待访问的至少两个数据源;
5、从至少两个数据源中分别获取各自的数据连接缓存结果;数据连接缓存结果包括相应数据源中的连接数据;连接数据,是在连接至少两个数据源各自数据的过程中,所针对连接的数据中属于相应数据源的数据;
6、根据各数据连接缓存结果得到数据连接结果,并基于数据连接结
7、第二方面,本申请还提供了一种数据处理任务执行装置。所述装置包括:
8、任务确定模块,用于确定待执行的数据处理任务;
9、数据源确定模块,用于当确定数据处理任务满足缓存复用判定条件,确定数据处理任务执行时对应待访问的至少两个数据源;
10、缓存结果获取模块,用于从至少两个数据源中分别获取各自的数据连接缓存结果;数据连接缓存结果包括相应数据源中的连接数据;连接数据,是在连接至少两个数据源各自数据的过程中,所针对连接的数据中属于相应数据源的数据;
11、缓存结果处理模块,用于根据各数据连接缓存结果得到数据连接结果,并基于数据连接结果执行数据处理任务。
12、第三方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以上数据处理任务执行方法的步骤。
13、第四方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以上数据处理任务执行方法的步骤。
14、第五方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以上数据处理任务执行方法的步骤。
15、上述数据处理任务执行方法、装置、计算机设备、存储介质和计算机程序产品,在确定待执行的数据处理任务满足缓存复用判定条件时,从数据处理任务执行时对应待访问的至少两个数据源中分别获取各自的数据连接缓存结果,数据连接缓存结果包括在连接至少两个数据源各自数据的过程中,所针对连接的数据中属于相应数据源的连接数据,根据各数据连接缓存结果得到数据连接结果,并基于数据连接结果执行数据处理任务。对于满足缓存复用判定条件的数据处理任务,直接从至少两个数据源中分别获取各自的数据连接缓存结果,根据各数据连接缓存结果得到数据连接结果以执行数据处理任务,可以利用预先连接得到的数据连接缓存结果执行数据处理任务,能够简化数据连接处理过程,从而提高数据处理任务执行的处理效率。
本文档来自技高网...【技术保护点】
1.一种数据处理任务执行方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述当确定所述数据处理任务满足缓存复用判定条件,确定所述数据处理任务执行时对应待访问的至少两个数据源,包括:
3.根据权利要求2所述的方法,其特征在于,所述当所述任务配置信息表示存在与所述数据处理任务关联的可复用缓存结果,确定所述数据处理任务执行时对应待访问的至少两个数据源,包括:
4.根据权利要求3所述的方法,其特征在于,所述根据所述可复用缓存地址确定缓存管理表,包括:
5.根据权利要求3所述的方法,其特征在于,所述当所述缓存管理表中包括用于记录可复用缓存结果的缓存表,基于所述可复用缓存地址确定所述数据处理任务执行时对应待访问的至少两个数据源,包括:
6.根据权利要求1所述的方法,其特征在于,所述从所述至少两个数据源中分别获取各自的数据连接缓存结果,包括:
7.根据权利要求1所述的方法,其特征在于,所述根据各所述数据连接缓存结果得到数据连接结果,并基于所述数据连接结果执行所述数据处理任务,包括:
9.根据权利要求8所述的方法,其特征在于,所述将所述数据连接缓存结果存储到相应数据源中,包括:
10.根据权利要求8所述的方法,其特征在于,所述方法还包括:
11.根据权利要求1所述的方法,其特征在于,所述确定待执行的数据处理任务,包括:
12.根据权利要求1至11任意一项所述的方法,其特征在于,所述方法还包括:
13.一种数据处理任务执行装置,其特征在于,所述装置包括:
14.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至12中任一项所述的方法的步骤。
15.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至12中任一项所述的方法的步骤。
16.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至12中任一项所述的方法的步骤。
...【技术特征摘要】
1.一种数据处理任务执行方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述当确定所述数据处理任务满足缓存复用判定条件,确定所述数据处理任务执行时对应待访问的至少两个数据源,包括:
3.根据权利要求2所述的方法,其特征在于,所述当所述任务配置信息表示存在与所述数据处理任务关联的可复用缓存结果,确定所述数据处理任务执行时对应待访问的至少两个数据源,包括:
4.根据权利要求3所述的方法,其特征在于,所述根据所述可复用缓存地址确定缓存管理表,包括:
5.根据权利要求3所述的方法,其特征在于,所述当所述缓存管理表中包括用于记录可复用缓存结果的缓存表,基于所述可复用缓存地址确定所述数据处理任务执行时对应待访问的至少两个数据源,包括:
6.根据权利要求1所述的方法,其特征在于,所述从所述至少两个数据源中分别获取各自的数据连接缓存结果,包括:
7.根据权利要求1所述的方法,其特征在于,所述根据各所述数据连接缓存结果得到数据连接结果,并基于所述数据连接结果执行所述数据处理任务,包...
【专利技术属性】
技术研发人员:王少伟,蒋杰,刘煜宏,陈鹏,罗韩梅,范晓亮,杨昱睿,侯忱,
申请(专利权)人:腾讯科技深圳有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。