任务模式选择与任务执行方法、装置、设备及存储介质制造方法及图纸

技术编号:21059600 阅读:28 留言:0更新日期:2019-05-08 06:38
本发明专利技术提供一种任务模式选择与任务执行方法,包括:获取待执行的各数据抽取任务的执行信息,并根据所述执行信息中各数据抽取任务的业务标签选择任务执行模式;根据与所述任务执行模式关联的分组策略和所述执行信息,对各数据抽取任务进行分组,并在分组完成时,获取任务分组信息;根据所述执行信息和任务分组信息,配置待执行的各数据抽取任务的执行参数,以生成任务执行配置表;按照所述任务执行配置表,执行待执行的各数据抽取任务。本发明专利技术还提供一种任务模式选择与任务执行装置、设备及存储介质。本发明专利技术能够实现任务执行模式的智能选择,还能够避免各数据抽取任务的相互影响,提高数据抽取与汇总效率。

【技术实现步骤摘要】
任务模式选择与任务执行方法、装置、设备及存储介质
本专利技术涉及互联网
,尤其涉及一种任务模式选择与任务执行方法、装置、设备及存储介质。
技术介绍
随着网络技术的快速发展,金融保险领域逐渐采用数据库存储保险数据和用户数据等,而随着保险种类和用户数量的增加,对保险数据和用户数据等的管理提出了新的要求,目前,按照保险种类,将保险数据和用户数据等存储在不同的数据库中,便于数据的管理。然而,在实际操作过程中,存在需要使用各数据库内的数据的情况,因此,需要从各数据库中抽取所需的数据并汇总,目前,数据抽取与汇总主要依赖于Kettle工具,由Kettle工具实现数据抽取与汇总,而通过Kettle工具进行数据抽取与汇总时,由于数据抽取任务较多,任务执行时间各异且相互交叉影响,当某一数据抽取任务依赖的Kettle同步任务出现延迟时,会影响其它数据抽取任务,需要耗费较多的时间才能完成数据抽取与汇总,此外,任务执行模式包括单业务执行模式和多业务执行模式,而系统的业务执行模式固定,无法实现任务执行模式的智能选择。因此,如何实现任务执行模式的智能选择,以及如何避免各数据抽取任务的相互影响,提高数据抽取与本文档来自技高网...

【技术保护点】
1.一种任务模式选择与任务执行方法,其特征在于,所述任务模式选择与任务执行方法包括以下步骤:获取待执行的各数据抽取任务的执行信息,并根据所述执行信息中各数据抽取任务的业务标签选择任务执行模式;根据与所述任务执行模式关联的分组策略和所述执行信息,对各数据抽取任务进行分组,并在分组完成时,获取任务分组信息;根据所述执行信息和任务分组信息,配置待执行的各数据抽取任务的执行参数,以生成任务执行配置表;按照所述任务执行配置表,执行待执行的各数据抽取任务。

【技术特征摘要】
1.一种任务模式选择与任务执行方法,其特征在于,所述任务模式选择与任务执行方法包括以下步骤:获取待执行的各数据抽取任务的执行信息,并根据所述执行信息中各数据抽取任务的业务标签选择任务执行模式;根据与所述任务执行模式关联的分组策略和所述执行信息,对各数据抽取任务进行分组,并在分组完成时,获取任务分组信息;根据所述执行信息和任务分组信息,配置待执行的各数据抽取任务的执行参数,以生成任务执行配置表;按照所述任务执行配置表,执行待执行的各数据抽取任务。2.如权利要求1所述的任务模式选择与任务执行方法,其特征在于,根据所述执行信息中各数据抽取任务的业务标签选择任务执行模式的步骤包括:从所述执行信息中获取各数据抽取任务的业务标签,并确定各数据抽取任务的业务标签是否均相同;若各数据抽取任务的业务标签相同,则选择的任务执行模式为单业务执行模式;若各数据抽取任务中存在至少一个数据抽取任务的业务标签不同,则选择的任务执行模式为多业务执行模式。3.如权利要求2所述的任务模式选择与任务执行方法,其特征在于,根据与所述任务执行模式关联的分组策略和所述执行信息,对各数据抽取任务进行分组的步骤包括:确定选择的任务执行模式是单业务执行模式,还是多业务执行模式;若选择的任务执行模式是单业务执行模式,则根据所述执行信息中的任务依赖关系,将待执行的各数据抽取任务划分为若干任务组;若选择的任务执行模式是多业务执行模式,则根据所述执行信息中各数据抽取任务的业务标签,将各数据抽取任务划分为若干任务组;根据所述执行信息中的任务依赖关系,将所述若干任务组中各任务组内的数据抽取任务划分为若干任务子组。4.如权利要求3所述的任务模式选择与任务执行方法,其特征在于,根据所述执行信息中的任务依赖关系,将待执行的各数据抽取任务划分为若干任务组的步骤包括:从所述执行信息中获取待执行的各数据抽取任务的任务依赖关系;根据待执行的各数据抽取任务的任务依赖关系,确定待执行的各数据抽取任务的数据抽取依赖任务;根据待执行的各数据抽取任务的数据抽取依赖任务,将待执行的各数据抽取任务划分为若干任务组。5.如权利要求3所述的任务模式选择与任务执行方法,其特征在于,根据所述执行信息和任务分组信息,配置待执行的各数据抽取任务的执行参数,以生成任务执行配置表的步...

【专利技术属性】
技术研发人员:丁志勇
申请(专利权)人:中国平安人寿保险股份有限公司
类型:发明
国别省市:广东,44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1