批量数据同步任务处理方法、装置、设备及存储介质制造方法及图纸

技术编号:33634525 阅读:27 留言:0更新日期:2022-06-02 01:44
本申请涉及人工智能技术领域,揭示了一种批量数据同步任务处理方法、装置、设备及存储介质,其中方法包括:将合作方接口配置表中的每个文件前缀与当前日期进行待处理文件名拼接;根据合作方接口配置表,对不包含在预设的合作方数据同步任务表中的每个待处理文件名生成待添加数据同步任务,并将待添加数据同步任务添加到合作方数据同步任务表中;从合作方数据同步任务表中,抓取执行时间窗口包含当前时间并且处理状态为待执行或失败的每个数据同步任务,作为目标数据同步任务;根据目标数据同步任务,对目标应用系统和与目标数据同步任务对应的目标合作方系统之间进行数据同步。缩短了对接周期,降低了研发成本,减少了代码冗余。冗余。冗余。

【技术实现步骤摘要】
批量数据同步任务处理方法、装置、设备及存储介质


[0001]本申请涉及到人工智能
,特别是涉及到一种批量数据同步任务处理方法、装置、设备及存储介质。

技术介绍

[0002]随着互联网技术的发展,同一个业务流程可能有多个合作方系统。若需要对接多个合作方系统进行数据同步,每增加一个合作方系统,都需要新增接口和单独的批量同步任务,对接的研发耗时长,导致对接周期长,接口、批量任务开发成本高,导致研发成本高,每个合作方系统需要开发一套接口代码,导致代码冗余。

技术实现思路

[0003]本申请的主要目的为提供一种批量数据同步任务处理方法、装置、设备及存储介质,旨在解决现有技术在同一个业务流程中,若需要对接多个合作方系统进行数据同步,存在对接周期长、研发成本高、代码冗余的技术问题。
[0004]为了实现上述专利技术目的,本申请提出一种批量数据同步任务处理方法,所述方法包括:
[0005]获取与目标业务流程对应的任务生成请求,其中,所述任务生成请求携带有合作方接口配置表;
[0006]将所述合作方接口配置表中的每个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种批量数据同步任务处理方法,其特征在于,所述方法包括:获取与目标业务流程对应的任务生成请求,其中,所述任务生成请求携带有合作方接口配置表;将所述合作方接口配置表中的每个文件前缀与当前日期进行待处理文件名拼接;根据所述合作方接口配置表,对不包含在预设的合作方数据同步任务表中的每个所述待处理文件名生成待添加数据同步任务,并将所述待添加数据同步任务添加到所述合作方数据同步任务表中;获取与所述目标业务流程对应的数据同步请求;响应所述数据同步请求,从所述合作方数据同步任务表中,抓取执行时间窗口包含当前时间并且处理状态为待执行或失败的每个数据同步任务,作为目标数据同步任务;根据所述目标数据同步任务,对目标应用系统和与所述目标数据同步任务对应的目标合作方系统之间进行数据同步。2.根据权利要求1所述的批量数据同步任务处理方法,其特征在于,所述根据所述合作方接口配置表,对不包含在预设的合作方数据同步任务表中的每个所述待处理文件名生成待添加数据同步任务的步骤,包括:从不包含在所述合作方数据同步任务表中的各个所述待处理文件名中获取一个所述待处理文件名作为目标文件名;从所述合作方接口配置表中获取与所述目标文件名对应的执行时间窗口、字段选择配置、同步类型和地址数据配置,得到任务配置数据;根据所述目标文件名和所述任务配置数据进行数据同步任务生成,作为与所述目标文件名对应的所述待添加数据同步任务;重复执行所述从不包含在所述合作方数据同步任务表中的各个所述待处理文件名中获取一个所述待处理文件名作为目标文件名的步骤,直至完成确定不包含在所述合作方数据同步任务表中的每个所述待处理文件名对应的所述待添加数据同步任务。3.根据权利要求1所述的批量数据同步任务处理方法,其特征在于,所述响应所述数据同步请求,从所述合作方数据同步任务表中,抓取执行时间窗口包含当前时间并且处理状态为待执行或失败的每个数据同步任务,作为目标数据同步任务的步骤,包括:响应所述数据同步请求,获取与所述目标业务流程对应的需同步节点标识集;从定时任务库中获取与所述需同步节点标识集中的每个节点标识对应的定时同步任务作为目标定时同步任务;在预设的目标同步时间段内,按与所述目标业务流程对应的目标时间间隔执行每个所述目标定时同步任务;通过所述目标定时同步任务,从所述合作方数据同步任务表中,抓取所述执行时间窗口包含当前时间并且所述处理状态为待执行或失败的每个所述数据同步任务,作为目标数据同步任务。4.根据权利要求1所述的批量数据同步任务处理方法,其特征在于,所述根据所述目标数据同步任务,对目标应用系统和与所述目标数据同步任务对应的目标合作方系统之间进行数据同步的步骤,包括:若所述目标数据同步任务的同步类型为上传,则执行所述目标数据同步任务,将所述
目标应用系统中的数据上传到所述目标合作方系统中;若所述目标数据同步任务的同步类型为下载,则执行所述目标数据同步任务,根据所述目标合作方系统中的数据对所述目标应用系统中的数据进行更新。5.根据权利要求4所述的批量数据同步任务处理方法,其特征在于,所述将所述目标应用系统中的数据上传到所述目标合作方系统中的步骤,包括:根据所述目标数据同步任务的字段选择配置、地址数据配置及执行时间窗口的开始时间,从所述目标应用系统中获取数据,得到待处理的数据;根据所述待处理的数据进行待同步文件划分...

【专利技术属性】
技术研发人员:马位涛
申请(专利权)人:平安科技深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1