【技术实现步骤摘要】
本专利技术属于数据库系统应用领域,尤其涉及一种数据库数据推送方法和装置。
技术介绍
目前,银行等机构在每次日终切换后,需将各个系统的数据库数据归集到相应的数据集成平台进行归档,具体地,例如每次日终切换后,需将包含合约表,利率表、汇率表等多种类型数据表的金融数据库P8的数据推送至数据集成平台P9进行归档等。银行各系统的数据库往往包含诸多数据表,如P8可同时包含一定数目的合约表、一定数目的利率表及一定数目的汇率表等多个数据表,在向数据集成平台推送数据时,不同的数据表往往具有不同的推送需求,如需使用不同的卸数方式和文件生成规则等,仍以P8为例,对于卸数方式来说,某些表需发送当天增量数据给P9,某些表需发送全量数据给P9,某些表要求写入文件(在将表数据写入文件后推送文件至P9)的字段顺序和原表字段顺序一致,而某些表则要求写入文件的字段顺序做一定调整,某些表要求采用字段A做筛选,某些表要求采用字段B做筛选等等;对于文件生成规则来说,有些表要求生成 ...
【技术保护点】
一种数据库数据推送方法,其特征在于,包括:确定目标数据库中当前待处理的目标数据表;获取所述目标数据表的数据推送需求信息;其中,所述数据推送需求信息为预先基于数据推送需求模板所配置的信息;所述数据推送需求模板预先集成有:所述目标数据库中各数据表的不同数据推送需求所对应的各个属性配置项;基于所述数据推送需求信息,对所述目标数据表进行相应的数据推送处理,以实现将所述目标数据表的相应数据推送至目标位置。
【技术特征摘要】
1.一种数据库数据推送方法,其特征在于,包括:
确定目标数据库中当前待处理的目标数据表;
获取所述目标数据表的数据推送需求信息;其中,所述数据推送需求信
息为预先基于数据推送需求模板所配置的信息;所述数据推送需求模板预先
集成有:所述目标数据库中各数据表的不同数据推送需求所对应的各个属性
配置项;
基于所述数据推送需求信息,对所述目标数据表进行相应的数据推送处
理,以实现将所述目标数据表的相应数据推送至目标位置。
2.根据权利要求1所述的方法,其特征在于,所述确定目标数据库中当
前待处理的目标数据表包括:
基于多线程并发处理的方式,确定目标数据库中当前待处理的多个目标
数据表。
3.根据权利要求2所述的方法,其特征在于,所述获取所述目标数据表
的数据推送需求信息包括:
在相对应的线程中,读取每个所述目标数据表的数据推送需求信息。
4.根据权利要求3所述的方法,其特征在于,所述数据推送需求信息包
括卸数方式和文件生成规则,所述目标位置为预设的数据集成平台,则所述
基于所述数据推送需求信息,对所述目标数据表进行相应的数据推送处理包
括:
在相对应的线程中,基于相对应的卸数方式从每个所述目标数据表中读
取出待推送的目标数据;
在相对应的线程中,基于相对应的文件生成规则,对每个所述目标数据
表的目标数据进行相应的写文件处理,生成每个所述目标数据表的推送文件;
在为所述目标数据库的各数据表生成相对应的推送文件后,将各个所述
推送文件发送至所述数据集成平台。
5.根据权利要求4所述的方法,其特征在于,所述推送文件包括数据文
件、表结构文件和控制文件,则所述对每个所述目标数据表的目标数据进行
相应的写文件处理包括:
基于数据库缓存技术,将每个所述目标数据表的目标数据写入相应的数
据文件中;
为每个所述目标数据表的数据文件写相应的表结构文件和控制文件;其
中,所述表结构文件包括所述数据文件的文件名称、所述数据文件所包括的
各字段的字段名称及字段类型;所述控制文件包括所述数据文件的大小、生
成时间及所述数据文件包括的记录数。
6.根据权利要求4所述的方法,其特征在于,所述将各个所述推送文件
发送至所述数据集成平台包括:
将各个所述推送文件进行分组、打包,得到相应个数的推送文件包;
基于多线程并发处理的方式,将各个所述推送文件包发送至所述数据集
成平台进行归档。
7.根据权利要求4-6任意一项所述的方法,其特征在于,还包括:
在以所述推送文件的开始发送时刻为起始时刻等待预设时长后,检测各
推送文件的发送过程是否完成,如果完成,则结束;如果未完成,则报错。
8.一种数据库数据推送装置,其特征在于...
【专利技术属性】
技术研发人员:王磊,唐成山,吴炜斯,
申请(专利权)人:中国建设银行股份有限公司,
类型:发明
国别省市:北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。