一种数据卸载方法、装置、设备及介质制造方法及图纸

技术编号:34628721 阅读:30 留言:0更新日期:2022-08-20 09:39
本发明专利技术涉及数据处理技术领域,具体涉及一种数据卸载方法、装置、设备及介质。该方法具体包括:根据多个数据库表生成待卸载的数据库表列表,该数据库表列表包括多个数据库表各自的索引和多个字段信息,多个字段信息包括多个数据库表中的各个数据库表分别对应的字段信息;根据数据库表列表的字段信息生成卸载参数,卸载参数用于卸载多个数据库表;将卸载参数导入卸载脚本生成卸载文件,卸载脚本用于卸载所述多个数据库表。该方法可动态配置各个数据库表的卸载时间,从而可对不同数据源中的数据同时卸载,以提高卸载效率。以提高卸载效率。以提高卸载效率。

【技术实现步骤摘要】
一种数据卸载方法、装置、设备及介质


[0001]本专利技术涉及数据处理
,具体涉及一种数据卸载方法、装置、设备及介质。

技术介绍

[0002]近年来,随着信息量的迅猛增长,大量的数据伴随着日常生活产生。例如,在主办方开展营销活动的时候,有表示活动参与情况的数据、有表示活动开展情况的数据,还有表示奖品发放情况的数据等等。通常需要对这些数据进行统计分析。由于数据的来源不同,对这些数据做统计分析,一般是先将这些数据存储在数据库中,生成数据库表。将数据库表发送至数据分析系统进行分析。最常用的手段是使用Oracle生成用于卸载数据库表的卸载文件,再发送至数据分析系统。这样,数据分析系统接收该卸载文件,根据该卸载文件重新加载获得数据库表中的数据。
[0003]目前只支持对某一个数据库表进行卸载(也就是处理,例如抽取部分数据等),在多种数据源的场景中,一次只能卸载一个数据库表,卸载效率较低。且由于不同数据源具有不同的业务执行日期,对不同数据源统一卸载,可能会卸载不必要的数据。

技术实现思路

[0004]本专利技术实施例提供了一种本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据卸载方法,其特征在于,包括:根据多个数据库表生成待卸载的数据库表列表,所述数据库表列表包括所述多个数据库表各自的索引和多个字段信息,所述多个字段信息包括所述多个数据库表中的各个数据库表分别对应的字段信息;根据所述数据库表列表的字段信息生成卸载参数,所述卸载参数用于卸载所述多个数据库表;将所述卸载参数导入卸载脚本生成卸载文件,所述卸载脚本用于卸载所述多个数据库表。2.如权利要求1所述的方法,其特征在于,所述数据库表列表的多个字段信息包括卸载模式信息,所述卸载模式信息包括卸载模式,所述卸载模式包括全量卸载模式或增量卸载模式,所述全量卸载模式指示卸载所述数据库表列表包括的所有数据库表中的数据,所述增量卸载模式指示卸载所述多个数据库表中预设时间间隔内增加的数据;根据所述数据库表列表的字段信息生成卸载参数,包括:获取所述卸载模式信息,根据所述卸载模式信息生成所述卸载参数。3.如权利要求2所述的方法,其特征在于,所述数据库表列表的多个字段信息还包括卸载时间信息,所述卸载时间信息指示在所述增量卸载模式下数据库表的卸载时间,根据所述数据库表列表的字段信息生成卸载参数,包括:获取所述卸载时间信息,根据所述卸载时间信息生成所述卸载参数,其中,所述卸载参数包括第i次卸载时间和预设时间间隔,所述预设时间间隔和所述第i次卸载时间用于确定第i+1次卸载时间。4.如权利要求3所述的方法,其特征在于,将所述卸载参数导入卸载脚本生成卸载文件后,所述方法还包括:将所述第i+1次卸载时间更新为所述第i次卸载时间;获取所述第i次卸载时间和预设时间间隔,生成新的所述第i+1次卸载时间,其中,不同的所述数据库表对应的预设时间间隔不同。5.如权利要求1

4任一项所述的方法,其特征在于,所述数据库表列表的多个字段信息包括卸载标识,所述卸载标识用于指示数据库表是否卸载完成,所述方法还包括:获取第一数据库表对应的所述卸载标识,若所述卸载标识指示所述第一数据库表卸载完成,获取推送信息,所述推送信息包括所述第一数据库表的存储路径以及目标文件路径;从所述存储路径获取所述第一数据库表,并将所述第一数据库表推送至所述目标文件路径。6.如权利要求5所述的方法,其特征在于,所述推送信息还包括推送模式标识,所述推送模式标识指示推送模式,将所述第一数据库表推送至所述目标文件路径,包括:获取所述推送模式标识;根据所述推送模式标识指示的推送模式将所述第一数据库表推送至所述目标文件路径。7.如权利要求3或4所述的方法,其特征在于...

【专利技术属性】
技术研发人员:高国胜曹志杰周云龙朱康罗毅江文博刘冠君
申请(专利权)人:建信金融科技有限责任公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1