【技术实现步骤摘要】
数据归档处理方法、装置、计算机设备及存储介质
本专利技术涉及数据处理
，尤其涉及一种数据归档处理方法、装置、计算机设备及存储介质。
技术介绍
在MySQL、Oracle、Postgres等关系型数据库中，若数据表记录的数据量较大时(如达到千万级以上)时，其增删查改操作性能会急剧下降，使得增删查改操作效率降低；而且，关系型数据库的存储成本较高。
技术实现思路
本专利技术实施例提供一种数据归档处理方法、装置、计算机设备及存储介质，以解决关系型数据库存储数据量较大的数据时，存在操作性能下降，效率低且成本高的问题。一种数据归档处理方法，包括：扫描归档配置表，从所述归档配置表中获取与系统当前时间相匹配的目标归档信息；获取并执行与所述目标归档信息相对应的目标建表脚本和目标迁移脚本，将待归档数据从源数据库的待归档数据表迁移到目标数据库的目标数据表中；对所述待归档数据进行数据校验，获取归档校验结果；若所述归档校验结果为归档成功，则执行数据删减逻辑，对所述待归档数据表中的已归档数据进行
【技术保护点】
1.一种数据归档处理方法，其特征在于，包括：/n扫描归档配置表，从所述归档配置表中获取与系统当前时间相匹配的目标归档信息，所述归档配置表用于存储待归档数据表的关键信息；/n获取并执行与所述目标归档信息相对应的目标建表脚本和目标迁移脚本，将待归档数据从源数据库的待归档数据表迁移到目标数据库的目标数据表中；/n对所述待归档数据进行数据校验，获取归档校验结果；/n若所述归档校验结果为归档成功，则执行数据删减逻辑，对所述待归档数据表中的已归档数据进行数据删减处理。/n
【技术特征摘要】
1.一种数据归档处理方法，其特征在于，包括：
扫描归档配置表，从所述归档配置表中获取与系统当前时间相匹配的目标归档信息，所述归档配置表用于存储待归档数据表的关键信息；
获取并执行与所述目标归档信息相对应的目标建表脚本和目标迁移脚本，将待归档数据从源数据库的待归档数据表迁移到目标数据库的目标数据表中；
对所述待归档数据进行数据校验，获取归档校验结果；
若所述归档校验结果为归档成功，则执行数据删减逻辑，对所述待归档数据表中的已归档数据进行数据删减处理。
2.如权利要求1所述的数据归档处理方法，其特征在于，在所述对所述待归档数据进行数据校验，获取归档校验结果之后，所述数据归档处理方法还包括：
若所述归档校验结果为归档失败，则执行异常检测逻辑，对所述待归档数据对应的归档日志进行分析，获取归档异常类型，执行与所述归档异常类型相对应的纠错处理逻辑。
3.如权利要求1所述的数据归档处理方法，其特征在于，在所述扫描归档配置表之前，所述数据归档处理方法还包括：
扫描源数据库中的原始数据表，读取所述原始数据表对应的原始数据量和原始字段；
若所述原始数据量大于预设数据量，且所述原始字段包括预设字段，则将所述原始数据表确定为待归档数据表，将与所述待归档数据表相对应的原始归档信息存储在归档配置表中。
4.如权利要求3所述的数据归档处理方法，其特征在于，在所述将与所述待归档数据表相对应的原始归档信息存储在归档配置表中之后，所述数据归档处理方法还包括：
触发脚本创建请求，所述脚本创建请求包括源数据库信息、目标数据库信息和待归档数据表信息；
基于所述待归档数据表信息，获取所述待归档数据表信息对应的待归档数据表的全表字段信息；
采用建表脚本创建工具对所述待归档数据表的全表字段信息进行处理，获取目标建表脚本；
采用迁移脚本创建工具，对所述源数据库信息、所述目标数据库信息和所述待归档数据表对应的全表字段信息进行处理，获取目标迁移脚本；
将所述源数据库信息、所述目标数据库信息、所述待归档数据表信息、所述目标建表脚本和所述目标迁移脚本关联存储。
5.如权利要求1所述的数据归档处理方法，其特征在于，所述所述目标归档信息包括归档频率、源数据库信息、目标数据库信息和待归档数据表信息；
所述执行与所述目标归档信息相对应的目标建表脚本和目标迁移脚本，将待归档数据从源数据库的待归档数据表迁移到目标数据库的目标数据表中，包括：
基于所述源数据库信息和所述目标数据库信息，构建所述源数据库信息对应的源数据库和所述目标数据库信息对应的目标数据库之间的OGG通信链路；
根据所述源数据库信息、所述目标数据库信息和所述待归档数据表信...
【专利技术属性】
技术研发人员：王振兴，
申请(专利权)人：中国平安人寿保险股份有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。