【技术实现步骤摘要】
数据处理方法及装置
本专利技术实施例涉及数据处理
，尤其涉及一种数据处理方法及装置。
技术介绍
目前，对于某些需要对大量的业务数据进行分析的场景，由于系统特性，已处理过的业务数据将不再参与计算，而是作为历史数据存放在备份表中。随着时间推移，备份表中的数据急剧增加，会导致数据备份效率急剧降低，从而会对系统性能产生一定的不良影响。因此，为了确保系统能够正常运行，性能稳定，则必须将备份表中存放的数据迁移到历史数据库中，以提升业务数据的备份效率。由于系统功能的“免中断”需求，要求数据迁移的过程在系统运行时进行，但同时备份表的结构存在变更需求，则要求业务数据的生产库和历史库中的表结构保持同步。对于备份表中数据的迁移，目前采用的萃取、装置、加载(Extract-Transform-Load，ETL)工具虽然功能强大，但是配置复杂，不支持断点续传、控制搬迁进度等操作。另外，还有的数据迁移脚本工具，虽然处理速度快，但是需要停用系统并需要人工值守。因此，一旦表结构发生变动，工具/代码就需要重写，未完成迁移的表则需要重新迁...
【技术保护点】
1.一种数据处理方法，其特征在于，所述方法包括：/n基于业务数据生产库的源数据表中的目标索引字段，对所述源数据表中待迁移至目标数据表中的记录进行分组，所述目标数据表为业务数据历史库中与所述源数据表对应的备份表；/n将各分组中的记录分别按照自增字段顺序从小到大进行分片，得到多个数据分片；/n按照预设迁移策略将所述多个数据分片迁移至所述目标数据表中；/n将所述源数据表中与已成功迁移至所述目标数据表中的数据分片对应的记录删除。/n
【技术特征摘要】 【专利技术属性】
1.一种数据处理方法，其特征在于，所述方法包括：
基于业务数据生产库的源数据表中的目标索引字段，对所述源数据表中待迁移至目标数据表中的记录进行分组，所述目标数据表为业务数据历史库中与所述源数据表对应的备份表；
将各分组中的记录分别按照自增字段顺序从小到大进行分片，得到多个数据分片；
按照预设迁移策略将所述多个数据分片迁移至所述目标数据表中；
将所述源数据表中与已成功迁移至所述目标数据表中的数据分片对应的记录删除。
2.根据权利要求1所述的方法，其特征在于，所述将各分组中的记录分别按照自增字段顺序从小到大进行分片，得到多个数据分片，包括：
基于迁移条数阈值，将各分组中的记录分别按照自增字段顺序从小到大进行分片，得到所述多个数据分片，其中每个数据分片的终止位置数据序号与起始位置数据序号之差为所述迁移条数阈值。
3.根据权利要求2所述的方法，其特征在于，所述按照预设迁移策略将所述多个数据分片迁移至所述目标数据表中，包括：
按照所述预设迁移策略，将所述多个数据分片中每个数据分片的分片信息记录到迁移配置表中，其中所述每个数据分片的分片信息包括用于表征分片迁移顺序的处理序号以及数据分片的起始位置数据序号、终止位置数据序号；
按照目标分片信息中的处理序号，从所述源数据表中抽取与所述目标分片信息中的起始位置数据序号和终止位置数据序号对应的目标数据分片，所述目标分片信息具有未成功迁移标识；
将所述目标数据分片成功迁移至所述目标数据表中后，将所述目标分片信息的未成功迁移标识标记为成功迁移标识。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
若检测到数据迁移进度控制策略启动运行，则中断按照预设迁移策略将所述多个数据切片迁移至所述目标数据表的进程；以及
若检测到所述数据迁移进度控制策略停止运行，则在预设休眠时长内，禁止再次启动从所述源数据表表向所述目标数据表中迁移数据的进程。
5.根据权利要求3所述的方法，其特征在于，所述方法还包括：
统计按照所述迁移配置表从所述源数据表迁移至所述目标数据表中的数据分片的迁移总数；
判断所述迁移总数与所述多个数据分片的分片总数是否相等；
若相等，则确定从所述源数据表到所述目标数据表的数据迁移成功；
若不等，则确定从所述源数据表到所述目标数据表的数据迁移失败。
6.根据权利要求1所述的方法，其特征在于，所述基于业务数据生产库的源数据表中的目标索引字段，对所述源数据表中待迁移至目标数据表中的记录进行分组，包括：
技术研发人员：彭冲，颜巍，文艺，
申请(专利权)人：中国人民财产保险股份有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。