交易数据的冷热数据迁移方法及系统技术方案

技术编号:40093892 阅读:24 留言:0更新日期:2024-01-23 16:38
本申请实施例提供一种交易数据的冷热数据迁移方法及系统,属于数据迁移技术领域。所述方法包括:基于迁移时序表获取待迁移数据;基于预训练的迁移冲突概率评估模型,对每一笔待迁移数据在各预设时间周期内迁移发生数据冲突的概率进行评估;对各迁移数据在各预设时间周期内迁移发生数据冲突的概率进行排序,获得对应各迁移数据的冲突风险集;基于各迁移数据的冲突风险集,在各迁移时间周期进行实际迁移数据选择,并执行选择的实际迁移数据迁移。本发明专利技术方案可以有效减少数据迁移过程中出现数据冲突即联机业务和数据迁移批量的锁争抢的情况,降低数据迁移过程中对联机业务的影响,提高联机业务的可用度。

【技术实现步骤摘要】

本申请涉及数据迁移,具体涉及一种交易数据的冷热数据迁移方法及一种交易数据的冷热数据迁移系统。


技术介绍

1、对于大交易量的联机类系统,存储流水经常在数据库中按最近流水表(t至t-n日流水,n不固定,一般0-30)、历史流水表(t-n-1至t-m日流水)进行较冷(访问频道较低)和较热数据(访问频度更高)的存储,以便系统提供更高吞吐量。因此一般每隔一段时间,就需要从最近流水中迁移搬迁部分的“冷”或即将过期的流水到历史流水表中。现有的数据迁移方案,逐行查询a表数据并对数据加排他锁,然后插入到b表中,然后对a表数据进行删除。在迁移过程中正在迁移的a表的数据会因为有排他锁的存在,数据可读不可写。在该期间,其它事务需要等待上一个事务释放锁,才能占用该资源。如果该事务一直不释放,就需要持续等待下去,直到超过了锁等待时间。当超过锁等待允许的最大时间,就会出现死锁,然后当前事务执行失败,自动执行回滚操作。

2、在非数据迁移的联机交易事务中,对当前正在迁移的数据进行写或更新操作的某几行数据,此时会出现锁的争抢,出现2个情况(2选1),情况1:因为数据被数据迁移锁定本文档来自技高网...

【技术保护点】

1.一种交易数据的冷热数据迁移方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述待迁移数据为:交易发生时间距当前时刻超过预设时间区间前的,留存在预设近期流水表上的交易数据。

3.根据权利要求1所述的方法,其特征在于,所述方法还包括:

4.根据权利要求3所述的方法,其特征在于,所述基于所述商户行为信息,读取每一笔发生退货的历史流水的退货时间,并标记该退货时间,包括:

5.根据权利要求3所述的方法,其特征在于,所述商户行为信息包括:

6.根据权利要求3所述的方法,其特征在于,所述预先选择的机器学习算法为...

【技术特征摘要】

1.一种交易数据的冷热数据迁移方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述待迁移数据为:交易发生时间距当前时刻超过预设时间区间前的,留存在预设近期流水表上的交易数据。

3.根据权利要求1所述的方法,其特征在于,所述方法还包括:

4.根据权利要求3所述的方法,其特征在于,所述基于所述商户行为信息,读取每一笔发生退货的历史流水的退货时间,并标记该退货时间,包括:

5.根据权利要求3所述的方法,其特征在于,所述商户行为信息包括:

6.根据权利要求3所述的方法,其特征在于,所述预先选择的机器学习算法为:

7.根据权利要求1所述的方法,其特征在于,所述基于预训练的迁移冲突概率评估模型,对每一笔待迁移数据在各预设时间周期内迁移发生数据冲突的概率进行评估,包括:

8.根据权利要求1所...

【专利技术属性】
技术研发人员:邱文超揭育柱梁艳姬李观钊付小丽陈浩然蒙龙达郑文伟郑义霓钟夺冠陈澍珅
申请(专利权)人:中国建设银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1