【技术实现步骤摘要】
本申请涉及数据迁移,具体涉及一种交易数据的冷热数据迁移方法及一种交易数据的冷热数据迁移系统。
技术介绍
1、对于大交易量的联机类系统,存储流水经常在数据库中按最近流水表(t至t-n日流水,n不固定,一般0-30)、历史流水表(t-n-1至t-m日流水)进行较冷(访问频道较低)和较热数据(访问频度更高)的存储,以便系统提供更高吞吐量。因此一般每隔一段时间,就需要从最近流水中迁移搬迁部分的“冷”或即将过期的流水到历史流水表中。现有的数据迁移方案,逐行查询a表数据并对数据加排他锁,然后插入到b表中,然后对a表数据进行删除。在迁移过程中正在迁移的a表的数据会因为有排他锁的存在,数据可读不可写。在该期间,其它事务需要等待上一个事务释放锁,才能占用该资源。如果该事务一直不释放,就需要持续等待下去,直到超过了锁等待时间。当超过锁等待允许的最大时间,就会出现死锁,然后当前事务执行失败,自动执行回滚操作。
2、在非数据迁移的联机交易事务中,对当前正在迁移的数据进行写或更新操作的某几行数据,此时会出现锁的争抢,出现2个情况(2选1),情况1:因
...【技术保护点】
1.一种交易数据的冷热数据迁移方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述待迁移数据为:交易发生时间距当前时刻超过预设时间区间前的,留存在预设近期流水表上的交易数据。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
4.根据权利要求3所述的方法,其特征在于,所述基于所述商户行为信息,读取每一笔发生退货的历史流水的退货时间,并标记该退货时间,包括:
5.根据权利要求3所述的方法,其特征在于,所述商户行为信息包括:
6.根据权利要求3所述的方法,其特征在于,所述预先
...【技术特征摘要】
1.一种交易数据的冷热数据迁移方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述待迁移数据为:交易发生时间距当前时刻超过预设时间区间前的,留存在预设近期流水表上的交易数据。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
4.根据权利要求3所述的方法,其特征在于,所述基于所述商户行为信息,读取每一笔发生退货的历史流水的退货时间,并标记该退货时间,包括:
5.根据权利要求3所述的方法,其特征在于,所述商户行为信息包括:
6.根据权利要求3所述的方法,其特征在于,所述预先选择的机器学习算法为:
7.根据权利要求1所述的方法,其特征在于,所述基于预训练的迁移冲突概率评估模型,对每一笔待迁移数据在各预设时间周期内迁移发生数据冲突的概率进行评估,包括:
8.根据权利要求1所...
【专利技术属性】
技术研发人员:邱文超,揭育柱,梁艳姬,李观钊,付小丽,陈浩然,蒙龙达,郑文伟,郑义霓,钟夺冠,陈澍珅,
申请(专利权)人:中国建设银行股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。