【技术实现步骤摘要】
本申请涉及数据迁移，具体涉及一种交易数据的冷热数据迁移方法及一种交易数据的冷热数据迁移系统。
技术介绍
1、对于大交易量的联机类系统，存储流水经常在数据库中按最近流水表(t至t-n日流水，n不固定，一般0-30)、历史流水表(t-n-1至t-m日流水)进行较冷(访问频道较低)和较热数据(访问频度更高)的存储，以便系统提供更高吞吐量。因此一般每隔一段时间，就需要从最近流水中迁移搬迁部分的“冷”或即将过期的流水到历史流水表中。现有的数据迁移方案，逐行查询a表数据并对数据加排他锁，然后插入到b表中，然后对a表数据进行删除。在迁移过程中正在迁移的a表的数据会因为有排他锁的存在，数据可读不可写。在该期间，其它事务需要等待上一个事务释放锁，才能占用该资源。如果该事务一直不释放，就需要持续等待下去，直到超过了锁等待时间。当超过锁等待允许的最大时间，就会出现死锁，然后当前事务执行失败，自动执行回滚操作。
2、在非数据迁移的联机交易事务中，对当前正在迁移的数据进行写或更新操作的某几行数据，此时会出现锁的争抢，出现2个情况(2选1)，情况1：因为数据被数据迁移锁定，数据操作无法继续执行；情况2：数据被联机交易事务抢占锁定，数据迁移锁等待或者迁移失败。以商户收单领域数据为例，对t-1数据迁移时，如果商户在t日对t-1日的支付订单数据进行退货，涉及更新t-1日的支付订单的操作，而此时t-1日流水正在进行数据迁移至其它表，情况1：该行支付订单数据已经被数据迁移的事务加上排他锁，无法进行更新，联机交易会等待锁释放或者直接报错，影响联机交易的成功
3、针对交易业务，流水迁移时，因为涉及数据锁定和迁移，如果此时对正在迁移的流水进行退款，会导致对应的数据冲突，目前不存在能够有效解决该技术问题的方案，继续此，亟待提出一种交易数据的冷热数据迁移方案。
技术实现思路
1、本申请实施例的目的是提供一种交易数据的冷热数据迁移方法及系统，以解决现有交易业务进行冷热数据迁移是容易造成数据冲突的问题。
2、为了实现上述目的，本申请第一方面提供一种交易数据的冷热数据迁移方法，包括：基于迁移时序表获取待迁移数据；基于预训练的迁移冲突概率评估模型，对每一笔待迁移数据在各预设时间周期内迁移发生数据冲突的概率进行评估；对各迁移数据在各预设时间周期内迁移发生数据冲突的概率进行排序，获得对应的各迁移数据的冲突风险集；基于各迁移数据的冲突风险集，在各迁移时间周期进行实际迁移数据选择，并执行选择的实际迁移数据的迁移。
3、在本申请实施例中，所述待迁移数据为：交易发生时间距当前时刻超过预设时间区间前的，留存在预设近期流水表上的交易数据。
4、在本申请实施例中，所述方法还包括：进行迁移冲突概率评估模型训练，包括：采集商户行为信息；基于所述商户行为信息，读取每一笔发生退货的历史流水的退货时间，并标记该退货时间，获得所有发生退货的历史流水的标记数据集；将所有发生退货的历史流水的标记数据集作为训练样本，基于预先选择的机器学习算法进行模型训练，获得数据迁移过程中发生退货概率的预测模型，作为迁移冲突概率评估模型。
5、在本申请实施例中，所述基于所述商户行为信息，读取每一笔发生退货的历史流水的退货时间，并标记该退货时间，包括：将每一天划分为多个预设时间周期；基于所述商户行为信息，读取任一笔发生退货的历史流水的退货时间，并将该退货时间所处的预设时间周期标记为1，将其他预设时间周期标记为0；遍历所有发生退货的历史流水，完成各发生退货的历史流水退货时间标记。
6、在本申请实施例中，所述商户行为信息包括：商户属性信息和流水属性信息；所述商户属性信息包括：商户的行业编码、商户的类型、商户的位置、商户的资产信息和商户的终端类型中的一种或多种；所述流水属性信息包括：交易商品信息、交易金额、支付交易时间、优惠金额、权益信息、退货信息中的一种或多种。
7、在本申请实施例中，所述预先选择的机器学习算法为：回归分析、随机森林、人工神经网络和深度学习中的任一种。在本申请实施例中，所述基于预训练的迁移冲突概率评估模型，对每一笔待迁移数据在各预设时间周期内迁移发生数据冲突的概率进行评估，包括：基于将各待迁移数据作为预训练的迁移冲突概率评估模型的入参，进行模型训练，输出对应迁移数据在各预设时间周期内发生退货的概率；将迁移数据在各预设时间周期内发生退货的概率作为对应的迁移数据在各预设时间周期内迁移发生数据冲突的概率。
8、在本申请实施例中，所述基于各迁移数据的冲突风险集，在各迁移时间周期进行实际迁移数据选择，并执行选择的实际迁移数据的迁移，包括：在当前迁移时间周期，读取各迁移数据的冲突风险集，过滤掉其中的在当前迁移时间周期内数据迁移发生数据冲突概率大于预设阈值的迁移数据；对剩余数据执行数据迁移；将过滤掉的迁移数据合并到下一个迁移时间周期的待迁移数据中，重新执行对是否执行迁移的判断。
9、在本申请实施例中，若在数据迁移过程中，某迁移数据发生数据冲突，所述方法还包括：基于当前迁移数据的属性信息进行锁等待时间预测；若预测等待时间小于预设时间阈值，则提醒用户处于数据访问等待中，并保持锁等待状态；若预测等待时间不小于预设时间阈值，则推送预测时间到用户端，并提醒用户间隔预测时间后再发起数据访问。
10、本申请第二方面提供一种交易数据的冷热数据迁移系统，包括：采集单元，用于基于迁移时序表获取待迁移数据；评估单元，用于基于预训练的迁移冲突概率评估模型，对每一笔待迁移数据在各预设时间周期内迁移发生数据冲突的概率进行评估；排序单元，用于对各迁移数据在各预设时间周期内迁移发生数据冲突的概率进行排序，获得对应的各迁移数据的冲突风险集；迁移单元，用于基于各迁移数据的冲突风险集，在各迁移时间周期进行实际迁移数据选择，并执行选择的实际迁移数据的迁移。
11、本申请第三方面提供一种处理器，被配置成执行上述的交易数据的冷热数据迁移方法。
12、本申请第四方面提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令在被处理器执行时使得所述处理器被配置成执行上述的交易数据的冷热数据迁移方法。
13、本申请第五方面提供一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现上述的交易数据的冷热数据迁移方法。
14、通过上述技术方案，本专利技术方案针对交易业务，对待迁移数据进行各预设时间周期内迁移发生数据冲突的概率评估，以提前进行冲突情况预测，然后基于预测结果进行差异性的数据迁移。本专利技术方案可以有效减少数据迁移过程中出现数据冲突即联机业务和数据迁移批量的锁争抢的情况，降低数据迁移过程中对联机业务的影响，提高联机业务的可用度。
15、本申请实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
本文档来自技高网...【技术保护点】
1.一种交易数据的冷热数据迁移方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述待迁移数据为：交易发生时间距当前时刻超过预设时间区间前的，留存在预设近期流水表上的交易数据。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
4.根据权利要求3所述的方法，其特征在于，所述基于所述商户行为信息，读取每一笔发生退货的历史流水的退货时间，并标记该退货时间，包括：
5.根据权利要求3所述的方法，其特征在于，所述商户行为信息包括：
6.根据权利要求3所述的方法，其特征在于，所述预先选择的机器学习算法为：
7.根据权利要求1所述的方法，其特征在于，所述基于预训练的迁移冲突概率评估模型，对每一笔待迁移数据在各预设时间周期内迁移发生数据冲突的概率进行评估，包括：
8.根据权利要求1所述的方法，其特征在于，所述基于各迁移数据的冲突风险集，在各迁移时间周期进行实际迁移数据选择，并执行选择的实际迁移数据的迁移，包括：
9.根据权利要求1所述的方法，其特征在于，若在数据迁
10.一种交易数据的冷热数据迁移系统，其特征在于，所述系统包括：
11.一种处理器，其特征在于，被配置成执行根据权利要求1至9中任一项所述的交易数据的冷热数据迁移方法。
12.一种机器可读存储介质，该机器可读存储介质上存储有指令，其特征在于，该指令在被处理器执行时使得所述处理器被配置成执行根据权利要求1至9中任一项所述的交易数据的冷热数据迁移方法。
13.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序在被处理器执行时实现根据权利要求1至9中任一项所述的交易数据的冷热数据迁移方法。
...【技术特征摘要】
1.一种交易数据的冷热数据迁移方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述待迁移数据为：交易发生时间距当前时刻超过预设时间区间前的，留存在预设近期流水表上的交易数据。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
4.根据权利要求3所述的方法，其特征在于，所述基于所述商户行为信息，读取每一笔发生退货的历史流水的退货时间，并标记该退货时间，包括：
5.根据权利要求3所述的方法，其特征在于，所述商户行为信息包括：
6.根据权利要求3所述的方法，其特征在于，所述预先选择的机器学习算法为：
7.根据权利要求1所述的方法，其特征在于，所述基于预训练的迁移冲突概率评估模型，对每一笔待迁移数据在各预设时间周期内迁移发生数据冲突的概率进行评估，包括：
8.根据权利要求1所...
【专利技术属性】
技术研发人员：邱文超，揭育柱，梁艳姬，李观钊，付小丽，陈浩然，蒙龙达，郑文伟，郑义霓，钟夺冠，陈澍珅，
申请(专利权)人：中国建设银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。