一种数据转移方法、装置、设备及存储介质制造方法及图纸

本申请实施例提供了一种数据转移方法、装置、设备及存储介质，涉及数据库技术领域，该方法包括：从关系数据库的关系业务表中读取待转移数据；将待转移数据转移至分布式数据库的数据表中，以及将待转移数据的索引信息保存在分布式数据库的索引表中，索引表的行键包括：具备唯一标识功能的拼接字段，拼接字段是基于关系业务表的全部业务字段中至少一个业务字段拼接获得的；索引表的列族包括：业务哈希字段和全部业务字段中的至少一个状态字段，业务哈希字段与全部业务字段中至少一个业务字段关联。本申请实施例中，将状态字段从索引表的行键转移至索引表的列族中，可以避免用户在查询历史数据时出现数据重复的现象，同时提升数据转移效率。转移效率。转移效率。

【技术实现步骤摘要】
一种数据转移方法、装置、设备及存储介质


[0001]本专利技术涉及数据库
，尤其涉及一种数据转移方法、装置、设备及存储介质。

技术介绍

[0002]当业务数据量(比如交通出行业务的历史流水数据)过大时，往往会采用分布式数据库对数据进行存储。在实际应用中，先将采集的数据保存在关系型数据库中，然后将数据从关系型数据库转移至分布式数据库中。
[0003]但是，在实际交易过程中会出现不断变化的状态字段，如交易支付状态、清算状态、用户补登状态、客诉状态、进出站状态等。因此，在数据转移过程中，在关系型数据库中的一条交易记录，在转移至分布式数据库后会对应多条重复的交易记录，多条重复的交易记录仅状态字段的信息不同，从而导致在查询历史数据时出现数据重复的现象。

技术实现思路

[0004]本申请实施例提供了一种数据转移方法、装置、设备及存储介质，用于在查询历史数据时出现数据重复的问题。
[0005]一方面，本申请实施例提供了一种数据转移方法，包括：
[0006]从关系数据库的关系业务表中读取待转移数据；
[0007]将所述待转移数据转移至分布式数据库的数据表中，以及将所述待转移数据的索引信息保存在所述分布式数据库的索引表中；
[0008]其中，所述索引表的行键包括：具备唯一标识功能的拼接字段，所述拼接字段是基于所述关系业务表的全部业务字段中至少一个业务字段拼接获得的；所述索引表的列族包括：业务哈希字段和所述全部业务字段中的至少一个状态字段，所述业务哈希字段与所述全部业务字段中至少一个业务字段关联。
[0009]本申请实施例中，将状态字段从索引表的行键转移至索引表的列族中，通过冗余存储提升历史数据查询过滤的效率，避免用户在查询历史数据时出现数据重复的现象，同时提升数据转移效率。通过对行键非时间字段的首字段计算摘要，大大减少了数据查询时的热点问题。
[0010]可选地，所述数据表的列族包括所述关系业务表的全部业务字段，所述数据表的行键包括：业务哈希字段。
[0011]可选地，所述将所述待转移数据的索引信息保存在所述分布式数据库的索引表中，包括：
[0012]将所述索引信息中与所述拼接字段关联的至少一个业务字段的字段信息按照预设拼接顺序进行拼接，获得所述拼接字段的字段信息；
[0013]将所述拼接字段的字段信息作为所述索引表的行键内容添加至保存在所述索引表中。
[0014]本申请实施例中，将业务字段按照预设的拼接顺序进行拼接，将得到的拼接字段的信息作为索引表的行键内容，可以增强索引表行键的唯一性。
[0015]可选地，所述将所述待转移数据的索引信息保存在所述分布式数据库的索引表中，包括：
[0016]从所述索引信息中获取与所述拼接字段关联的至少一个业务字段的字段信息；
[0017]采用摘要算法，确定所述至少一个业务字段中位于所述拼接字段第一位的目标字段的字段信息的摘要；
[0018]按照预设顺序，将所述目标字段的字段信息的摘要与所述至少一个业务字段中的其他业务字段的字段信息拼接，获得所述拼接字段的字段信息；
[0019]将所述拼接字段的字段信息作为所述索引表的行键内容添加至保存在所述索引表中。
[0020]本申请实施例中，通过对拼接字段第一位的目标字段计算摘要，来替代原本的明文的拼接字段，使得索引表的行键具备很强的随机性，大大减少了查询热点。
[0021]可选地，还包括：
[0022]将所述索引信息中与所述业务哈希字段和所述状态字段各自关联的业务字段的字段信息，作为所述索引表的列族内容添加至所述索引表中。
[0023]本申请实施例中，将业务哈希字段和状态字段存储至索引表的列中，可以避免状态字段在行键而导致查询数据出现重复的问题，同时提升数据转移效率。通过对行键非时间字段的首字段计算摘要，大大减少了数据查询时的热点问题。
[0024]可选地，所述从关系数据库的关系业务表中读取待转移数据之前，还包括：
[0025]获取所述全部业务字段中至少一个业务字段；
[0026]若所述至少一个业务字段的首个字段不是时间字段，则对所述首个字段计算摘要；
[0027]以所述摘要作为开头字段，按照预设的顺序将所述摘要和所述至少一个业务字段中的其他字段进行拼接，获得所述拼接字段，并将所述拼接字段作为所述索引表的行键。
[0028]本申请实施例中，在转移数据之前，对索引表的行键进行配置，可以在数据转移时按照需求转移成需要的格式。若首个字段不是时间字段，可以对首个字段计算摘要，避免了字段信息的相似而导致分布式数据存储出现热点现象。
[0029]可选地，还包括：
[0030]若所述至少一个业务字段的首个字段是时间字段，按照预设的顺序将所述至少一个业务字段进行拼接，获得所述拼接字段，并将所述拼接字段作为所述索引表的行键。
[0031]本申请实施例中，若业务字段的首个字段是时间字段，则直接进行字段拼接，从而避免影响一些根据时间范围进行数据查找的业务。
[0032]可选地，所述从关系数据库的关系业务表中读取待转移数据之前，还包括：
[0033]获取所述全部业务字段中至少一个业务字段；
[0034]按照预设的顺序将所述至少一个业务字段中的字段信息进行拼接，并对拼接结果进行哈希处理，获得所述业务哈希字段；
[0035]将所述业务哈希字段和所述全部业务字段中的至少一个状态字段，作为所述索引表的列族。
[0036]本申请实施例中，在转移数据之前，对索引表的列进行配置，可以在数据转移时按照需求转移成需要的格式。
[0037]一方面，本申请实施例提供了一种数据转移装置，包括：
[0038]读取模块，从关系数据库的关系业务表中读取待转移数据；
[0039]转移模块，将所述待转移数据转移至分布式数据库的数据表中，以及将所述待转移数据的索引信息保存在所述分布式数据库的索引表中；
[0040]其中，所述索引表的行键包括：具备唯一标识功能的拼接字段，所述拼接字段是基于所述关系业务表的全部业务字段中至少一个业务字段拼接获得的；所述索引表的列族包括：业务哈希字段和所述全部业务字段中的至少一个状态字段，所述业务哈希字段与所述全部业务字段中至少一个业务字段关联。
[0041]可选地，所述数据表的列族包括所述关系业务表的全部业务字段，所述数据表的行键包括：业务哈希字段。
[0042]可选地，所述转移模块具体用于：
[0043]将所述索引信息中与所述拼接字段关联的至少一个业务字段的字段信息按照预设顺序进行拼接，获得所述拼接字段的字段信息；
[0044]将所述拼接字段的字段信息作为所述索引表的行键内容添加至所述索引表中。
[0045]可选地，所述转移模块具体用于：
[0046]从所述索引信息中获取与所述拼接字段关联的至少一个业务字段的字段信息；
[0047]采用摘要算法，确定所述至本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据转移方法，其特征在于，包括：从关系数据库的关系业务表中读取待转移数据；将所述待转移数据转移至分布式数据库的数据表中，以及将所述待转移数据的索引信息保存在所述分布式数据库的索引表中；其中，所述索引表的行键包括：具备唯一标识功能的拼接字段，所述拼接字段是基于所述关系业务表的全部业务字段中至少一个业务字段拼接获得的；所述索引表的列族包括：业务哈希字段和所述全部业务字段中的至少一个状态字段，所述业务哈希字段与所述全部业务字段中至少一个业务字段关联。2.如权利要求1所述的方法，其特征在于，所述数据表的列族包括所述关系业务表的全部业务字段，所述数据表的行键包括：业务哈希字段。3.如权利要求1所述的方法，其特征在于，所述将所述待转移数据的索引信息保存在所述分布式数据库的索引表中，包括：将所述索引信息中与所述拼接字段关联的至少一个业务字段的字段信息按照拼接顺序进行拼接，获得所述拼接字段的字段信息；将所述拼接字段的字段信息作为所述索引表的行键内容添加至保存在所述索引表中。4.如权利要求1所述的方法，其特征在于，所述将所述待转移数据的索引信息保存在所述分布式数据库的索引表中，包括：从所述索引信息中获取与所述拼接字段关联的至少一个业务字段的字段信息；采用摘要算法，确定所述至少一个业务字段中位于所述拼接字段第一位的目标字段的字段信息的摘要；按照拼接顺序，将所述目标字段的字段信息的摘要与所述至少一个业务字段中的其他业务字段的字段信息拼接，获得所述拼接字段的字段信息；将所述拼接字段的字段信息作为所述索引表的行键内容添加至所述索引表中。5.如权利要求3或4所述的方法，其特征在于，还包括：将所述索引信息中与所述业务哈希字段和所述状态字段各自关联的业务字段的字段信息，作为所述索引表的列族内容添加至保存在所述索引表中。6.如权利要求1所述的方法，其特征在于，所述从关系数据库的关系业务表中读取待转移数据之前，还包括：获取所述全部业...

【专利技术属性】
技术研发人员：姚田文，韦超豪，孙琳，陆东东，董彪，许先文，
申请(专利权)人：中国银联股份有限公司，
类型：发明
国别省市：