本申请实施例提供了一种数据迁移的方法、装置及计算机可读存储介质，可应用于金融领域或其他领域，该方法包括：预先建立索引表，当需要对待迁移数据进行迁移时，从索引表中筛选出与待迁移数据对应的数据表的更新记录，根据与待迁移数据对应的数据表的更新记录，获取待迁移数据对应的数据表的更新后的数据结构，将待迁移数据迁入至与更新后的数据结构对应的新数据表中，当待迁移数据中存在无法按照更新后的数据结构进行迁移的数据时，则将无法按照更新后的数据结构进行迁移的数据作为待更新数据，对待更新数据进行更新得到更新数据，并将更新数据迁移至新数据表中，从而完成待迁移数据的迁移。据的迁移。据的迁移。
【技术实现步骤摘要】
一种数据迁移的方法、装置及计算机可读存储介质
[0001]本申请涉及数据处理
，特别涉及一种数据迁移的方法、装置及计算机可读存储介质。
技术介绍
[0002]目前，当新系统上线时，需要将旧系统中已存在的数据迁移到新系统中。而在进行数据迁移时，由于生产环境的多样性造成数据多样性，在做数据迁移时，旧线系统中已存在的存量数据因为数据结构的变更，导致部分存量数据无法按照新系统的数据规则进行处理，这部分数据统称为脏数据，导致脏数据无法正常存放于新系统中，新系统出现数据丢失，因此，如何避免由于系统更新而产生数据丢失，成为当下需要解决的技术问题。
技术实现思路
[0003]鉴于上述问题，本专利技术的目的在于提供一种数据迁移的方法、装置及计算机可读存储介质，使得脏数据能够正常存放于更新后的新系统中，避免系统更新时出现数据丢失，具体方案如下：
[0004]第一方面，本专利技术实施例公开了一种数据迁移的方法，所述方法包括：
[0005]预先建立索引表；所述索引表包括各个数据表每次进行更新时的更新记录；所述更新记录包括数据表更新时的数据结构以及更新时间；
[0006]当需要对待迁移数据进行迁移时，从所述索引表中筛选出与所述待迁移数据对应的数据表的更新记录，得到与所述待迁移数据对应的各个数据结构的更新时间；
[0007]根据所述与所述待迁移数据对应的数据表的更新记录，获取所述待迁移数据对应的数据表的更新后的数据结构；
[0008]将所述待迁移数据迁入至与所述更新后的数据结构对应的新数据表中；
[0009]当所述待迁移数据中存在无法按照所述更新后的数据结构进行迁移的数据时，则将所述无法按照所述更新后的数据结构进行迁移的数据作为待更新数据；对所述待更新数据进行更新，得到更新数据；将所述更新数据迁移至所述新数据表中。
[0010]可选的，所述方法还包括：
[0011]检测所述索引表中的数据表是否发生变更；
[0012]当检测到所述索引表中存在变更的数据表时，自动生成所述变更的数据表对应的更新记录，并存储所述变更的数据表对应的更新记录到所述索引表中。
[0013]可选的，所述对所述待更新数据进行更新，包括：
[0014]获取所述待更新数据中每个数据块对应的当前数据结构；所述当前数据结构为所述与所述待迁移数据对应的数据表的更新记录中与所述数据块的数据结构相同的数据结构；所述当前数据结构所对应的更新时间早于所述更新后的数据结构所对应的更新时间；
[0015]获取所述每个数据块对应的当前数据结构与所述更新后的数据结构之间的差异数据；
[0016]根据所述差异数据对所述待更新数据中每个数据块对应的当前数据结构进行更新，使得所述待更新数据中每个数据块的数据结构与所述更新后的数据结构相同。
[0017]可选的，所述获取所述待更新数据中每个数据块对应的当前数据结构，包括：
[0018]获取所述与所述待迁移数据对应的数据表的更新记录中更新时间早于所述更新后的数据结构所对应的更新时间的数据结构集；
[0019]将所述数据结构集中的数据结构按照更新时间由晚到早的顺序进行排序；按照所述更新时间由晚到早的顺序，依次将所述数据结构集中的数据结构与所述待更新数据中每个数据块的数据结构进行比对；当正在进行比对的数据结构与所述待更新数据中的任意一个数据块的数据结构相同时，将所述正在进行比对的数据结构作为与所述数据块对应的所述当前数据结构，直至所述待更新数据中的每个数据块均比对到对应的所述当前数据结构。
[0020]可选的，所述按照所述更新时间由晚到早的顺序，依次将所述数据结构集中的数据结构与所述待更新数据中每个数据块的数据结构进行比对，包括：
[0021]按照所述更新时间由晚到早的顺序依次从所述数据结构集中确定出与所述更新时间对应的数据结构，根据所述与所述更新时间对应的数据结构，对所述待更新数据中的每个数据块进行迁移；
[0022]判断所述待更新数据中是否存在迁移到与所述更新时间对应的数据结构中的数据块；
[0023]若所述待更新数据中存在落入到与所述更新时间对应的数据结构中的数据块，则比对结果为所述数据块与所述更新时间对应的数据结构相同。
[0024]第二方面，本专利技术实施例公开了一种数据迁移装置，所述装置包括：
[0025]创建单元，用于预先建立索引表；所述索引表包括各个数据表每次进行更新时的更新记录；所述更新记录包括数据表更新时的数据结构以及更新时间；
[0026]筛选单元，用于当需要对待迁移数据进行迁移时，从所述索引表中筛选出与所述待迁移数据对应的数据表的更新记录，得到与所述待迁移数据对应的各个数据结构的更新时间；根据所述与所述待迁移数据对应的数据表的更新记录，获取所述待迁移数据对应的数据表的更新后的数据结构；
[0027]数据处理单元，用于将所述待迁移数据迁入至与所述更新后的数据结构对应的新数据表中；当所述待迁移数据中存在无法按照所述更新后的数据结构进行迁移的数据时，则将所述无法按照所述更新后的数据结构进行迁移的数据作为待更新数据；对所述待更新数据进行更新，得到更新数据；将所述更新数据迁移至所述新数据表中。
[0028]可选的，所述装置还包括：
[0029]更新单元，用于检测所述索引表中的数据表是否发生变更；
[0030]当检测到所述索引表中存在变更的数据表时，自动生成所述变更的数据表对应的更新记录，并存储所述变更的数据表对应的更新记录到所述索引表中。
[0031]可选的，所述数据处理单元具体用于：
[0032]获取所述待更新数据中每个数据块对应的当前数据结构；所述当前数据结构为所述与所述待迁移数据对应的数据表的更新记录中与所述数据块的数据结构相同的数据结构；所述当前数据结构所对应的更新时间早于所述更新后的数据结构所对应的更新时间；
[0033]获取所述每个数据块对应的当前数据结构与所述更新后的数据结构之间的差异数据；
[0034]根据所述差异数据对所述待更新数据中每个数据块对应的当前数据结构进行更新，使得所述待更新数据中每个数据块的数据结构与所述更新后的数据结构相同。
[0035]可选的，所述数据处理单元具体用于：
[0036]获取所述与所述待迁移数据对应的数据表的更新记录中更新时间早于所述更新后的数据结构所对应的更新时间的数据结构集；
[0037]将所述数据结构集中的数据结构按照更新时间由晚到早的顺序进行排序；按照所述更新时间由晚到早的顺序，依次将所述数据结构集中的数据结构与所述待更新数据中每个数据块的数据结构进行比对；当正在进行比对的数据结构与所述待更新数据中的任意一个数据块的数据结构相同时，将所述正在进行比对的数据结构作为与所述数据块对应的所述当前数据结构，直至所述待更新数据中的每个数据块均比对到对应的所述当前数据结构。
[0038]第三方面，本专利技术实施例公开了一种计算机可读存储介质，其特征在于，包括计算机本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据迁移的方法，其特征在于，所述方法包括：预先建立索引表；所述索引表包括各个数据表每次进行更新时的更新记录；所述更新记录包括数据表更新时的数据结构以及更新时间；当需要对待迁移数据进行迁移时，从所述索引表中筛选出与所述待迁移数据对应的数据表的更新记录，得到与所述待迁移数据对应的各个数据结构的更新时间；根据所述与所述待迁移数据对应的数据表的更新记录，获取所述待迁移数据对应的数据表的更新后的数据结构；将所述待迁移数据迁入至与所述更新后的数据结构对应的新数据表中；当所述待迁移数据中存在无法按照所述更新后的数据结构进行迁移的数据时，则将所述无法按照所述更新后的数据结构进行迁移的数据作为待更新数据；对所述待更新数据进行更新，得到更新数据；将所述更新数据迁移至所述新数据表中。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：检测所述索引表中的数据表是否发生变更；当检测到所述索引表中存在变更的数据表时，自动生成所述变更的数据表对应的更新记录，并存储所述变更的数据表对应的更新记录到所述索引表中。3.根据权利要求1所述的方法，其特征在于，所述对所述待更新数据进行更新，包括：获取所述待更新数据中每个数据块对应的当前数据结构；所述当前数据结构为所述与所述待迁移数据对应的数据表的更新记录中与所述数据块的数据结构相同的数据结构；所述当前数据结构所对应的更新时间早于所述更新后的数据结构所对应的更新时间；获取所述每个数据块对应的当前数据结构与所述更新后的数据结构之间的差异数据；根据所述差异数据对所述待更新数据中每个数据块对应的当前数据结构进行更新，使得所述待更新数据中每个数据块的数据结构与所述更新后的数据结构相同。4.根据权利要求3所述的方法，其特征在于，所述获取所述待更新数据中每个数据块对应的当前数据结构，包括：获取所述与所述待迁移数据对应的数据表的更新记录中更新时间早于所述更新后的数据结构所对应的更新时间的数据结构集；将所述数据结构集中的数据结构按照更新时间由晚到早的顺序进行排序；按照所述更新时间由晚到早的顺序，依次将所述数据结构集中的数据结构与所述待更新数据中每个数据块的数据结构进行比对；当正在进行比对的数据结构与所述待更新数据中的任意一个数据块的数据结构相同时，将所述正在进行比对的数据结构作为与所述数据块对应的所述当前数据结构，直至所述待更新数据中的每个数据块均比对到对应的所述当前数据结构。5.根据权利要求4所述的方法，其特征在于，所述按照所述更新时间由晚到早的顺序，依次将所述数据结构集中的数据结构与所述待更新数据中每个数据块的数据结构进行比对，包括：按照所述更新时间由晚到早的顺序依次从所述数据结构集中确定出与所述更新时间对应的数据结构，根据所述与所述更新时间对应的数据结构，对所述待更新数据中的每个数据块进行迁移；判断所述待更新数据中是否存在迁移到与所述更新时间对...
【专利技术属性】
技术研发人员：李婷姝，张宗洋，夏苗苗，雷蕾，王玉婷，赵晓燕，刘慧敏，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。