数据处理方法、装置、设备及计算机程序产品制造方法及图纸

本发明专利技术公开了一种数据处理方法，遍历第一数据库的待迁移数据，分别确定所述待迁移数据中各个子数据对应的主列数据以及次列数据；基于所述主列数据以及次列数据，创建第二数据库对应的目标表；基于所述次列数据以及所述自由列，确定绑定关系表；关联存储所述目标表以及所述绑定关系表至所述第二数据库的转换层，并基于所述目标表以及所述绑定关系表将所述待迁移数据迁移至所述第二数据库。本发明专利技术还公开了一种数据处理装置、设备及计算机程序产品。本发明专利技术通过自由列与次列数据的绑定关系实现RDBMS列的复用，节省第二数据库的存储空间以及提升存储效率，进而提升数据迁移的安全性以及迁移效率。及迁移效率。及迁移效率。

【技术实现步骤摘要】
数据处理方法、装置、设备及计算机程序产品


[0001]本专利技术涉及数据处理
，尤其涉及一种数据处理方法、装置、设备及计算机程序产品。

技术介绍

[0002]无schema数据库是指无需定义数据库的schema，其优点包括根据需要插入列数据、校验松散、开发速度快以及读写能力强等，但随着数据库的规模发展，无schema的缺乏限制而成为发展的阻碍，因此，需要将无schema数据库向RDBMS(Relational Database Management System，关系数据库管理系统)(例如oracle，mysql)进行迁移。无schema数据库和RDBMS属于异构数据库，所以，无schema数据库向RDBMS的迁移，不仅仅是将数据从无schema数据库迁移到RDBMS中，还需要对已迁移列和数据的整合以及进行RDBMS开发风格的转变等。
[0003]目前，无schema数据库向RDBMS的迁移的方式包括一对一映射方式，具体时无schema数据库的列和RDBMS的列进行一对一映射。但是，实际的迁移过程中，由于无schema数据库的数据中存在大量的不属于业务场景的属性，导致RDBMS的存储效率，造成数据库迁移的效率低。
[0004]上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

[0005]本专利技术的主要目的在于提供一种数据处理方法、装置、设备及计算机程序产品，旨在解决无schema数据库向RDBMS迁移的效率低的技术问题。
[0006]为实现上述目的，本专利技术提供一种数据处理方法，所述数据处理方法包括以下步骤：
[0007]遍历第一数据库的待迁移数据，分别确定所述待迁移数据中各个子数据对应的主列数据以及次列数据，其中，所述第一数据库为无Schema数据库；
[0008]基于所述主列数据以及次列数据，创建第二数据库对应的目标表，其中，所述目标表包括所述主列数据对应的主列以及所述次列数据对应的自由列，所述第二数据库为关系数据库管理系统RDBMS数据库；
[0009]基于所述次列数据以及所述自由列，确定绑定关系表；
[0010]关联存储所述目标表以及所述绑定关系表至所述第二数据库的转换层，并基于所述目标表以及所述绑定关系表将所述待迁移数据迁移至所述第二数据库，其中，所述转换层位于所述第二数据库的服务处以及访问数据库层之间。
[0011]进一步地，所述基于所述目标表以及所述绑定关系表将所述待迁移数据迁移至所述第二数据库的步骤之后，还包括：
[0012]在接收到自由列删除指令时，获取所述自由列删除指令对应的第一目标表中的待
删除自由列；
[0013]在所述第一目标表中删除所述待删除自由列，并在所述绑定关系表删除所述待删除自由列对应的待删除绑定关系列。
[0014]进一步地，所述基于所述目标表以及所述绑定关系表将所述待迁移数据迁移至所述第二数据库的步骤之后，还包括：
[0015]在接收到自由列增加指令时，确定所述自由列增加指令对应待增加数据的数据类型以及数据大小，并确定所述自由列增加指令对应的第二目标表；
[0016]确定所述第二目标表的自由列中是否存在与数据类型以及数据大小匹配的第一空列；
[0017]若存在，则基于所述待增加数据，更新所述第一空列。
[0018]进一步地，所述确定所述目标表的自由列中是否存在与数据类型以及数据大小匹配的第一空列的步骤之后，还包括：
[0019]若不存在，则基于数据类型以及数据大小在所述目标表的自由列中扩展第二空列，并基于所述待增加数据，更新所述第二空列。
[0020]进一步地，所述基于所述目标表以及所述绑定关系表将所述待迁移数据迁移至所述第二数据库的步骤之后，还包括：
[0021]在接收到自由列迁移指令时，确定所述自由列迁移指令对应的第三目标表，以及基于所述第三目标表的自由列确定所述自由列迁移指令对应的待迁移数据、当前列以及目标列；
[0022]将所述待迁移数据迁移至所述目标列，并在所述第三目标表中删除所述当前列。
[0023]进一步地，所述基于所述目标表以及所述绑定关系表将所述待迁移数据迁移至所述第二数据库的步骤之后，还包括：
[0024]在接收到数据查询指令时，确定所述数据查询指令对应的第四目标表，并基于所述第四目标表确定所述数据查询指令对应的目标主列以及目标自由列；
[0025]基于所述目标主列以及目标自由列查询所述第四目标表，以获得所述数据查询指令对应的目标数据。
[0026]进一步地，所述遍历第一数据库的待迁移数据，分别确定所述待迁移数据中各个子数据对应的主列数据以及次列数据的步骤包括：
[0027]遍历第一数据库的待迁移数据，确定当前遍历的子数据对应的业务场景以及业务需求，并基于业务场景以及业务需求确定当前遍历的子数据主列数据以及次列数据，直至所述待迁移数据遍历完成。
[0028]此外，为实现上述目的，本专利技术还提供一种数据处理装置，所述数据处理装置包括：
[0029]遍历模块，用于遍历第一数据库的待迁移数据，分别确定所述待迁移数据中各个子数据对应的主列数据以及次列数据，其中，所述第一数据库为无Schema数据库；
[0030]创建模块，用于基于所述主列数据以及次列数据，创建第二数据库对应的目标表，其中，所述目标表包括所述主列数据对应的主列以及所述次列数据对应的自由列，所述第二数据库为关系数据库管理系统RDBMS数据库；
[0031]绑定模块，用于基于所述次列数据以及所述自由列，确定绑定关系表；
[0032]迁移模块，用于关联存储所述目标表以及所述绑定关系表至所述第二数据库的转换层，并基于所述目标表以及所述绑定关系表将所述待迁移数据迁移至所述第二数据库，其中，所述转换层位于所述第二数据库的服务处以及访问数据库层之间。
[0033]此外，为实现上述目的，本专利技术还提供一种数据处理设备，所述数据处理设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据处理程序，所述数据处理程序被所述处理器执行时实现前述的数据处理方法的步骤。
[0034]此外，为实现上述目的，本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现前述的数据处理方法的步骤。
[0035]本专利技术通过遍历第一数据库的待迁移数据，分别确定所述待迁移数据中各个子数据对应的主列数据以及次列数据，接着基于所述主列数据以及次列数据，创建第二数据库对应的目标表，而后基于所述次列数据以及所述自由列，确定绑定关系表，然后关联存储所述目标表以及所述绑定关系表至所述第二数据库的转换层，并基于所述目标表以及所述绑定关系表将所述待迁移数据迁移至所述第二数据库，将第一数据库的数据分为主列数据以及次列数据，通过自由列与次列数据的绑定关系实现RDBMS列的复用，节省第二数据库的存储空间以及提升存储效率，进而提升数据迁移的安全性以及迁移效率本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述数据处理方法包括以下步骤：遍历第一数据库的待迁移数据，分别确定所述待迁移数据中各个子数据对应的主列数据以及次列数据，其中，所述第一数据库为无Schema数据库；基于所述主列数据以及次列数据，创建第二数据库对应的目标表，其中，所述目标表包括所述主列数据对应的主列以及所述次列数据对应的自由列，所述第二数据库为关系数据库管理系统RDBMS数据库；基于所述次列数据以及所述自由列，确定绑定关系表；关联存储所述目标表以及所述绑定关系表至所述第二数据库的转换层，并基于所述目标表以及所述绑定关系表将所述待迁移数据迁移至所述第二数据库，其中，所述转换层位于所述第二数据库的服务处以及访问数据库层之间。2.如权利要求1所述的数据处理方法，其特征在于，所述基于所述目标表以及所述绑定关系表将所述待迁移数据迁移至所述第二数据库的步骤之后，还包括：在接收到自由列删除指令时，获取所述自由列删除指令对应的第一目标表中的待删除自由列；在所述第一目标表中删除所述待删除自由列，并在所述绑定关系表删除所述待删除自由列对应的待删除绑定关系列。3.如权利要求1所述的数据处理方法，其特征在于，所述基于所述目标表以及所述绑定关系表将所述待迁移数据迁移至所述第二数据库的步骤之后，还包括：在接收到自由列增加指令时，确定所述自由列增加指令对应待增加数据的数据类型以及数据大小，并确定所述自由列增加指令对应的第二目标表；确定所述第二目标表的自由列中是否存在与数据类型以及数据大小匹配的第一空列；若存在，则基于所述待增加数据，更新所述第一空列。4.如权利要求3所述的数据处理方法，其特征在于，所述确定所述目标表的自由列中是否存在与数据类型以及数据大小匹配的第一空列的步骤之后，还包括：若不存在，则基于数据类型以及数据大小在所述目标表的自由列中扩展第二空列，并基于所述待增加数据，更新所述第二空列。5.如权利要求1所述的数据处理方法，其特征在于，所述基于所述目标表以及所述绑定关系表将所述待迁移数据迁移至所述第二数据库的步骤之后，还包括：在接收到自由列迁移指令时，确定所述自由列迁移指令对应的第三目标表，以及基于所述第三目标表的自由列确定所述自由列迁移指令对...

【专利技术属性】
技术研发人员：康利山，
申请(专利权)人：咪咕文化科技有限公司中国移动通信集团有限公司，
类型：发明
国别省市：