数据迁移方法技术

本申请公开了一种数据迁移方法

【技术实现步骤摘要】
数据迁移方法、装置、存储介质以及电子设备


[0001]本申请涉及大数据领域，具体而言，涉及一种数据迁移方法
、
装置
、
存储介质以及电子设备
。

技术介绍

[0002]在金融科技领域，数据应用已成为业务开展的关键，其中，海量的金融数据对于市场洞察
、
客户服务等方面具有深远的影响
。
为了处理大规模的数据和作业，许多金融机构选择使用
MPP(Massively Parallel Processing)
分布式数据库，尤其在
OLAP(On
‑
Line Analytical Processing
，线上分析处理
)
场景下，其并行处理能力使得数据查询和分析变得更为高效
。
[0003]然而，金融数据的复杂性与来源多样性，特别是数据码制的问题，使得数据处理面临一定的挑战
。
由于不同数据库中存储的数据的码制不同，在进行数据迁移的时候，需要进行码制转换，使得数据可以正常存储，但是，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种数据迁移方法，其特征在于，包括：接收待迁移数据，并确定所述待迁移数据的编码类型，得到第一类型；确定用于存储所述第一类型的数据的目标转码库，将所述待迁移数据存储至所述目标转码库中的临时表中；解析所述临时表的表结构，并根据所述表结构在数据库集群中的业务库中生成业务表，其中，所述业务表的表结构与所述临时表的表结构相同，所述业务库与所述目标转码库位于同一个数据库集群，所述业务库用于存储第二类型的编码数据；对所述待迁移数据进行配置数据的解析，得到目标配置数据，并将所述目标配置数据存储至所述数据库集群中的业务库对应的外部表中；根据所述目标配置数据将所述待迁移数据转码为所述第二类型的编码数据，得到目标数据，并将所述目标数据存储至所述业务表中
。2.
根据权利要求1所述的方法，其特征在于，对所述待迁移数据进行配置数据的解析，得到目标配置数据，并将所述目标配置数据存储至所述数据库集群中的业务库对应的外部表中包括：解析所述待迁移数据的格式，得到所述待迁移数据的格式信息，其中，所述格式信息至少包括以下之一：待迁移数据的字段名
、
字段属性
、
格式
、
对齐方式
、
补位符；根据所述格式信息生成所述待迁移数据中的每个字段的配置信息，其中，所述配置信息中包括：字段长度
、
编码方式；根据所述配置信息和所述格式信息生成所述待迁移数据的配置文件，并将所述配置文件中的所述目标配置数据按照预设映射关系存储至所述外部表中，其中，所述预设映射关系用于表征所述目标配置数据的数据类型与所述业务库对应的数据类型之间的转换关系
。3.
根据权利要求2所述的方法，其特征在于，将所述配置文件中的所述目标配置数据按照预设映射关系存储至所述外部表中包括：确定所述目标配置数据的数据类型，得到目标数据类型；获取所述业务库的数据读取类型，并获取所述数据读取类型和所述目标数据类型之间的映射关系，得到所述预设映射关系；根据所述预设映射关系将所述目标配置数据的数据类型转换为所述数据读取类型，并将转换后的目标配置数据存储至所述外部表中
。4.
根据权利要求1所述的方法，其特征在于，根据所述目标配置数据将所述待迁移数据转码为所述第二类型的编码数据，得到目标数据包括：根据所述目标配置数据将所述待迁移数据拆分为多组字段数据；获取所述第一类型的编码数据的第一编码标准，获取所述第二类型的编码数据的第二编码标准，并获取所述第一编码标准和所述第二编码标准之间的转换关系；...

【专利技术属性】
技术研发人员：雷经纬，徐嘉禛，于子烨，罗响，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：