【技术实现步骤摘要】
本申请涉及数据分析领域，尤其涉及一种数据迁移方法、装置、设备及存储介质。
技术介绍
1、随着科技的不断发展，越来越多的设备可以进行数据迁移，例如，在大数据领域中，设备进行数据加工处理时，在异构数据库表之间进行数据迁移，以提升数据的可用性、效率、安全、成本效益，同时满足业务和技术发展的需求。
2、相关技术中，异构数据库表之间进行数据迁移方法通常是，开启一个线程从源数据库中读出待迁移数据，再将待迁移数据全部转换为目标数据库的数据存储格式，最后将转换格式后的待迁移数据写入目标数据库中。
3、然而，在一些场景下，待迁移数据的数据量非常大，例如，在系统升级场景下，可能需要将系统涉及的全部数据进行迁移；又例如，在性能优化或扩展场景下，可能需要将业务相关数据全部迁移等。
4、那么，采用一个线程进行数据迁移的这种方式，在整个数据迁移过程中，包括数据读取、数据转换和数据写入等过程，均需要消耗大量的时间，没有充分利用设备的计算资源，使得数据迁移的效率较低。
5、可见，相关技术下的数据迁移的效率较低。
<...【技术保护点】
1.一种数据迁移方法，其特征在于，应用于节点集群中的主节点，所述节点集群还包括多个从节点，所述主节点用于调度各从节点；所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于预设的外部存储集群的数据加载策略，将源数据库存储的待迁移数据转换为多个文本文件，并将所述多个文本文件并行加载到所述外部存储集群中，包括：
3.根据权利要求2所述的方法，其特征在于，所述基于所述多个数据特征，将所述待迁移数据转换为多个文本文件，并分别写入相应的存储分区，包括：
4.根据权利要求1所述的方法，其特征在于，所述调度所述各从节点分别执行所述消息...
【技术特征摘要】
1.一种数据迁移方法，其特征在于，应用于节点集群中的主节点，所述节点集群还包括多个从节点，所述主节点用于调度各从节点；所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于预设的外部存储集群的数据加载策略，将源数据库存储的待迁移数据转换为多个文本文件，并将所述多个文本文件并行加载到所述外部存储集群中，包括：
3.根据权利要求2所述的方法，其特征在于，所述基于所述多个数据特征，将所述待迁移数据转换为多个文本文件，并分别写入相应的存储分区，包括：
4.根据权利要求1所述的方法，其特征在于，所述调度所述各从节点分别执行所述消息队列中的各数据下载任务，获得所述各从节点各自下载的下载数据，包括：
5.根据权利要求4所述的方法，其特征在于，所述调度所述从节点从所述消息队列中获取并执行一个数据下载任务，获得相应的下载数据，包括：
6.根据权利要求5所述的方法，其特征在于，所述基于所述下载进程，从所述消息队列中获取并执行一个数据下载任务，获得相应的下载数据，包括：
7.根据权利要求6所述的方法，其特征在于，所述执行所...
【专利技术属性】
技术研发人员：张博，
申请(专利权)人：中国建设银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。