数据迁移方法、装置及系统制造方法及图纸

技术编号:42698081 阅读:16 留言:0更新日期:2024-09-13 11:54
本申请涉及一种数据迁移方法、装置及系统。方法包括:获取待迁移数据以及配置信息;根据待迁移数据确定目标存储队列,并将待迁移数据存储至目标存储队列;读取目标存储队列中的待迁移数据,并根据配置信息确定待迁移数据的字段类型;根据字段类型确定迁移方式,根据迁移方式将待迁移数据迁移至目标数据表。本申请针对不同的字段类型提供相应的迁移方式,并完成数据迁移,能够覆盖更多的数据类型,迁移方式泛用性更高;另一方面,本申请实施例将传统的数据迁移过程进行拆分,在数据迁移过程中将待迁移数据存储至目标存储队列中,提高了数据迁移的断点续传能力,进而提高了数据迁移的可靠性和迁移效率。

【技术实现步骤摘要】

本申请涉及数据处理,特别是涉及一种数据迁移方法、装置及系统


技术介绍

1、非关系型数据库(nosql数据库)是一种数据库设计方法,专注于存储和检索数据。非关系型数据库模型不同于关系数据库中的表格结构,将数据存储在一种数据结构中,如cassandra数据库等。非关系型数据库设计无需固定模式,其高可用性和横向扩展的特性使其成为大规模数据处理的理想选择,适用于管理大型且通常是非结构化的数据集。

2、在现代数据管理和分析中,数据库迁移是一项重要任务,如系统升级或变更场景、数据备份和容灾等都需要进行数据库迁移。然而,传统技术中的数据迁移工具在迁移数据时,通常难以在迁移过程中进行数据处理。如sstableloader、cassandra bulk loader、cassandra migrator等数据迁移工具,仅能够对数据库中较为通用的预设字段类型进行基本的数据迁移,难以覆盖较多的字段类型,泛用性较低。

3、因此,传统技术中亟需一种覆盖更多字段类型、泛用性较高的数据迁移技术。


技术实现思路b>

1本文档来自技高网...

【技术保护点】

1.一种数据迁移方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述待迁移数据确定目标存储队列之前,还包括:

3.根据权利要求1所述的方法,其特征在于,所述配置信息包括并发数,在所述根据所述待迁移数据确定目标存储队列之前,还包括:

4.根据权利要求1所述的方法,其特征在于,所述根据所述待迁移数据确定目标存储队列包括:

5.根据权利要求1所述的方法,其特征在于,所述根据所述字段类型确定迁移方式,根据所述迁移方式将所述待迁移数据迁移至目标数据表包括:

6.根据权利要求1所述的方法,其特征在于,所述...

【技术特征摘要】

1.一种数据迁移方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述待迁移数据确定目标存储队列之前,还包括:

3.根据权利要求1所述的方法,其特征在于,所述配置信息包括并发数,在所述根据所述待迁移数据确定目标存储队列之前,还包括:

4.根据权利要求1所述的方法,其特征在于,所述根据所述待迁移数据确定目标存储队列包括:

5.根据权利要求1所述的方法,其特征在于,所述根据所述字段类型确定迁移方式,根据所述迁移方式将所述待迁移数据迁移至目标数据表包括:

6.根据权利要求1所述的方法,其特征在于,所述根据所述字段类型确定迁移方式,根据所述迁移方式将所述待迁移数据迁移至目标数据表还包括:

7.根据权利要求1...

【专利技术属性】
技术研发人员:曾傲冬黄文文雷桔张峰
申请(专利权)人:天翼视联科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1