数据迁移方法、装置、电子设备及存储介质制造方法及图纸

本公开提供了一种数据迁移方法、装置、电子设备及存储介质，该方法包括：根据待迁移的目标数据文件的文件描述信息，确定对应于目标数据文件的切分信息；确定切分信息的信息类型，按照与信息类型相对应的信息切分方式，对目标数据文件进行切分处理，得到与任务并发数量相匹配的多个文件切片；通过与任务并发数量相对应的多个迁移任务，分别获取并迁移多个文件切片的切片内容；其中，目标数据文件存储于关系型数据库，且每个迁移任务用于将对应文件切片中的切片内容迁移至分布式存储系统。该方式通过分别针对不同类型的切分信息设置不同的信息切分方式，能够提升文件切分的准确性和效率，进而确保数据迁移过程的可靠性。

【技术实现步骤摘要】

本公开涉及通信，特别涉及一种数据迁移方法、装置、电子设备及存储介质。

技术介绍

1、随着互联网的迅速发展，需要存储的数据量呈指数级上升，适用于大数据存储的各类分布式存储系统应运而生。其中，分布式存储系统是将数据分散存储到多台独立的计算机存储设备上的存储系统。分布式存储系统包括至少一个存储节点，该至少一个存储节点中部署有客户端，以及一个或多个对象存储设备(object storage device，osd)模块。其中，每个osd模块可部署在一个存储节点上。关系型数据库是指采用了关系模型来组织数据的数据库，其以行和列的形式存储数据，以便于用户理解，关系型数据库中的行和列被称为表，一组表组成了数据库。

2、在一些业务场景中，需要将原本存储在关系型数据库中的数据文件迁移至分布式存储系统中，但是，由于分布式存储系统与关系型数据库的数据存储方式不尽相同，因此，如何将原本存储在关系型数据库的数据文件迁移至分布式存储系统成为亟待解决的技术难题。

技术实现思路

1、本公开提供一种克服上述问题或者至少部分地解决上述问本文档来自技高网...

【技术保护点】

1.一种数据迁移方法，其特征在于，包括：

2.根据权利要求1所述的迁移方法，其特征在于，所述根据待迁移的目标数据文件的文件描述信息，确定对应于所述目标数据文件的切分信息，包括：

3.根据权利要求2所述的迁移方法，其特征在于，所述根据所述文件描述信息中记录的主键信息和/或时间信息，确定对应于所述目标数据文件的切分信息，包括：

4.根据权利要求3所述的迁移方法，其特征在于，所述基于所述主键信息所属主键类型确定对应于所述目标数据文件的切分信息，包括：

5.根据权利要求3所述的迁移方法，其特征在于，所述切分信息的信息类型包括以下中的至少一个：长整型...

【技术特征摘要】

1.一种数据迁移方法，其特征在于，包括：

2.根据权利要求1所述的迁移方法，其特征在于，所述根据待迁移的目标数据文件的文件描述信息，确定对应于所述目标数据文件的切分信息，包括：

3.根据权利要求2所述的迁移方法，其特征在于，所述根据所述文件描述信息中记录的主键信息和/或时间信息，确定对应于所述目标数据文件的切分信息，包括：

4.根据权利要求3所述的迁移方法，其特征在于，所述基于所述主键信息所属主键类型确定对应于所述目标数据文件的切分信息，包括：

5.根据权利要求3所述的迁移方法，其特征在于，所述切分信息的信息类型包括以下中的至少一个：长整型类型、字符型类型以及时间类型；且所述信息切分方式包括以下中的至少一个：对应于长整型类型的第一切分方式、对应于字符型类型的第二切分方式、以及对应于时间类型的第三切分方式。

6.根据权利要求1-5任一所述的迁移方法，其特征在于，所述按照与所述信息类型相对应的信息切分方式，对所述目标数据文件进行切分处理，包括：

7.根据权利要求6所述的迁移方法，其特征在于，所述获取所述目标数据文件中与所述切分信息相对应的信息最大值以及信息最小值，包括：

8.根据权利要求7所述的迁移方法，其特征在于，所述对字符型类型的切分信息进行字符转换处理，得到与各...

【专利技术属性】
技术研发人员：王猛，郭剑霓，刘德华，蒋宁，吴海英，
申请(专利权)人：马上消费金融股份有限公司，
类型：发明
国别省市：