本发明专利技术公开了一种数据迁移方法及装置、电子设备。其中，该数据迁移方法包括：遍历当前存储集群中在预设存储桶内的多个存储对象，得到每个存储对象的对象类型，其中，对象类型包括：被归并对象和未归并对象，被归并对象是指对象数据的数据量大小低于预设阈值的存储对象；若存储对象的对象类型指示存储对象为未归并对象，则将未归并对象以及未归并对象的元数据直接写入目标存储集群中；若存储对象的对象类型指示存储对象为被归并对象，查询被归并对象所属的归并集合，读取对象列表中与归并集合对应的多个元数据，将归并集合中所有被归并对象以及多个元数据一起迁移至目标存储集群中。及多个元数据一起迁移至目标存储集群中。及多个元数据一起迁移至目标存储集群中。
【技术实现步骤摘要】
数据迁移方法及装置、电子设备
[0001]本专利技术涉及数据处理
，具体而言，涉及一种数据迁移方法及装置、电子设备。
技术介绍
[0002]相关技术中，随着互联网应用的高速发展，日益产生的海量非结构化数据的需要存储。相关技术中，对象存储是一种可选的存储方式，能够提供海量存储的解决方案，支持百亿或者千亿产品规格。在网络安防、道路监控等场景需要提供海量小文件的存储解决方案，既要求海量小文件的读写性能，又希望降低存储的使用成本，如客户在视频监控场景或者机场的图像采集场景，摄像探头要实时拍照生成大量的图片，通常这些图片大小在1M
‑
4M之间，属于小文件场景，海量的小文件浪费存储空间。同时，当前在读取海量的小文件时，读写性能差，需要较大的读写成本，大量增加固态硬盘等存储器的数量，大大增加了海量小文件场景对于固态硬盘SSD缓存池的依赖。
[0003]针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
[0004]本专利技术实施例提供了一种数据迁移方法及装置、电子设备，以至少解决相关技术中对于海量小文件，不仅浪费存储空间，而且对固态硬盘SSD缓存池的依赖性较高的技术问题。
[0005]根据本专利技术实施例的一个方面，提供了一种数据迁移方法，包括：遍历当前存储集群中在预设存储桶内的多个存储对象，得到每个所述存储对象的对象类型，其中，所述对象类型包括：被归并对象和未归并对象，所述被归并对象是指对象数据的数据量大小低于预设阈值的存储对象；若所述存储对象的对象类型指示所述存储对象为未归并对象，则将所述未归并对象以及所述未归并对象的元数据直接写入目标存储集群中；若所述存储对象的对象类型指示所述存储对象为被归并对象，查询所述被归并对象所属的归并集合，读取对象列表中与所述归并集合对应的多个元数据，将所述归并集合中所有被归并对象以及所述多个元数据一起迁移至目标存储集群中。
[0006]可选地，将所述归并集合中所有被归并对象以及所述多个元数据一起迁移至目标存储集群中的步骤，包括：为所述归并集合设置对应的迁移接口；采用所述迁移接口将所述归并集合中所有被归并对象以及所述多个元数据一起迁移至目标存储集群中。
[0007]可选地，将所述归并集合中所有被归并对象以及所述多个元数据一起迁移至目标存储集群中的步骤，还包括：控制所述目标存储集群重命名所述归并集合；将所述归并集合中所有被归并对象的对象数据和每个所述被归并对象的元数据进行重组处理，并将重组处理后的新归并集合归档至所述目标存储集群的指定存储桶中。
[0008]可选地，在将重组处理后的新归并集合归档至所述目标存储集群的指定存储桶中之后，所述方法还包括：记录所述新归并集合的对象数据的数据名称以及所述元数据在所
述新归并集合中的起始位和偏移位；将指向所述新归并集合的多个新元数据存储至桶索引文件。
[0009]可选地，在将指向所述新归并集合的多个新元数据存储至桶索引文件之后，所述方法还包括：接收对象访问请求，其中，所述对象访问请求中至少包括：元数据索引标识；基于所述元数据索引标识，获取指向新归并集合中的指定存储桶的目标元数据；基于所述目标元数据，查询在所述新归并集合中与所述目标元数据对应的目标对象数据。
[0010]可选地，在将重组处理后的新归并集合归档至所述目标存储集群的指定存储桶中之后，所述方法还包括：若所述指定存储桶不再写入对象数据，在所述指定存储桶的数据写入入口设置禁止标识，其中，所述禁止标识用于禁止外部终端向所述指定存储桶继续写入对象数据。
[0011]可选地，在将重组处理后的新归并集合归档至所述目标存储集群的指定存储桶中之后，所述方法还包括：接收用户终端的对象查询请求，其中，所述对象查询请求中至少包括：目标存储对象的对象归档标识；响应所述对象查询请求，查询所述预设存储桶内是否存在待查询存储对象；若所述预设存储桶内不存在待查询存储对象，则采用回溯规则查询在所述目标存储集群中与所述对象归档标识对应的对象数据和元数据。
[0012]可选地，在遍历当前存储集群中在预设存储桶内的多个存储对象，得到每个所述存储对象的对象类型之前，还包括：接收多个存储对象，其中，每个所述存储对象包括：多个对象数据以及标识每个所述对象数据的元数据；将多个存储对象写入预设缓存池的存储桶中，其中，所述预设缓存池中包含有至少一个所述存储桶；在对所述存储桶中的存储对象进行归并处理后，将归并后的所述对象数据写入数据池中，并将元数据写入元数据模块中。
[0013]可选地，所述预设缓存池是由多个第一类型驱动器组建的，所述元数据模块是由多个第二类型驱动器组建的。
[0014]根据本专利技术实施例的另一方面，还提供了一种数据迁移装置，包括：遍历单元，用于遍历当前存储集群中在预设存储桶内的多个存储对象，得到每个所述存储对象的对象类型，其中，所述对象类型包括：被归并对象和未归并对象，所述被归并对象是指对象数据的数据量大小低于预设阈值的存储对象；写入单元，用于在所述存储对象的对象类型指示所述存储对象为未归并对象，则将所述未归并对象以及所述未归并对象的元数据直接写入目标存储集群中；迁移单元，用于在所述存储对象的对象类型指示所述存储对象为被归并对象，查询所述被归并对象所属的归并集合，读取对象列表中与所述归并集合对应的多个元数据，将所述归并集合中所有被归并对象以及所述多个元数据一起迁移至目标存储集群中。
[0015]可选地，所述迁移单元包括：第一设置模块，用于为所述归并集合设置对应的迁移接口；第一迁移模块，用于采用所述迁移接口将所述归并集合中所有被归并对象以及所述多个元数据一起迁移至目标存储集群中。
[0016]可选地，所述迁移单元还包括：第一控制模块，用于控制所述目标存储集群重命名所述归并集合；重组模块，用于将所述归并集合中所有被归并对象的对象数据和每个所述被归并对象的元数据进行重组处理，并将重组处理后的新归并集合归档至所述目标存储集群的指定存储桶中。
[0017]可选地，所述数据迁移装置还包括：记录单元，用于在将重组处理后的新归并集合
归档至所述目标存储集群的指定存储桶中之后，记录所述新归并集合的对象数据的数据名称以及所述元数据在所述新归并集合中的起始位和偏移位；存储单元，用于将指向所述新归并集合的多个新元数据存储至桶索引文件。
[0018]可选地，所述数据迁移装置还包括：第一接收单元，用于在将指向所述新归并集合的多个新元数据存储至桶索引文件之后，接收对象访问请求，其中，所述对象访问请求中至少包括：元数据索引标识；获取单元，用于基于所述元数据索引标识，获取指向新归并集合中的指定存储桶的目标元数据；第一查询单元，用于基于所述目标元数据，查询在所述新归并集合中与所述目标元数据对应的目标对象数据。
[0019]可选地，所述数据迁移装置还包括：第二设置模块，用于在将重组处理后的新归并集合归档至所述目标存储集群的指定存储桶中之后，若所述指定存储桶不再写入对象数据，在所述指定存储桶的数据写入入口设置禁止标识，其中，所述禁止标识本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据迁移方法，其特征在于，包括：遍历当前存储集群中在预设存储桶内的多个存储对象，得到每个所述存储对象的对象类型，其中，所述对象类型包括：被归并对象和未归并对象，所述被归并对象是指对象数据的数据量大小低于预设阈值的存储对象；若所述存储对象的对象类型指示所述存储对象为未归并对象，则将所述未归并对象以及所述未归并对象的元数据直接写入目标存储集群中；若所述存储对象的对象类型指示所述存储对象为被归并对象，查询所述被归并对象所属的归并集合，读取对象列表中与所述归并集合对应的多个元数据，将所述归并集合中所有被归并对象以及所述多个元数据一起迁移至目标存储集群中。2.根据权利要求1所述的方法，其特征在于，将所述归并集合中所有被归并对象以及所述多个元数据一起迁移至目标存储集群中的步骤，包括：为所述归并集合设置对应的迁移接口；采用所述迁移接口将所述归并集合中所有被归并对象以及所述多个元数据一起迁移至目标存储集群中。3.根据权利要求1所述的方法，其特征在于，将所述归并集合中所有被归并对象以及所述多个元数据一起迁移至目标存储集群中的步骤，还包括：控制所述目标存储集群重命名所述归并集合；将所述归并集合中所有被归并对象的对象数据和每个所述被归并对象的元数据进行重组处理，并将重组处理后的新归并集合归档至所述目标存储集群的指定存储桶中。4.根据权利要求3所述的方法，其特征在于，在将重组处理后的新归并集合归档至所述目标存储集群的指定存储桶中之后，所述方法还包括：记录所述新归并集合的对象数据的数据名称以及所述元数据在所述新归并集合中的起始位和偏移位；将指向所述新归并集合的多个新元数据存储至桶索引文件。5.根据权利要求4所述的方法，其特征在于，在将指向所述新归并集合的多个新元数据存储至桶索引文件之后，所述方法还包括：接收对象访问请求，其中，所述对象访问请求中至少包括：元数据索引标识；基于所述元数据索引标识，获取指向新归并集合中的指定存储桶的目标元数据；基于所述目标元数据，查询在所述新归并集合中与所述目标元数据对应的目标对象数据。6.根据权利要求3所述的方法，其特征在于，在将重组处理后的新归并集合归档至所述目标存储集群的指定存储桶中之后，所述方法还包括：若所述指定存储桶不再写入对象数据，在所述指定存储桶的数据写入入口设置禁止标识，其中，所述禁止标识用于禁止外部终端向所述指定存储桶继...
【专利技术属性】
技术研发人员：卢行，杨瑞峰，张旭明，王豪迈，胥昕，
申请(专利权)人：星辰天合北京数据科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。