数据迁移方法、装置及面向对象的分布式文件系统制造方法及图纸

技术编号:7351309 阅读:276 留言:0更新日期:2012-05-18 20:41
本发明专利技术公开了一种数据迁移方法、装置及面向对象的分布式文件系统,其中,所述数据迁移方法中,当需要将源对象存储服务器存储的文件对象迁移至目标对象存储服务器中时,在目标对象存储服务器中创建空文件对象,再建立所述源对象存储服务器中文件对象和目标对象存储服务器空文件对象之间的数据传输通道,这样,就可以将文件对象数据直接由源对象存储服务器中文件对象迁移至目标对象存储服务器空文件对象中,不需要客户端参与,解决了现有数据迁移操作时,传输路径长且易出现数据传输错误的问题。

【技术实现步骤摘要】

本专利技术涉及数据处理
,更具体地说,涉及一种数据迁移方法、装置及面向对象的分布式文件系统
技术介绍
随着超级计算机向着分布化和集群化方向发展,对存储的大容量、高可靠、高带宽的要求也越来越高,现提出一种新型的面向对象存储文件系统。如图1所示,该文件系统包括客户端101、元数据服务器102和对象存储服务器103,其中,元数据服务器102用以存储文件系统中文件的元数据信息;存储服务器103接有数据存储设备,用以存储文件的数据信息,客户端101可以直接访问元数据服务器102和对象存储服务器103。然而,现有的面向对象存储文件系统存有数据管理效率低的问题,例如:执行数据迁移等操作时,客户端发起获取数据请求,数据由源对象存储服务器传输至客户端,再由客户端将其传输至目标对象存储服务器,这样,数据的传输路径较长,容易出现数据传输错误的问题。
技术实现思路
有鉴于此,本专利技术提供一种数据迁移方法、装置及面向对象的分布式文件系统,以解决现有数据迁移操作时,传输路径长且易出现数据传输错误的问题。为解决上述问题,现提出的方案如下:一种数据迁移方法,包括:监控文件的文件状态;若所述文件状态发生变化,获取该文件变化后的属性值;当判断该文件的属性值触发执行文件对象迁移操作的条件时,将当前存储有所述文件中文件对象的对象存储服务器作为源对象存储服务器,迁移后存储文件中文件对象的对象存储服务器作为目标对象存储服务器;在所述目标对象存储服务器中创建空文件对象;建立所述源对象存储服务器中文件对象和目标对象存储服务器空文件对象之间的数据传输通道,将文件对象数据由所述源对象存储服务器中文件对象传输至所述目标对象存储服务器中空文件对象。优选地,所述监控文件状态为监控文件列表中未满足预设条件文件的状态,监控文件状态前还包括:缓存文件的文件路径或者文件名称;按照文件满足预设条件程度的顺序排序所述文件路径或者文件名称,形成文件列表。优选地,所述文件对象数据传输完毕后还包括:分别读取存储在所述源对象存储服务器中文件对象和目标对象存储服务器中文件对象的预设位置的数据;比对所述数据是否相同,若相同则得到传输成功结果,否则得到传输失败结果。优选地,所述数据迁移方法还包括:检测得到文件对象数据传输失败原因。优选地,所述文件对象数据传输完毕后,还包括:制作传输结果汇报表,该传输结果汇报表中含有文件对象数据传输结果信息或文件对象数据传输失败原因信息。一种数据迁移装置,包括:第一监控单元,用于监控文件的文件状态;第一文件属性值获取单元,用于若所述文件状态发生变化,获取该文件变化后的属性值;第一判断单元,用于判断获取到的文件的属性值是否满足阈值;第一对象存储服务器类别确定单元,用于当判断该文件的属性值满足阈值,需执行文件对象迁移操作时,将当前存储有所述文件中文件对象的对象存储服务器作为源对象存储服务器,迁移后存储文件中文件对象的对象存储服务器作为目标对象存储服务器;第一空文件对象创建单元,用于在确定的目标对象存储服务器中创建空文件对象;第一文件对象迁移单元,用于建立所述源对象存储服务器中文件对象和目标对象存储服务器空文件对象之间的数据传输通道,将文件对象数据由所述源对象存储服务器中文件对象传输至所述目标对象存储服务器空文件对象。优选地,所述数据迁移装置还包括:第一文件数据读取单元,用于当文件对象数据传输完毕后,分别读取存储在所述源对象存储服务器中文件对象和目标对象存储服务器中文件对象预设位置的数据;第一传输结果判定单元,用于比对所述数据是否相同,若相同则得到传输成功结果,否则得到传输失败结果。优选地,所述数据迁移装置还包括:第一传输结果汇报表制作单元,用于制作文件对象数据传输结果汇报表。一种数据迁移方法,包括:当接收到客户端发送的执行文件对象迁移操作的控制指令时,将当前存储有所述文件中文件对象的对象存储服务器作为源对象存储服务器,迁移后存储文件中文件对象的对象存储服务器作为目标对象存储服务器;在所述目标对象存储服务器中创建空文件对象;建立所述源对象存储服务器中文件对象和目标对象存储服务器空文件对象之间的数据传输通道,将文件对象数据由所述源对象存储服务器中文件对象传输至所述目标对象存储服务器中空文件对象。优选地,所述文件对象数据传输完毕后还包括:分别读取存储在所述源对象存储服务器中文件对象和目标对象存储服务器中文件对象的预设位置的数据;比对所述数据是否相同,若相同则得到传输成功结果,否则得到传输失败结果。一种数据迁移装置,包括:第二对象存储服务器类别确定单元,用于当接收到客户端发送的执行文件对象迁移操作的控制指令时,将当前存储有所述文件中文件对象的对象存储服务器作为源对象存储服务器,迁移后存储文件中文件对象的对象存储服务器作为目标对象存储服务器;第二空文件对象创建单元,用于在所述目标对象存储服务器中创建空文件对象;第二文件对象迁移单元,用于建立所述源对象存储服务器中文件对象和目标对象存储服务器空文件对象之间的数据传输通道,将文件对象数据由所述源对象存储服务器中文件对象传输至所述目标对象存储服务器空文件对象。优选地,所述数据迁移装置还包括:第二文件数据读取单元,用于当文件对象数据传输完毕后,分别读取存储在所述源对象存储服务器中文件对象和目标对象存储服务器中文件对象的预设位置的数据;第二传输结果判定单元,用于比对所述数据是否相同,若相同则得到传输成功结果,否则得到传输失败结果。一种面向对象的分布式文件系统,包括:客户端、元数据服务器和对象存储服务器,其中:所述客户端包括控制指令发送单元,该单元用于发送控制指令至所述元数据服务器;所述元数据服务器,包括:监控单元,用于监控文件的文件状态以及客户端的控制指令;文件属性值获取单元,用于若所述文件状态发生变化,获取该文件变化后的属性值;判断单元,用于判断获取到的文件的属性值是够满足阈值;对象存储服务器类别确定单元,用于当判断该文件的属性值满足阈值,需执行文件对象迁移操作时,或者,当所述客户端的控制指令为执行文件对象迁移操作时,将当前存储有所述文件中文件对象的对象存储服务器作为源对象存储服务器,迁移后存储文件中文件对象的对象存储服务器作为目标对象存储服务器;本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据迁移方法,其特征在于,包括:
监控文件的文件状态;
若所述文件状态发生变化,获取该文件变化后的属性值;
当判断该文件的属性值满足阈值,需执行文件对象迁移操作时,将当前
存储有所述文件中文件对象的对象存储服务器作为源对象存储服务器,迁移
后存储文件中文件对象的对象存储服务器作为目标对象存储服务器;
在所述目标对象存储服务器中创建空文件对象;
建立所述源对象存储服务器中文件对象和目标对象存储服务器空文件对
象之间的数据传输通道,将文件对象数据由所述源对象存储服务器中文件对
象传输至所述目标对象存储服务器中空文件对象。
2.根据权利要求1所述的方法,其特征在于,所述监控文件状态为监控
文件列表中未满足预设条件文件的状态,监控文件状态前还包括:
缓存文件的文件路径或者文件名称;
按照文件满足预设条件程度的顺序排序所述文件路径或者文件名称,形
成文件列表。
3.根据权利要求1所述的方法,其特征在于,所述文件对象数据传输完
毕后还包括:
分别读取存储在所述源对象存储服务器中文件对象和目标对象存储服务
器中文件对象的预设位置的数据;
比对所述数据是否相同,若相同则得到传输成功结果,否则得到传输失
败结果。
4.根据权利要求3所述的方法,其特征在于,还包括:检测得到文件对
象数据传输失败原因。
5.根据权利要求4所述的方法,其特征在于,所述文件对象数据传输完
毕后,还包括:
制作传输结果汇报表,该传输结果汇报表中含有文件对象数据传输结果
信息或文件对象数据传输失败原因信息。
6.一种数据迁移装置,其特征在于,包括:
第一监控单元,用于监控文件的文件状态;
第一文件属性值获取单元,用于若所述文件状态发生变化,获取该文件
变化后的属性值;
第一判断单元,用于判断获取到的文件的属性值是否满足阈值;
第一对象存储服务器类别确定单元,用于当判断该文件的属性值满足阈
值,需执行文件对象迁移操作时,将当前存储有所述文件中文件对象的对象
存储服务器作为源对象存储服务器,迁移后存储文件中文件对象的对象存储
服务器作为目标对象存储服务器;
第一空文件对象创建单元,用于在确定的目标对象存储服务器中创建空
文件对象;
第一文件对象迁移单元,用于建立所述源对象存储服务器中文件对象和
目标对象存储服务器空文件对象之间的数据传输通道,将文件对象数据由所
述源对象存储服务器中文件对象传输至所述目标对象存储服务器空文件对
象。
7.根据权利要求6所述的装置,其特征在于,还包括:
第一文件数据读取单元,用于当文件对象数据传输完毕后,分别读取存
储在所述源对象存储服务器中文件对象和目标对象存储服务器中文件对象预
设位置的数据;
第一传输结果判定单元,用于比对所述数据是否相同,若相同则得到传
输成功结果,否则得到传输失败结果。
8.根据权利要求6所述的装置,其特征在于,还包括:第一传输结果汇
报表制作单元,用于制作文件对象数据传输结果汇报表。
9.一种数据迁移方法,其特征在于,包括:...

【专利技术属性】
技术研发人员:何晓斌王希阳蒋金虎魏巍景志洁
申请(专利权)人:无锡江南计算技术研究所
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1
相关领域技术