分布式文件系统的数据处理方法及分布式文件系统技术方案

技术编号:13273246 阅读:75 留言:0更新日期:2016-05-18 23:20
本发明专利技术涉及一种分布式文件系统的数据处理方法及分布式文件系统,其方法包括:Fac获取文件数据,推送给Fas;Fas记录Fac推送过来的文件数据,在缓冲区记录下此次Fas上对应的元数据的修改,写入日志文件,并向Fac返回文件数据推送完成消息;Fac向Flr发送元数据修改变化请求;Flr根据元数据修改变化请求,修改相应的元数据,并记录至日志文件系统;当监测到Fas异常重启时,Flr根据日志记录,进行相应修改数据的回滚操作。本发明专利技术保证了分布式文件系统复位重启后文件的最终高一致性,避免机器宕机重启带来的多副本间数据的不一致性,且最大程度的减少由于日志系统的添加而带来相应的延迟和性能上的损失。

【技术实现步骤摘要】

本专利技术涉及分布式文件存储
,尤其涉及一种分布式文件系统的数据处理方法及分布式文件系统
技术介绍
随着多媒体产业的迅猛发展,出于成本、可靠性等多方面的考虑,越来越多的厂商选择在产品中部署自研的分布式上层存储系统,分布式文件系统也因此得到了快速的发展。分布式文件系统可以提供高的吞吐率,可以提供普通本地文件系统几倍以上的吞吐率,同时可以提供高可靠性,通过多副本、冗余副本技术,提高单机异常时数据的可靠性,同时对于磁阵这样的设备,具有价格便宜、设备通用的优点。目前,在大部分的分布式文件系统中,一部分注重吞吐量性能,但是却降低了文件系统一致性的保证。而另一部分在保证了同步的一致性的情况下,却大大降低了写和修改的性能。而对于分布式系统中的大量机器,宕机重启已经是一个常态的问题,如何保证在服务器宕机重启后,保证文件多个副本内数据的一致性,将十分的必要。
技术实现思路
本专利技术的主要目的在于提供一种分布式文件系统的数据处理方法及分布式文件系统,避免Fas宕机重启所带来的多副本间数据的不一致性。为了达到上述目的,本专利技术提出一种分布式文件系统的数据处理方法,包括:Fac获取文件本文档来自技高网...

【技术保护点】
一种分布式文件系统的数据处理方法,其特征在于,包括:文件服务客户端Fac获取文件数据,推送给文件数据服务器Fas;所述Fas记录Fac推送过来的文件数据,在缓冲区记录下此次Fas上对应的元数据的修改,写入日志文件,并向所述Fac返回文件数据推送完成消息;所述Fac接收到所述Fas返回的文件数据推送完成消息后,向文件位置寄存器Flr发送元数据修改变化请求;所述Flr根据所述元数据修改变化请求,修改相应的元数据,并记录至日志文件系统;当监测到所述Fas异常重启时,所述Flr根据日志记录,进行相应修改数据的回滚操作,完成日志文件系统的修复。

【技术特征摘要】

【专利技术属性】
技术研发人员:朱鹏林健胡剑华
申请(专利权)人:中兴通讯股份有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1