The invention is a distributed file system, which comprises a master server, a standby control server, several data servers and several clients. Based on the architecture of distributed file system and the basic principle of distributed file system, the invention realizes the distributed file storage based on block chain technology, and ensures the authenticity, integrity and security of the whole life cycle of file storage; increases the main control server and standby control server, and improves the usability of the system; adopts the scheme of fixed block size; It improves the performance of file access.
【技术实现步骤摘要】
一种分布式文件系统
本专利技术涉及互联网
,具体涉及一种分布式文件系统。
技术介绍
随着现代社会从工业时代过渡到信息时代,信息技术的发展以及人类生活的智能化带来数据的爆炸性增长,数据正成为世界上最有价值的资源。根据物理存储形态,数据存储可分为集中式存储与分布式存储两种。集中式存储以传统存储阵列(传统存储)为主,分布式存储(云存储)以软件定义存储为主。传统存储一向以可靠性高、稳定性好,功能丰富而著称,但与此同时,传统存储也暴露出横向扩展性差、价格昂贵、数据连通困难等不足,容易形成数据孤岛,导致数据中心管理和维护成本居高不下。分布式存储:将数据分散存储在网络上的多台独立设备上,一般采用标准x86服务器和网络互联,并在其上运行相关存储软件,系统对外作为一个整体提供存储服务。总之,分布式文件存储,不仅提高了存储空间的利用率,还实现了弹性扩展,降低了运营成本,避免了资源浪费,更适合未来的数据爆炸时代场景。在传统分布式文件系统的数据存储解决方案,归根结底是将大问题划分为小问题。大量的文件,均匀分布到多个数据服务器上后,每个数据服务器存储的文件数量就少了,另外通过使用大文件存储多个小文件的方式,总能把单个数据服务器上存储的文件数降到单机能解决的规模;对于很大的文件,将大文件划分成多个相对较小的片段,存储在多个数据服务器上(目前,很多本地文件系统对超大文件的支持已经不存在问题了,如ext3文件系统使用4k区块时,文件最大能到4T,ext4则能支持更大的文件,只是受限于磁盘的存储空间)。理论上,分布式文件系统可以只有客户端和多个数据服务器组成,客户端根据文件名决定将文 ...
【技术保护点】
1.一种分布式文件系统,其特征在于,该系统包括主控服务器、若干个数据服务器、以及若干个客户端,其中:所述主控服务器包括有命名空间维护模块、数据服务器管理模块、服务调度模块和主备容灾模块;所述命名空间维护模块负责维护整个文件系统的命名空间,暴露给客户端使用,并且所述命名空间维护模块存储与客户端完全一样的命名空间,对应的文件内容为该文件的元数据;所述数据服务器管理模块通过轮询数据服务器或由数据服务器报告心跳包的方式集中管理数据服务器;所述数据服务器包括有数据本地存储模块、状态维护模块和副本管理模块;所述数据本地存储模块负责文件数据在本地的持久化存储,使用固定大小S的文件区块来存储数据,数据本地存储模块支持文件的创建和删除,新创建的文件追加到大文件的末尾并更新索引,文件删除时,设置文件头的删除标记,系统空闲时对大文件进行压缩把设置删除标记且超过一定时限的文件存储空间回收;所述状态维护模块将自身的状态以心跳包的方式周期性的报告给主控服务器,使得主控服务器知道数据服务器是否正常工作;所述副本管理模块将文件存储多个副本到数据服务器上,客户端向某个数据服务器写数据,该数据服务器向副本链中下一个数据服 ...
【技术特征摘要】
1.一种分布式文件系统,其特征在于,该系统包括主控服务器、若干个数据服务器、以及若干个客户端,其中:所述主控服务器包括有命名空间维护模块、数据服务器管理模块、服务调度模块和主备容灾模块;所述命名空间维护模块负责维护整个文件系统的命名空间,暴露给客户端使用,并且所述命名空间维护模块存储与客户端完全一样的命名空间,对应的文件内容为该文件的元数据;所述数据服务器管理模块通过轮询数据服务器或由数据服务器报告心跳包的方式集中管理数据服务器;所述数据服务器包括有数据本地存储模块、状态维护模块和副本管理模块;所述数据本地存储模块负责文件数据在本地的持久化存储,使用固定大小S的文件区块来存储数据,数据本地存储模块支持文件的创建和删除,新创建的文件追加到大文件的末尾并更新索引,文件删除时,设置文件头的删除标记,系统空闲时对大文件进行压缩把设置删除标记且超过一定时限的文件存储空间回收;所述状态维护模块将自身的状态以心跳包的方式周期性的报告给主控服务器,使得主控服务器知道数据服务器是否正常工作;所述副本管理模块将文件存储多个副本到数据服务器上,客户端向某个数据服务器写数据,该数据服务器向副本链中下一个数据服务器转发数据,依次类推;所述客户端为应用服务器或终端用户,客户端包括有接口模块和缓存模块;所述接口模块通过系统提供的接口来读写文件,客户端在读文件时通过将文件名转换为区块ID和文件ID信息,在主控服务器取得该区块所在数据服务器信息,然后与对应的数据服务器进行读取操作;所述缓存模块将元数据进行缓存,元数据根据业务特性缓存在本地内存或磁盘。2.根据权利要求1所述的分布式文件系统,其特征在于,该系统还包括有备用控制服务器,所述备用控制服务器与主控服务器结构及配置文件相同,所述主备容灾模块为备用控制服务器和主控服务器提供一个虚拟IP服务,实现备用控制服务器和主控服务器数据同步,并且当所述备用控制服务器检测到主控服务器宕机时,接管主控服务器的资源及服务。3.根据权利要求2所述的分布式文件系统,其特征在于,所述主控服务器数据同步到备用控制服务器时采用异步方式,先暂存客户端的请求信息,追加至操作日志,后台线程重放日志到备用控制服务器。4.根据权利要求1所述的分布式文件系统,其特征在于,所述主控服务器在接收到客户端写请求时,数据服务器管理模块根据各个数据服务器的负载信息选择一组数据服务器为其服务...
【专利技术属性】
技术研发人员:姬明佳,周育仲,
申请(专利权)人:苏州链读文化传媒有限公司,
类型:发明
国别省市:江苏,32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。