一种文件存储网关的实现方法技术

技术编号:25521541 阅读:98 留言:0更新日期:2020-09-04 17:11
本发明专利技术提供了一种文件存储网关的实现方法,包括以下步骤:S1、搭建文件系统,配置fstab文件使其完成自动挂载;S2、搭建协议,将文件挂载到对象存储的目录配置成共享目录;S3、关掉SELinx及防火墙,配置成开机自启的服务;S4、在windows机器上挂载对应的目录,完成由windows机器到对象存储的直接连接。本发明专利技术所述的s3fs搭建通过配置fstab,可以重启后自动挂载,完成Smb搭建,通过Smb与s3fs配合由windows机器与对象存储直接连接,挂载到对象存储的目录配置成共享目录,成本低廉,功能较全面,实现了无缝对接,实现了故障隔离,支持主流的系统,可以多种场景下应用,可以完美的实现基本功能,可以兼容标准型和低频型对象存储,ceph集群的架构可以提高集群利用率,且安全性不受影响。

【技术实现步骤摘要】
一种文件存储网关的实现方法
本专利技术属于文件存储
,尤其是涉及一种文件存储网关的实现方法。
技术介绍
随着互联网数据的极具增长,互联网应用对存储的需求越来越高。然而传统的存储方式越来越难以适应需求的变化;而分布式文件系统在可靠性、扩展性以及性能方面具有无可比拟的优势,越来越受到青睐。实现这一需求有较多方案。如例如GlusterFs、Lustre、TFS、HDFS、ceph等,广泛应用于不同领域的生产实践中。本专利技术技术方案是一种分布式存储选用ceph,通过smb及s3fs相结合的方法。支持将对象存储中的桶以文件形式导出,兼容POSIX语义,完成文件读写、目录操作、链接操作、权限管理、uid/gid管理等功能,并可以完成自适应文件上传。
技术实现思路
有鉴于此,本专利技术旨在提出一种文件存储网关的实现方法,以解决对象存储中的桶不能以文件形式导出,不能完成自适应文件的上传。为达到上述目的,本专利技术的技术方案是这样实现的:一种文件存储网关的实现方法,包括以下步骤:S1、搭建文件系统,配置fstab文件使其完成自动挂载;S2、搭建协议,将文件挂载到对象存储的目录配置成共享目录;S3、关掉SELinx及防火墙,配置成开机自启的服务;S4、在windows机器上挂载对应的目录,完成由windows机器到对象存储的直接连接。所述步骤S1中的文件系统为s3fs文件系统。所述s3fs文件系统搭建过程如下,第一步在编译之前下载对应的的依赖包;第二步,将对象存储的密钥AK及SK添加到passwd-s3fs;第三步,更改域名为线上对象存储提供的域名;第四步,将对象存储的桶挂载到linux机器上的一个目录上。所述依赖包包括fuse>=2.8.4、automake、gcc-c++、make、libcurl、libxml2、openssl、pkg-config组件。所述步骤S2中的协议为Smb协议。Smb搭建过程如下,第一步,在同一台机器上安装smb服务,第二步创建用户,并完成用户和windows机器的验证通信。相对于现有技术,本专利技术所述的一种文件存储网关的实现方法具有以下优势:本专利技术所述的s3fs搭建通过配置fstab,可以重启后自动挂载,完成Smb搭建,通过Smb与s3fs配合由windows机器与对象存储直接连接,挂载到对象存储的目录配置成共享目录,成本低廉,功能较全面,实现了无缝对接,实现了故障隔离,支持主流的系统,可以多种场景下应用,可以完美的实现基本功能,可以兼容标准型和低频型对象存储,ceph集群的架构可以提高集群利用率,且安全性不受影响。附图说明构成本专利技术的一部分的附图用来提供对本专利技术的进一步理解,本专利技术的示意性实施例及其说明用于解释本专利技术,并不构成对本专利技术的不当限定。在附图中:图1为本专利技术实施例所述的一种文件存储网关的实现方法原理图;图2为本专利技术实施例所述的对象存储底层架构图。具体实施方式需要说明的是,在不冲突的情况下,本专利技术中的实施例及实施例中的特征可以相互组合。在本专利技术的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本专利技术和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本专利技术的限制。此外,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本专利技术的描述中,除非另有说明,“多个”的含义是两个或两个以上。在本专利技术的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以通过具体情况理解上述术语在本专利技术中的具体含义。下面将参考附图并结合实施例来详细说明本专利技术。如图1至图2所示,一种文件存储网关的实现方法,包括以下步骤:S1、搭建文件系统,配置fstab文件使其完成自动挂载;S2、搭建协议,将文件挂载到对象存储的目录配置成共享目录;S3、关掉SELinx及防火墙,配置成开机自启的服务;S4、在windows机器上挂载对应的目录,完成由windows机器到对象存储的直接连接。所述步骤S1中的文件系统为s3fs文件系统。所述s3fs文件系统搭建过程如下,第一步在编译之前下载对应的的依赖包;第二步,将对象存储的密钥AK及SK添加到passwd-s3fs;第三步,更改域名为线上对象存储提供的域名;第四步,将对象存储的桶挂载到linux机器上的一个目录上。所述依赖包包括fuse>=2.8.4、automake、gcc-c++、make、libcurl、libxml2、openssl、pkg-config组件。所述步骤S2中的协议为Smb协议。Smb搭建过程如下,第一步,在同一台机器上安装smb服务,第二步创建用户,并完成用户和windows机器的验证通信。具体实现过程如下:文件存储网关将对象存储作为后端存储,前端给用户提供标准的s3fs和SMB协议实现文件共享读写;文件存储网关对外提供标准的POSIX语义,能够对接第三方软件,为应用软件提供高性价比的存储。其实现原理为:通过获取上传文件的大小,然后进行判断,若大于1G的阈值,则对文件进行切片处理然后并行上传,然后在传输完成后进行拼装;在进行文件下载时同理;通过实时监控网速及存储网关的线程池空闲数,将大于阈值的文件切分,提高了文件上传与下载的速度;其实现原理如图1所示。s3fs搭建过程:对于源码编译或者使用编译好的s3fs二进制文件。在编译之前首先下载对应的的依赖包fuse>=2.8.4、automake、gcc-c++、make、libcurl、libxml2、openssl、pkg-config;然后将对象存储的密钥AK及SK添加到passwd-s3fs;更改域名为线上对象存储提供的域名,然后将对象存储的桶挂载到linux机器上的一个目录上;这一过程中通过加缓存完成大文件的传输;配置fstab使其可以重启后自动挂载。Smb搭建过程:在同一台机器上安装smb服务,通过创建用户完成和windows机器的验证通信。之后将s3fs挂载到对象存储的目录配置成共享目录;关掉SELinx及防火墙,然后配置成开机自启的服务。最后在windows机器上挂载对应的目录;完成由windows机器到对象存储本文档来自技高网...

【技术保护点】
1.一种文件存储网关的实现方法,其特征在于包括以下步骤:/nS1、搭建文件系统,配置fstab文件使其完成自动挂载;/nS2、搭建协议,将文件挂载到对象存储的目录配置成共享目录;/nS3、关掉SELinx及防火墙,配置成开机自启的服务;/nS4、在windows机器上挂载对应的目录,完成由windows机器到对象存储的直接连接。/n

【技术特征摘要】
1.一种文件存储网关的实现方法,其特征在于包括以下步骤:
S1、搭建文件系统,配置fstab文件使其完成自动挂载;
S2、搭建协议,将文件挂载到对象存储的目录配置成共享目录;
S3、关掉SELinx及防火墙,配置成开机自启的服务;
S4、在windows机器上挂载对应的目录,完成由windows机器到对象存储的直接连接。


2.根据权利要求1所述的一种文件存储网关的实现方法,其特征在于:所述步骤S1中的文件系统为s3fs文件系统。


3.根据权利要求2所述的一种文件存储网关的实现方法,其特征在于:所述s3fs文件系统搭建过程如下,第一步在编译之前下载对应的的依赖包;第二步,将对象存储的密钥AK及SK添加到passwd...

【专利技术属性】
技术研发人员:贾如瑞
申请(专利权)人:紫光云技术有限公司
类型:发明
国别省市:天津;12

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1