【技术实现步骤摘要】
本专利技术涉及数据缓存，尤其涉及一种多挂载点文件网关元数据缓存及管理优化装置及方法。
技术介绍
1、近年来在企业海量数据上云过程中，通过文件网关接入对象存储被广泛采用。常见的开源文件网关(s3fs、nfs-ganesha、goofys)通常是单机模式前置部署在客户侧，存在以下问题：网关本身没有缓存目录的元数据信息，由键值对组成；而对文件的任何操作都需要对其父目录及文件本身拥有相应的权限；若文件的目录层次较深，则需要向对象存储发送多次head请求获取目录的元数据信息进行权限校验；在多客户端同时读写的场景中(偏向于随机读)，文件读操作产生大量目录的head请求占用有限的带宽资源，导致时延高，客户体验差，需要对其进行改进。
技术实现思路
1、本部分的目的在于概述本专利技术的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和专利技术名称中可能会做些简化或省略以避免使本部分、说明书摘要和专利技术名称的目的模糊，而这种简化或省略不能用于限制本专利技术的范围。
2、因此，本专利技术要解决的技术问题是提供一种多挂载点文件网关元数据缓存及管理优化装置及方法，其目的在于解决现有技术存在的时延高、客户体验差的问题。
3、为解决上述技术问题，本专利技术提供如下技术方案：一种多挂载点文件网关元数据缓存及管理优化装置，包括目录索引、过滤器、通知处理模块；
4、其中，所述目录索引使用内存缓存目录的元数据信息，由键值对组成；
5、所述过滤器
6、所述通知处理模块利用对象存储的桶通知机制，接收并解析通知，根据通知类型处理目录索引及过滤器中数据。
7、作为本专利技术所述多挂载点文件网关元数据缓存及管理优化方法的一种优选方案，其中：该装置还包括对象存储资源池，所述存储资源池包括存储集群、对象存储网关和桶通知机制。
8、作为本专利技术所述多挂载点文件网关元数据缓存及管理优化方法的一种优选方案，其中：该装置还包括文件网关，所述文件网关包括目录索引、过滤器和通知处理模块，文件网关与对象存储资源池双向数据连接。
9、作为本专利技术所述多挂载点文件网关元数据缓存及管理优化方法的一种优选方案，其中：该装置还包括nfs系统、cifs系统，所述文件网关与nfs系统、cifs系统数据连接，实现文件共享。
10、作为本专利技术所述多挂载点文件网关元数据缓存及管理优化方法的一种优选方案，其中：所述元数据信息由键值对组成，在元数据信息中，key为目录在文件系统下的绝对路径，“/”代表根目录；value为文件状态信息结构体“stat”。
11、作为本专利技术所述多挂载点文件网关元数据缓存及管理优化方法的一种优选方案，其中：所述value主要包括inode信息、权限及类型、所属用户id、所属组id、最近访问时间、修改时间、大小。
12、本专利技术还公开了上述一种多挂载点文件网关元数据缓存及管理优化方法，其特征在于：所述目录索引及过滤器实现流程如下：
13、s11、对于目录类型的head请求，元数据查询顺序为目录索引到过滤器再到对象存储；
14、s12、若从对象存储中查询成功，则插入元数据到目录索引；若查询失败，则插入path到过滤器；
15、s13、对于非目录类型的请求，元数据查询顺序为过滤器到对象存储；
16、s14、若从对象存储中查询失败，则插入path到过滤器。
17、所述通知处理模块中的桶通知机制的io流程如下(见图3)：
18、s21、开启对象存储网关bucket通知机制，配置指定bucket的事件通知(事件“s3:objectcreated:*”与事件“s3:objectremoved:*”)；
19、s22、文件网关在挂载时订阅通知，并启动通知处理线程用于接收与处理事件通知；
20、s23、对象存储网关接收对象的http请求(put、post、copy、complete multi partupload、delete等)时，根据请求类型操作对象，并推送通知到文件网关；
21、s24、文件网关通知通知处理模块接收并解析通知，根据通知类型处理目录索引、过滤器的条目信息。
22、所述通知处理模块的实现步骤如下：
23、s31、若通知类型为新建，检测对象是否在过滤器中，存在则删除对象；
24、s32、若通知类型为删除且对象类型为目录，检测对象是否在目录索引，存在则删除对象；
25、s33、若通知类型为删除，检测对象是否在过滤器中，若不存在则插入对象到过滤器。
26、本专利技术的有益效果：
27、1、本专利技术中提出的一种多挂载点文件网关元数据缓存及管理优化装置及方法，通过将客户端查询异常(不存在)的对象加入过滤器(fail-fast机制)，以此实现异常head请求的快速返回的功能。
28、2、本专利技术中提出的一种多挂载点文件网关元数据缓存及管理优化装置及方法，根据文件系统在海量文件时文件数目远大于目录数目这一客观因素，利用目录索引缓存目录的元数据信息，减少大量目录的head请求，加快父目录权限校验。
29、3、本专利技术中提出的一种多挂载点文件网关元数据缓存及管理优化装置及方法，通过对象存储网关的桶通知机制确保多挂载点客户端目录索引、过滤器的数据一致性，提高缓存命中率，提升网关浏览性能，提高带宽利用率，节约对象存储算力与io资源。
本文档来自技高网...【技术保护点】
1.一种多挂载点文件网关元数据缓存及管理优化装置，其特征在于：
2.如权利要求1所述的多挂载点文件网关元数据缓存及管理优化装置，其特征在于：该装置还包括对象存储资源池，所述存储资源池包括存储集群、对象存储网关和桶通知机制。
3.如权利要求1所述的多挂载点文件网关元数据缓存及管理优化装置，其特征在于：该装置还包括文件网关，所述文件网关包括目录索引、过滤器和通知处理模块，文件网关与对象存储资源池双向数据连接。
4.如权利要求1或3所述的多挂载点文件网关元数据缓存及管理优化装置，其特征在于：该装置还包括NFS系统、CIFS系统，所述文件网关与NFS系统、CIFS系统数据连接，实现文件共享。
5.如权利要求1所述的多挂载点文件网关元数据缓存及管理优化装置，其特征在于：在元数据信息中，key为目录在文件系统下的绝对路径，“/”代表根目录；value为文件状态信息结构体“stat”。
6.如权利要求1所述的多挂载点文件网关元数据缓存及管理优化装置，其特征在于：所述value主要包括inode信息、权限及类型、所属用户ID、所属组ID
7.如权利要求1-6任一所述的多挂载点文件网关元数据缓存及管理优化方法，其特征在于：所述目录索引及过滤器实现流程如下：
8.如权利要求1-6任一所述的多挂载点文件网关元数据缓存及管理优化方法，其特征在于：所述通知处理模块中的桶通知机制的IO流程如下：
9.如权利要求8所述的多挂载点文件网关元数据缓存及管理优化方法，其特征在于：所述对象存储网关接收对象的HTTP请求包括Put、Post、Copy、Complete Multi part Upload、Delete。
10.如权利要求8所述的多挂载点文件网关元数据缓存及管理优化方法，其特征在于：所述通知处理模块的实现步骤如下：
...【技术特征摘要】
1.一种多挂载点文件网关元数据缓存及管理优化装置，其特征在于：
2.如权利要求1所述的多挂载点文件网关元数据缓存及管理优化装置，其特征在于：该装置还包括对象存储资源池，所述存储资源池包括存储集群、对象存储网关和桶通知机制。
3.如权利要求1所述的多挂载点文件网关元数据缓存及管理优化装置，其特征在于：该装置还包括文件网关，所述文件网关包括目录索引、过滤器和通知处理模块，文件网关与对象存储资源池双向数据连接。
4.如权利要求1或3所述的多挂载点文件网关元数据缓存及管理优化装置，其特征在于：该装置还包括nfs系统、cifs系统，所述文件网关与nfs系统、cifs系统数据连接，实现文件共享。
5.如权利要求1所述的多挂载点文件网关元数据缓存及管理优化装置，其特征在于：在元数据信息中，key为目录在文件系统下的绝对路径，“/”代表根目录；value为文件状态信息结构体“stat”...
【专利技术属性】
技术研发人员：高磊，吴晶，肖露，吴文峰，张维杰，
申请(专利权)人：天翼云科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。