基于轻量级文件系统FastDFS的分布式文件管理服务中心技术方案

本发明专利技术公开了基于轻量级文件系统FastDFS的分布式文件管理服务中心，涉及计算机技术领域，包括数据库和中间件，所述数据库用来存储服务器中所有文件的元数据、用户信息、服务器组信息以及操作日志，所述中间件包括存储服务、查询服务、回收站服务以及空间配置服务，所述存储服务利用FastDFS集群实现海量文件数据的分布式存储，所述查询服务可以提供全局的文件搜索功能，所述回收站服务提供分布式文件的删除、还原、以及30天彻底删除功能，所述空间配置服务提供针对不同租户的不同空间配置需求，实现空间最优化利用。本发明专利技术将元数据保存到数据库方便查找调用，采用MD5值可以在有限的服务器存储空间内保存更多文件。务器存储空间内保存更多文件。

【技术实现步骤摘要】
基于轻量级文件系统FastDFS的分布式文件管理服务中心


[0001]本专利技术涉及计算机
，尤其涉及基于轻量级文件系统FastDFS的分布式文件管理服务中心。

技术介绍

[0002]随着计算机技术的发展和数据时代的到来，多文件的本地存储已经无法满足日益增长的数据量以及存储安全性的问题。同时，当不同的项目当中都需要文件服务时，若针对每一个项目都分别开发文件管理服务，需要花费大量人力物力和开发时间。
[0003]针对以上问题，亟需设计一种基于轻量级文件系统FastDFS的分布式文件管理服务中心来改变这一现状。

技术实现思路

[0004]本专利技术的目的是为了解决现有技术中存在的缺点，而提出的基于轻量级文件系统FastDFS的分布式文件管理服务中心。
[0005]为了实现上述目的，本专利技术采用了如下技术方案：基于轻量级文件系统FastDFS的分布式文件管理服务中心，包括数据库和中间件，所述数据库用来存储服务器中所有文件的元数据、用户信息、服务器组信息以及操作日志，所述中间件包括存储服务、查询服务、回收站服务以及空间配置服务，所述存储服务利用FastDFS集群实现海量文件数据的分布式存储，所述查询服务可以提供全局的文件搜索功能，所述回收站服务提供分布式文件的删除、还原、以及30天彻底删除功能，所述空间配置服务提供针对不同租户的不同空间配置需求，实现空间最优化利用。
[0006]通过以上技术方案：该服务中心可以集中存储其他项目上传的文件，并为不同的用户提供海量的文件存储服务，包括文件的上传、下载、查询等。提供回收站功能，用户不需要的文件可以进行删除，或将其进行还原；在用户删除文件未操作30天后，文件将被系统进行彻底删除，以节约服务器空间；同时，用户也可以主动将回收站中的文件进行彻底删除。为用户提供空间配置功能，可以设置每个用户的空间大小与单个文件上传大小限制，使服务器空间利用率最大化。同时，实现良好的可拓展性、并发性以及良好的容灾备份。
[0007]本专利技术进一步设置为，所述数据库包括文件及文件夹表、操作日志表、服务器组信息表和租户空间配置表。
[0008]通过以上技术方案：通过文件夹表、操作日志表、服务器组信息表和租户空间配置表四张表可以方便对数据库内的数据进行分类管理，提高了文件管理的条理性。
[0009]本专利技术进一步设置为，所述文件及文件夹表为每一个文件或文件夹分配一个唯一id标识，并设置为主键，其余字段包括父文件夹id，文件路径，md5值等，其中md5值为文件独有。
[0010]通过以上技术方案：由于文件夹可以看作一种特殊的文件，因此将文件与文件夹的元数据存储设计为一张表。
[0011]本专利技术进一步设置为，所述操作日志表用来记录用户在使用本文件服务中心时进行的一系列操作，主要字段包括使用者，使用时间，异常状况等。
[0012]通过以上技术方案：操作日志表可以方便后续对某些操作或异常进行追踪及处理。
[0013]本专利技术进一步设置为，所述服务器组信息表用来存储服务器空间大小。
[0014]通过以上技术方案：服务器组信息表可以方便后期对存储服务器空间进行管理。
[0015]本专利技术进一步设置为，所述租户空间配置表主要用来记录及设置每个用户的可用空间大小。
[0016]通过以上技术方案：租户空间配置表可以方便对每个用户的可用空间大小进行管理。
[0017]本专利技术进一步设置为，所述存储服务包括文件上传组件和下载组件。
[0018]通过以上技术方案：存储服务的设置，支持多用户以及海量文件存储，当用户上传文件时，系统会首先对文件计算MD5值，由于相同文件的MD5值有且只有一个，因此当某文件被先后上传两次及以上时，服务器内将只保存最先上传的一个，之后上传的相同文件只将元数据保存到数据库方便查找调用，采用MD5值可以在有限的服务器存储空间内保存更多文件。
[0019]本专利技术进一步设置为，所述回收站服务包括删除组件、还原组件、真删除组件。
[0020]通过以上技术方案：回收站服务的设置，可以在用户误删文件后的一定时间进行找回，减少用户上传次数和文件丢失的情况。
[0021]一种基于轻量级文件系统FastDFS的分布式文件管理服务中心的存储服务工作方法，包括以下步骤：S1：检验系统id，并指定文件需要存放的文件夹；S2：通过文件夹id判断指定的文件夹是否为当前用户的默认文件夹。若是，则在文件名前加入时间戳；S3：查询上传文件是否超过当前用户的单个文件上传大小限制；若超过则抛出异常，未超过则执行下一步；S4：判断文件名是否为空；若为空，抛出异常；否则执行下一步；S5：判断当前文件夹下是否存在与被上传文件重名的文件；若存在，则抛出异常；否则执行下一步；S6：判断后缀名是否为空,若不为空，将后缀名存入FILE_FOLDER_INFO表中的file_type字段；若后缀名为空，默认为.file后缀；S7：计算上传文件的MD5；S8：查询数据库中是否存在相同的MD5值；若存在，说明文件被上传过，此时只需将文件元数据保存到数据库；若不存在则执行下一步；S9：调用文件上传接口，将文件上传至服务器，并将元数据保存至数据库中。
[0022]一种基于轻量级文件系统FastDFS的分布式文件管理服务中心的回收站服务工作方法，包括以下步骤：S1：删除时，首先根据删除条件获取要删除的文件id；S2：根据文件id查找是否存在该文件；若不存在则抛出异常；存在则执行下一步；
S3：将要删除文件的删除标记置为删除状态，并对其加入删除时间字段；该文件将出现在回收站列表；S4：如果该文件未被其他用户引用，且用户确认此文件不再需要，可在回收站中对其进行彻底删除；删除后该文件保存在数据库中的元数据和FastDFS服务器中的文件都将不存在；此操作不可恢复；S5：若要对删除的文件进行还原，首先获取该文件的文件id；S6：根据文件id查询该文件是否存在；若不存在则抛出异常；存在则执行下一步；S7：判断文件列表是否已有与待还原文件重名的文件；若有则抛出异常；否则执行下一步；S8：还原文件，将删除标记置为未删除状态，并将删除时间字段置空；该文件将出现在文件列表；S9：若某文件在回收站中超过30天未操作且未被其他用户引用，则系统将自动对该文件进行彻底删除。
[0023]本专利技术的有益效果为：1.本文件服务中心提供了一个文件管理系统平台，支持多用户以及海量文件存储，当用户上传文件时，系统会首先对文件计算MD5值，由于相同文件的MD5值有且只有一个，因此当某文件被先后上传两次及以上时，服务器内将只保存最先上传的一个，之后上传的相同文件只将元数据保存到数据库方便查找调用，采用MD5值可以在有限的服务器存储空间内保存更多文件。
[0024]2.针对不同用户设置不同权限，由于采用了MD5值，使得服务器中相同文件有且仅有一个，再次上传的相同文件只储存元数据到数据库，因此对于不同用户对此文件的操作，系统会自动判断当前为哪个用户及其相应的控制权限，避免出现文件本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于轻量级文件系统FastDFS的分布式文件管理服务中心，其特征在于，包括数据库和中间件，所述数据库用来存储服务器中所有文件的元数据、用户信息、服务器组信息以及操作日志，所述中间件包括存储服务、查询服务、回收站服务以及空间配置服务，所述存储服务利用FastDFS集群实现海量文件数据的分布式存储，所述查询服务可以提供全局的文件搜索功能，所述回收站服务提供分布式文件的删除、还原、以及30天彻底删除功能，所述空间配置服务提供针对不同租户的不同空间配置需求，实现空间最优化利用。2.根据权利要求1所述的基于轻量级文件系统FastDFS的分布式文件管理服务中心，其特征在于，所述数据库包括文件及文件夹表、操作日志表、服务器组信息表和租户空间配置表。3.根据权利要求2所述的基于轻量级文件系统FastDFS的分布式文件管理服务中心，其特征在于，所述文件及文件夹表为每一个文件或文件夹分配一个唯一id标识，并设置为主键，其余字段包括父文件夹id，文件路径，md5值等，其中md5值为文件独有。4.根据权利要求3所述的基于轻量级文件系统FastDFS的分布式文件管理服务中心，其特征在于，所述操作日志表用来记录用户在使用本文件服务中心时进行的一系列操作，主要字段包括使用者，使用时间，异常状况等。5.根据权利要求4所述的基于轻量级文件系统FastDFS的分布式文件管理服务中心，其特征在于，所述服务器组信息表用来存储服务器空间大小。6.根据权利要求5所述的基于轻量级文件系统FastDFS的分布式文件管理服务中心，其特征在于，所述租户空间配置表主要用来记录及设置每个用户的可用空间大小。7.根据权利要求6所述的基于轻量级文件系统FastDFS的分布式文件管理服务中心，其特征在于，所述存储服务包括文件上传组件和下载组件。8.根据权利要求7所述的基于轻量级文件系统FastDFS的分布式文件管理服务中心，其特征在于，所述回收站服务包括删除组件、还原组件、真删除组件。9.一种如权利要求6所述的基于轻量级文件系统FastDFS的分布式文件管理服务中心的存储服务工...

【专利技术属性】
技术研发人员：梁秦嘉，霍文辉，郑延虎，金鑫，曹永祥，叶辉，
申请(专利权)人：江苏东交智控科技集团股份有限公司，
类型：发明
国别省市：