一种基于大文件的存储管理方法及装置制造方法及图纸

本发明专利技术公开了一种基于大文件的存储管理方法及装置，所述方法包括：创建用户并预分配相应组别、空间及权限；插入外部介质时，外部介质中的数据文件自动导入文件空间；联网状态下，接收远程发送来的数据流并将其存储在相应文件空间；对文件空间中的数据文件进行管理；将处理完成的数据上传到服务器端，实现数据入库或者共享；本发明专利技术的优点在于：能很好的隔离用户文件空间、限制用户存储空间大小及将用户文件空间与权限进行关联，满足用户通过外部介质进行数据文件的自动导入与存储管理，联网状态下，接收远程发送来的数据流并将其存储在相应文件空间，满足用户通过接收远端数据源进行数据文件的自动导入与存储管理。

【技术实现步骤摘要】
一种基于大文件的存储管理方法及装置
本专利技术涉及计算机
，更具体涉及一种基于大文件的存储管理方法及装置。
技术介绍
针对应用系统中的文件存储管理需求，需要将设备数据文件存储在磁盘阵列上，将磁盘阵列作为文件存储空间使用，每个用户都有个人的文件存储空间，这个存储空间有大小限制。普通用户没有权限操作别人的文件存储空间，同时用户按组进行管理，组内包括公共空间供组内成员共同使用，组管理员可以操作组成员的文件存储空间，所有组之外存在一个公共空间供所有用户使用，系统管理员可以操作所有成员的文件存储空间。用户通过外部介质或接收远端数据源将数据文件自动导入用户文件存储空间或者公共文件存储空间，用户可以方便的复制、移动、删除及查看数据文件。现有的大文件存储管理方法不能很好的隔离用户文件空间、限制用户存储空间大小及将用户文件空间与权限进行关联，也不能满足用户通过外部介质或接收远端数据源进行数据文件的自动导入与存储管理。中国专利授权公告号CN101416173B，公开了在基于万维网的环境下交换信息的方法及装置，在中央控制的分布式可扩缩虚拟机(CCDSVM)和基于万维网的计算机用户工作(操作)环境(WCUWE)的框架内的“动态工作空间”技术。具有“动态工作空间”技术，用户能够使用传统浏览器以立即张贴或撤除消息、数字文档或内容或所述资源，不用安装专用软件，没有大小限制，具有安全性，而且进一步以获得在组织的用户组中或以一对一的方式随地且随时点对点交换信息的能力。另外，在动态工作空间的保护范围下，CCDSVM的WCUWE向各用户提供私人工作空间且向各组提供公共工作空间，因此，WCUWE向CCDSVM的用户提供针对用户或用户的组的安全可靠的构架层次，以有效地管理、共享和及时且随地访问网络上的恰当信息。虽然该专利公开了私人工作空间以及公共工作空间的划分，但是其并不是大文件存储管理方法，其公开的整个方法过程并不适用于对大文件进行存储管理。
技术实现思路
本专利技术所要解决的技术问题在于现有技术大文件存储管理方法不能很好的隔离用户文件空间、限制用户存储空间大小及将用户文件空间与权限进行关联，也不能满足用户通过外部介质或接收远端数据源进行数据文件的自动导入与存储管理。本专利技术通过以下技术手段实现解决上述技术问题的：一种基于大文件的存储管理方法，所述方法包括：1)创建用户并预分配相应组别、空间及权限；2)插入外部介质时，外部介质中的数据文件自动导入文件空间；3)联网状态下，接收远程发送来的数据流并将其存储在相应文件空间；4)对文件空间中的数据文件进行管理，所述对文件空间的管理包括创建目录、复制文件及文件夹、移动文件及文件夹、删除文件及文件夹、查看文件数据和导出文件数据；5)将处理完成的数据上传到服务器端，实现数据入库或者共享。本专利技术创建用户并预分配相应组别、空间及权限，很好的隔离用户文件空间、限制用户存储空间大小及将用户文件空间与权限进行关联，插入外部介质时，外部介质中的数据文件自动导入文件空间，对文件空间中的数据文件进行管理，满足用户通过外部介质进行数据文件的自动导入与存储管理，联网状态下，接收远程发送来的数据流并将其存储在相应文件空间，满足用户通过接收远端数据源进行数据文件的自动导入与存储管理。进一步地，所述步骤1)包括：用户分配组别后，使用镜像文件挂载的方式在该用户相应组文件空间中划分固定大小的文件空间，并将此文件空间路径指定给该用户，每个用户分配了用户文件空间之后，同一组的用户分配有组公共空间，所有组分配有一个公共空间。更进一步地，所述步骤1)中分配权限包括：用户只查看公共空间及自己文件空间的数据文件，组管理员管理组公共空间及组成员的文件空间的数据文件，系统管理员管理公共空间及所有用户的文件空间的数据文件。更进一步地，所述步骤2)包括：当外部介质插入服务器上或者磁盘阵列上时，外部介质中的文件拷贝到临时目录下，再解析出该文件的文件头中的结构体，根据结构体中允许查看权限字段判断此文件可以存放的目录，其中对于复合权限文件，根据结构体中查看权限集合将复合文件拆分成单独查看权限文件存于相应目录下，并且在文件头中增加相互的关联信息存于各自的单独查看权限文件中；根据结构体中数据文件大小字段判断文件是否超过操作系统处理文件的分页大小，若是，则将此文件拆分为多个小文件进行存放，并且将此文件的文件头都赋予每个小文件中，每个小文件中被赋予的文件头中的文件大小字段修改为各自对应的小文件的大小。更进一步地，所述步骤3)包括：联网状态下，用户文件空间实时监听远程发送来的数据，当有数据发送来时，先将文件头结构体数据接收并且解析出来，以此判断文件查看权限，接下来一直接收文件内容数据并且根据查看权限存于相应目录下，当累计接收文件数据大小超过操作系统处理文件的分页大小时，每接收操作系统处理文件的分页大小的数据，都重新新建一个文件，往里面写数据，形成一个小的文件，每个小的文件接收完毕更新文件头大小，每个小的文件的文件头之间设置关联；如果接收数据过程中，接收到新的文件头结构数据，则先将前一个文件存储完成再进行新的文件存储过程；如果接收文件数据间隔时间超过预设的阈值，则判断为数据发送结束，将文件存储完成并且更新文件头。进一步地，所述步骤2)、步骤3)的数据文件或者数据流中的数据信息提取出来存入数据库中，所述数据信息包括文件名、文件大小、文件类型以及文件权限。进一步地，当用户预分配的空间将满时，提醒用户并且系统管理员对用户文件空间进行扩容及回收，当通过镜像文件挂载的方式为用户开辟好一块固定大小的文件空间后，通过同样方式为用户再开辟一块文件空间以达到扩容的目的，当用户被删除后，之前开辟的文件空间不会被直接删除，而是将其中的文件全部清除，并且将空出来的文件空间挂在空闲文件空间分区中，当再有用户或者公共空间需要扩容时会先从空闲文件空间分区中分配使用；当用户分配了多个文件空间但是使用率不高，将闲置期超过闲置阈值的文件空间进行回收并挂在空闲文件空间分区中。进一步地，所述步骤5)包括：将用户权限信息、文件空间路径、已用大小、剩余大小、数据文件都存储在数据库中。本专利技术还提供一种基于大文件的存储管理装置，所述装置包括：预分配模块，用于创建用户并预分配相应组别、空间及权限；外部介质数据导入模块，用于插入外部介质时，外部介质中的数据文件自动导入文件空间；数据流接收模块，用于联网状态下，接收远程发送来的数据流并将其存储在相应文件空间；管理模块，用于对文件空间中的数据文件进行管理，所述对文件空间的管理包括创建目录、复制文件及文件夹、移动文件及文件夹、删除文件及文件夹、查看文件数据和导出文件数据；上传共享模块，用于将处理完成的数据上传到服务器端，实现数据入库或者共享。进一步地，所述预分配模块还用于：用户分配组别后，使用镜像文件挂载的方式在该用户相应组文件空间中划分固定大小的文件空间，并将此文件空间路径指定给该用户，每个用户分配了用户文件空间之后，同一组的本文档来自技高网...

【技术保护点】
1.一种基于大文件的存储管理方法，其特征在于，所述方法包括：/n1)创建用户并预分配相应组别、空间及权限；/n2)插入外部介质时，外部介质中的数据文件自动导入文件空间；/n3)联网状态下，接收远程发送来的数据流并将其存储在相应文件空间；/n4)对文件空间中的数据文件进行管理，所述对文件空间的管理包括创建目录、复制文件及文件夹、移动文件及文件夹、删除文件及文件夹、查看文件数据和导出文件数据；/n5)将处理完成的数据上传到服务器端，实现数据入库或者共享。/n

【技术特征摘要】
1.一种基于大文件的存储管理方法，其特征在于，所述方法包括：
1)创建用户并预分配相应组别、空间及权限；
2)插入外部介质时，外部介质中的数据文件自动导入文件空间；
3)联网状态下，接收远程发送来的数据流并将其存储在相应文件空间；
4)对文件空间中的数据文件进行管理，所述对文件空间的管理包括创建目录、复制文件及文件夹、移动文件及文件夹、删除文件及文件夹、查看文件数据和导出文件数据；
5)将处理完成的数据上传到服务器端，实现数据入库或者共享。


2.根据权利要求1所述的一种基于大文件的用户存储管理方法，其特征在于，所述步骤1)包括：用户分配组别后，使用镜像文件挂载的方式在该用户相应组文件空间中划分固定大小的文件空间，并将此文件空间路径指定给该用户，每个用户分配了用户文件空间之后，同一组的用户分配有组公共空间，所有组分配有一个公共空间。


3.根据权利要求2所述的一种基于大文件的存储管理方法，其特征在于，所述步骤1)中分配权限包括：用户只查看公共空间及自己文件空间的数据文件，组管理员管理组公共空间及组成员的文件空间的数据文件，系统管理员管理公共空间及所有用户的文件空间的数据文件。


4.根据权利要求3所述的一种基于大文件的存储管理方法，其特征在于，所述步骤2)包括：当外部介质插入服务器上或者磁盘阵列上时，外部介质中的文件拷贝到临时目录下，再解析出该文件的文件头中的结构体，根据结构体中允许查看权限字段判断此文件可以存放的目录，其中对于复合权限文件，根据结构体中查看权限集合将复合文件拆分成单独查看权限文件存于相应目录下，并且在文件头中增加相互的关联信息存于各自的单独查看权限文件中；根据结构体中数据文件大小字段判断文件是否超过操作系统处理文件的分页大小，若是，则将此文件拆分为多个小文件进行存放，并且将此文件的文件头都赋予每个小文件中，每个小文件中被赋予的文件头中的文件大小字段修改为各自对应的小文件的大小。


5.根据权利要求3所述的一种基于大文件的存储管理方法，其特征在于，所述步骤3)包括：联网状态下，用户文件空间实时监听远程发送来的数据，当有数据发送来时，先将文件头结构体数据接收并且解析出来，以此判断文件查看权限，接下来一直接收文件内容数据并且根据查看权限存于相应目录下，当累计接收文件数据大小超过操作系统处理文件的分页大小时，每接收操作系统处理文件的分页大小的数据，都重新新建一个文件，往里面写数据，形成一个...

【专利技术属性】
技术研发人员：王荧飞，吴亚伟，林晓斌，王亚品，戚晓侠，刘海关，郑鑫，刘泽阳，陈楠，龙柏，李孟秋，张娟，
申请(专利权)人：中国电子科技集团公司第三十八研究所，
类型：发明
国别省市：安徽;34