The invention discloses an intelligent allocation method of file storage space based on large data, which includes the following steps: dividing storage space into several storage units including several storage sub-units, each of which has several keywords; acquiring space occupancy request, whether it is a compressed file or not, decompressing if it is; determining storage unit of file storage and extracting keywords The number of keywords appearing in the statistical file; the correlation coefficient between the statistical file and the storage sub-units, and stored in the storage sub-units with the largest correlation coefficient; the residual storage space of the storage sub-units with the largest correlation coefficient is detected to determine whether the residual storage space is less than the threshold of the residual space, if less than, it will be the residual space in the storage sub-units with the largest residual space. The storage subunit is divided into two parts. The invention improves the rationality and cleanliness of the file storage space, realizes the rational division of the storage space, and has the characteristics of high rationality of allocation and high storage efficiency.
【技术实现步骤摘要】
一种基于大数据的文件存储空间智能分配方法
本专利技术属于文件存储
,涉及到一种基于大数据的文件存储空间智能分配方法。
技术介绍
随着计算机网络,特别是因特网(Internet)的迅猛发展,越来越多的视频文件被数据化,全球信息存储量每年急剧增长。传统的信息系统概念发生了巨大的变化,这些变化突出地表现在文件信息的存储、传递、发布以及获取方式所发生的革命性变革。与此同时,大量数据密集型应用,如文件类型不同,海量的文件在存储容量、性能、安全性、可扩展性上提出了更高的要求,传统的文件存储方式过于简单话,由于缺乏管理导致文件丢失以及胡乱堆积的问题,为了更好的对文件存储进行合理的分配,解决文件存储过程中,无法对文件类型进行划分存储,存在的存储效率低、查找不便以及合理性差的问题,现设计一种基于大数据的文件存储空间智能分配方法。
技术实现思路
本专利技术的目的在于提供的基于大数据的文件存储空间智能分配方法,解决了文件存储过程中,存在存储效率低、查找效率低以及合理性差的问题。本专利技术的目的可以通过以下技术方案实现:一种基于大数据的文件存储空间智能分配方法,包括以下步骤:S1、对云 ...
【技术保护点】
1.一种基于大数据的文件存储空间智能分配方法,其特征在于:包括以下步骤:S1、对云服务器中的文件存储空间进行划分,划分成若干存储空间相同的存储单元,若干存储单元按照设定的顺序进行编号,分别为1,2,...,k,...,x,不同存储单元用于存储不同的文件类型,不同文件类型对应的存储单元均包括若干存储空间相等的存储子单元,同一存储单元中的若干存储子单元按照设定的顺序进行编号,分别为1,2....,j,...,m,不同存储子单元均设置有若干关键字,对不同存储单元中的各存储子单元中的关键字按照设定的顺序进行排序,依次为1,2,...,i,...,n,各存储单元中的各存储子单元中的所 ...
【技术特征摘要】
1.一种基于大数据的文件存储空间智能分配方法,其特征在于:包括以下步骤:S1、对云服务器中的文件存储空间进行划分,划分成若干存储空间相同的存储单元,若干存储单元按照设定的顺序进行编号,分别为1,2,...,k,...,x,不同存储单元用于存储不同的文件类型,不同文件类型对应的存储单元均包括若干存储空间相等的存储子单元,同一存储单元中的若干存储子单元按照设定的顺序进行编号,分别为1,2....,j,...,m,不同存储子单元均设置有若干关键字,对不同存储单元中的各存储子单元中的关键字按照设定的顺序进行排序,依次为1,2,...,i,...,n,各存储单元中的各存储子单元中的所有关键字构成关键字集合Akj(akj1,akj2,...,akji,...,akjn),akji表示为第i个存储子单元中第j个存储子单元中第i个关键字;S2、获取文件存储发送的一空间占用请求,判断接收的需存储文件是否为压缩文件,若为压缩文件,并执行以下步骤S3,否则,执行步骤S4;S3、对压缩文件进行解压,对解压后的压缩文件中的各文件,依次执行步骤S4;S4、判断文件的类型,将文件的类型与各存储单元存储的文件类型进行对比,以确定文件存储的存储单元编号p,并提取该文件名称以及文件内容中的若有关键字,构成待检测关键字集合B(b1,b2,...,bf,...,bt),bf表示为待存储文件中第f个关键字,将存储该文件类型的存储单元中若干存储子单元对应的关键字集合A′pj分别与待检测关键字集合B中的若干关键字进行逐一对比,得到关键字对比集合A′pj(a′pj1,a′pj2,...,a′pji,...,a′pjn),a′pji表示该存储单元中第j个存储子单元中第i个关键字与待检测关键字集合中所有关键字的对比数值,若该存储单元中第j个存储子单元中第i个关键字与待检测关键字集合中的关键字相同,则取a′pji等于1,否则,a′pji等于0;S5、统计待存储文件中各关键字出现的次数,构成关键词次数集合C(c1,c2,...,cf,...,ct),cf表示为待存储文件中第f个关键字出现的次数,对关键字次数集合中各关键字出现的概率进行统计,得到关键字概率集合C′(c′1,c′2,...,c′f,...,c′t),c′f表示为第f个关键字在待检测文件中出现的概率,且S6、提取关键字对比集合中对比数值为1的关键字出现的概率,并将提取的关键字出现的概率按照存储单元中各存储子单元中各关键字对应的顺序进行排序,构成关键字对比概率集合A″pj(a″pj1,a″pj2,...,a″pji,...,a″pjn),a″pji表示该存储单元中第...
【专利技术属性】
技术研发人员:不公告发明人,
申请(专利权)人:深圳市心版图科技有限公司,
类型:发明
国别省市:广东,44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。