一种文件处理方法、装置、设备和介质制造方法及图纸

本发明专利技术实施例公开了一种文件处理方法、装置、设备和介质。其中，该方法包括：通过Web写入接口查询缓存区域中是否存在目标存储数据；若是，则将文件生产者的待上传文件写入缓存区域的目标存储数据中；根据目标存储数据的当前所占容量值，确定目标存储数据中已缓存文件的存储方式。本发明专利技术实施例可以对海量小文件分配不同的存储方式，从而有效提高文件生产者生成的大数量文件的存储效率。

【技术实现步骤摘要】
一种文件处理方法、装置、设备和介质
本专利技术实施例涉及一种海量小文件存储技术，尤其涉及一种文件处理方法、装置、设备和介质。
技术介绍
海量小附件存储是业界难题，甚至有专门的名词，LOSF(LotsOfSmallFile)。通常我们认为大小在1MB以内的文件称为小附件，百万数量及以上称为海量附件，由此量化定义海量小文件。在互联网(尤其是移动互联网)、物联网、云计算以及大数据等高速发展的大背景下，数据呈现爆炸式地增长，海量小文件的应用在生活中已越来越常见，往往能够产生千万级、亿级甚至十亿、百亿级的海量小文件。目前对于海量小文件的存储方式主要是通过网页页面上生成的上传模块直接将海量的小文件上传至分布式集群中进行存储。上述方案的缺陷在于：对于所有的且多数的小文件都是直接进行存储的，一旦文件数量偏大，则会给存储端带来较大负载，极大的降低了海量小文件的存储效率。
技术实现思路
本申请实施例提供一种文件处理方法、装置、设备和介质，可以对海量小文件分配不同的存储方式，从而有效提高文件生产者生成的多数文件的存储效率。第一方面本文档来自技高网...

【技术保护点】
1.一种文件处理方法，其特征在于，所述方法包括：/n通过Web写入接口查询缓存区域中是否存在目标存储数据；/n若是，则将文件生产者的待上传文件写入所述缓存区域的目标存储数据中；/n根据所述目标存储数据的当前所占容量值，确定所述目标存储数据中已缓存文件的存储方式。/n

【技术特征摘要】
1.一种文件处理方法，其特征在于，所述方法包括：
通过Web写入接口查询缓存区域中是否存在目标存储数据；
若是，则将文件生产者的待上传文件写入所述缓存区域的目标存储数据中；
根据所述目标存储数据的当前所占容量值，确定所述目标存储数据中已缓存文件的存储方式。


2.根据权利要求1所述的方法，其特征在于，将文件生产者的待上传文件写入所述缓存区域的目标存储数据中，包括：
遍历查询缓存区域的各存储数据的写入操作进程数；
若检测到写入操作进程数为第一数值，则确定当前存储数据为目标存储数据，并将文件生产者的待上传文件写入所述目标存储数据中；
若检测到所有的存储数据的写入操作进程数均为第二数值，则在所述缓存区域中创建一个新的存储数据作为目标存储数据，并将待上传文件写入所述目标存储数据中。


3.根据权利要求1所述的方法，其特征在于，在通过Web写入接口查询缓存区域中是否存在目标存储数据之后，所述方法还包括：
若否，则新建一个新的存储数据作为目标存储数据，以存储文件生产者的待上传文件。


4.根据权利要求1所述的方法，其特征在于，根据所述目标存储数据的当前所占容量值，确定所述目标存储数据中已缓存文件的存储方式，包括：
若检测到所述目标存储数据的当前所占容量值大于文件缓存阈值，则控制缓存区域将所述目标存储数据中的已缓存文件合并传输至分布式集群中进行存储，并返回所述目标存储数据中存储文件的存储路径；
若检测到所述目标存储数据的当前所占容量值小于文件存储阈值，则控制缓存区域将所述目标存储数据中的已缓存文件继续独立存储，并返回所述待上传文件的存储路径。


5.根据...

【专利技术属性】
技术研发人员：张立志，谢永恒，万月亮，
申请(专利权)人：北京锐安科技有限公司，
类型：发明
国别省市：北京;11