一种对象存储中文件删除或归档的方法以及系统技术方案

本发明专利技术公开一种对象存储中文件删除或归档的方法，其步骤包括：获取常用数据文库，通过权重算法计算产生常用数据文库列表，所述常用数据文库列表包括了常用数据文库出现的次数；对全量文件库中操作次数较少的临时数据文库进行区分，筛选；在所述全量文件库中筛选出临时数据文库并进行删除；完成上述步骤后，下一个访问常用文件到来时重复执行上述步骤。本发明专利技术能够快速筛选出对象存储中那些不再被访问的文件，进行分类归档或删除，保持对象存储中文件为常用且有效的缓存文件，降低存储成本，提高对象存储的使用率。

【技术实现步骤摘要】
一种对象存储中文件删除或归档的方法以及系统
本专利技术涉及对象存储文件删除归档
，具体为一种对象存储中文件删除或归档的方法以及系统。
技术介绍
随着互联网的发展，特别是视频、图片等互联网应用的网站的出现，云计算CDN的发展对象存储以其分布式、可靠性、容易扩展、低成本等特点，越来越得到青睐，公有云服务商都不约而同支持对象存储，且越来越多的网站选择将非结构化的数据放置在对象存储中。对象存储和常见的文件系统存储不同，它是一种多节点、易扩展、非结构化的存储，在对象存储中没有文件夹的概念，所有数据均存储在同一个层级中，只能通过RESTfulAPI数据读写接口及丰富的SDK接口使用唯一的凭证访问数据，对象存储设计中屏蔽了底层文件系统，方便扩容以及存储和读取文件，淡化了文件和文件之间的关系，不能像文件系统一样直接修改对象存储上的文件，更不能通过文件属性归类查找文件。只能通过单一的文件获取文件和文件属性。通常CDN系统中为了提高边缘节点性能和缓存效果，在对接视频网站中使用对象存储来达到永久存储的效果，提高命中减少回源。随着时间累积，对象存本文档来自技高网...

【技术保护点】
1.一种对象存储中文件删除或归档的方法，应用于存储系统，所述存储系统包括内部存储系统和外部存储系统，所述内部存储系统存储常用数据文库，外部存储系统存储常用数据文库和临时数据文库形成全量文件库，其特征在于，包括：/n获取常用数据文库，通过权重算法计算产生常用数据文库列表，所述常用数据文库列表包括了常用数据文库出现的次数；/n对全量文件库中操作次数较少的临时数据文库进行区分，筛选；/n在所述全量文件库中筛选出临时数据文库并进行删除；/n完成上述步骤后，下一个访问常用文件到来时重复执行上述步骤。/n

【技术特征摘要】
1.一种对象存储中文件删除或归档的方法，应用于存储系统，所述存储系统包括内部存储系统和外部存储系统，所述内部存储系统存储常用数据文库，外部存储系统存储常用数据文库和临时数据文库形成全量文件库，其特征在于，包括：
获取常用数据文库，通过权重算法计算产生常用数据文库列表，所述常用数据文库列表包括了常用数据文库出现的次数；
对全量文件库中操作次数较少的临时数据文库进行区分，筛选；
在所述全量文件库中筛选出临时数据文库并进行删除；
完成上述步骤后，下一个访问常用文件到来时重复执行上述步骤。


2.根据权利要求1所述的一种对象存储中文件删除或归档的方法，其特征在于，所述常用数据文库统计算法为：weight＝m*((count1/instance1**2)+(count2/instance**2)+......)，其中,记文件URL出现日期为首次数值,当天出现次数为count，首次数值距离现在天数为instance，自定义加权系数m，使用公式weight＝m*count/(instance^^2)来代表文件出现当天的权重，累计该文件所有日期的权重和为总权重。


3.根据权利要求1所述的一种对象存储中文件删除或归档的方法，其特征在于，所述常用数据文库为收集一段时间内的访问日志...

【专利技术属性】
技术研发人员：孙超，郭浩，黄东，
申请(专利权)人：上海七牛信息技术有限公司，
类型：发明
国别省市：上海;31