【技术实现步骤摘要】
文件存储方法、装置、计算设备及计算机存储介质
[0001]本专利技术涉及文件存储领域,具体涉及一种文件存储方法、装置、计算设备及计算机存储介质。
技术介绍
[0002]随着互联网行业的发展以及移动终端技术的兴起,图片、电子书籍、电子文档等业务数据曾出现指数级别的增长。企业内部拥有上亿甚至几十亿业务数据小文件(小文件一般指大小在几十字节(KB)到几兆字节(MB)的单个文件)已经成为常态,且企业对数据的依赖性也越来强,因此,海量小文件的有效离线备份,变成一项亟待解决的难题。
[0003]现有技术中,针对海量小文件的备份主要采用以下技术方案:在挂载有网络文件系统的生产主机安装备份客户端软件,用于后续备份策略发起和备份数据传输;备份服务端创建一个标准的文件备份策略,包含全量备份和增量备份,全量备份发起时,备份客户端扫描所需备份目录下所有的文件,然后单线程逐个进行备份;以及每备份成功一个文件,备份服务器都会在其元数据库中创建一条元数据,包含备份的文件名称、备份客户端、备份时间、md5校验码。
[0004]然而,专利技术 ...
【技术保护点】
【技术特征摘要】
1.一种文件存储方法,其特征在于,包括:实时监控备份服务器的性能指标,根据所述性能指标计算得到所述备份服务器的健康分值;其中,所述性能指标包含以下指标中的一个或多个:CPU使用率、内存使用率、网络使用率及磁盘使用率;根据所述备份服务器的健康分值,确定需开启的备份线程的数目;根据需开启的备份线程的数目,开启对应数目的备份线程,从网络存储器获取备份文件数据,将备份文件数据备份到所述备份服务器中。2.根据权利要求1所述的方法,其特征在于,所述方法还包括:采用优化的挂载参数将所述网络存储器以只读形式挂载给所述备份服务器。3.根据权利要求1所述的方法,其特征在于,所述实时监控备份服务器的性能指标进一步包括:通过采集线程,读取所述备份服务器的内核文件,获取所述备份服务器的性能指标。4.根据权利要求1所述的方法,其特征在于,所述将备份文件数据备份到所述备份服务器中进一步包括:对备份文件数据进行分组,获得多个备份文件数据组;任一备份线程对备份文件数据组逐个进行压缩打包为单个文件备份到所述备份服务器中。5.根据权利要求4所述的方法,其特征在于,所述对备份文件数据进行分组,获得多个备份文件数据组进一步包括:创建数据索引表和标签表,扫描当前的文件系统,并将所述数据索引表切割成多个子数据索引表,获得多个备份文件数据组。6.根据权利要求5所述的方法,其特征在于,所述任一备份线程对备份文件数据组逐个进行压缩打包为单个文件备份到所述备份服务器中进...
【专利技术属性】
技术研发人员:刘禹,
申请(专利权)人:咪咕文化科技有限公司中国移动通信集团有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。