一种基于KDFS系统的文件备份方法与系统技术方案

本发明专利技术公开了一种基于KDFS系统的文件备份方法与系统，获取用户上传文件，通过预设级别判定规则判定所述文件所属的应用标识的级别，根据所述级别通过预设备份数量确定规则确定KDFS系统中各集群的目标备份数量，根据所述目标备份数量对所述各集群分别进行所述文件的备份，可以为上传文件所属的应用标识进行等级划分，根据不同的等级对KDFS系统中的各集群分别进行不同备份数量的文件备份，可以根据文件所属应用标识对应的重要程度有针对地调整集群的备份数量进行文件备份，在保证文件安全的同时，极大地减少文件备份对磁盘空间的负担。

【技术实现步骤摘要】

本专利技术涉及文件备份领域，特别是涉及一种基于KDFS系统的文件备份方法与系统。
技术介绍
在云存储服务中，文件冗余备份是非常重要的组成部分。由于容量、扩容、数据安全、数据备份等方面的优势，文件都是存储在分布式文件系统中。KDFS为一种跨集群的分布式文件系统，如图1所示，KDFS系统包括Hadoop分布式文件系统HDFS和FASTDFS轻量级分布式文件系统FastDFS。用户上传文件后，分布式文件系统会将文件的多个备份分散存储在集群内的多个服务器上，保证文件不会因为某个服务器宕机或磁盘损坏等故障导致文件丢失，在现有的分布式文件系统和云存储服务中普遍采用冗余备份的方式保存文件。然而，现有的文件备份机制都是基于集群的，开发者只能设置文件在单个集群中的备份数量，这就导致在KDFS中文件的备份数量过多，有些备份为非必要的，进行不必要的备份可能会对磁盘空间造成负担。
技术实现思路
有鉴于此，本专利技术的主要目的在于提供一种基于KDFS系统的文件备份方法与系统，可以有针对地调整集群的备份数量进行文件备份。为实现上述目的，本专利技术提供了一种基于KDFS系统的文件备份方法，包括：步骤A：获取用户上传文件；步骤B：通过预设级别判定规则判定所述文件所属的应用标识的级别；步骤C：根据所述级别通过预设备份数量确定规则确定KDFS系统中各集群的目标备份数量；步骤D：根据所述目标备份数量对所述各集群分别进行所述文件的备份。优选地，通过预设级别判定规则判定所述文件所属的应用标识的级别包括：判断所述文件所属的应用标识是否存储于优先级列表中，如果是，则确定所述文件所属的应用标识为优先级别，否则将所有评级的应用标识对应的访问参数由大到小进行排序，当所述应用标识对应的访问参数在所述排序中位于前第一预设比例时，确定所述应用标识为第一级别，当在所述排序中位于前第一预设比例至前第二预设比例之间时，确定所述应用标识为第二级别，当在所述排序中位于前第二预设比例之后时，确定所述应用标识为第三级别。优选地，所述访问参数包括：所述应用标识对应的访问用户数量与所述应用标识对应的访问次数。优选地，根据所述级别通过预设备份数量确定规则确定KDFS系统中各集群的目标备份数量包括：当所述文件所属的应用标识为优先级别时，根据指令确定KDFS系统中各集群的目标备份数量；当所述文件所属的应用标识为第一级别时，确定KDFS系统中各集群的目标备份数量均为第一预设数量；当所述文件所属的应用标识为第二级别时，确定上传的所述文件所在集群的目标备份数量为第一预设数量，确定KDFS系统中除上传的所述文件所在集群之外的其他各集群的目标备份数量均为小于第一预设数量的第二预设数量；当所述文件所属的应用标识为第三级别时，确定KDFS系统中各集群的目标备份数量均为第二预设数量。优选地，根据所述目标备份数量对所述各集群分别进行所述文件的备份后还包括：获取所述应用标识对应的访问记录；根据应用标识对应的访问记录调整级别，返回步骤C。优选地，根据所述目标备份数量对所述各集群分别进行所述文件的备份后还包括：响应用户的下载指令在指定的集群中下载所述文件。本专利技术还提供了一种基于KDFS系统的文件备份系统，包括：文件获取模块，用于获取用户上传文件；级别确定模块，与所述文件获取模块相连接，用于通过预设级别判定规则判定所述文件所属的应用标识的级别；集群备份数量确定模块，与所述级别确定模块相连接，用于根据所述级别通过预设备份数量确定规则确定KDFS系统中各集群的目标备份数量；集群备份模块，与所述集群备份数量确定模块相连接，用于根据所述目标备份数量对所述各集群分别进行所述文件的备份。优选地，所述基于KDFS系统的文件备份系统还包括：访问记录获取模块，用于获取所述应用标识对应的访问记录。优选地，所述基于KDFS系统的文件备份系统还包括：级别调整模块，与所述访问记录获取模块以及所述集群备份数量确定模块均相连接，用于根据应用标识对应的访问记录调整级别，令所述集群备份数量确定模块工作。优选地，所述基于KDFS系统的文件备份系统还包括：文件下载模块，与所述集群备份模块相连接，用于响应用户的下载指令在指定的集群中下载所述文件。应用本专利技术提供的一种基于KDFS系统的文件备份方法与系统，获取用户上传文件，通过预设级别判定规则判定所述文件所属的应用标识的级别，根据所述级别通过预设备份数量确定规则确定KDFS系统中各集群的目标备份数量，根据所述目标备份数量对所述各集群分别进行所述文件的备份，可以为上传文件所属的应用标识进行等级划分，根据不同的等级对KDFS系统中的各集群分别进行不同备份数量的文件备份，可以根据文件所属应用标识对应的重要程度有针对地调整集群的备份数量进行文件备份，在保证文件安全的同时，极大地减少文件备份对磁盘空间的负担。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为KDFS系统的结构示意图；图2为本专利技术一种基于KDFS系统的文件备份方法实施例一的流程图；图3为本专利技术一种基于KDFS系统的文件备份方法实施例一的原理示意图；图4为本专利技术一种基于KDFS系统的文件备份系统实施例二的结构示意图；图5为本专利技术一种基于KDFS系统的文件备份系统实施例三的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。实施例一：本专利技术提供了一种基于KDFS系统的文件备份方法，图2示出了本专利技术基于KDFS系统的文件备份方法实施例一的流程图，包括：步骤S101：获取用户上传文件；步骤S102：通过预设级别判定规则判定所述文件所属的应用标识的级别；使用KDFS的应用标识为APPID，判断所述文件所属的APPID是否存储于优先级列表中，如果是，则确定所述文件所属的APPID为优先级别，否则将所本文档来自技高网...

【技术保护点】
一种基于KDFS系统的文件备份方法，其特征在于，包括：步骤A：获取用户上传文件；步骤B：通过预设级别判定规则判定所述文件所属的应用标识的级别；步骤C：根据所述级别通过预设备份数量确定规则确定KDFS系统中各集群的目标备份数量；步骤D：根据所述目标备份数量对所述各集群分别进行所述文件的备份。

【技术特征摘要】
1.一种基于KDFS系统的文件备份方法，其特征在于，包括：
步骤A：获取用户上传文件；
步骤B：通过预设级别判定规则判定所述文件所属的应用标识的级别；
步骤C：根据所述级别通过预设备份数量确定规则确定KDFS系统中各
集群的目标备份数量；
步骤D：根据所述目标备份数量对所述各集群分别进行所述文件的备份。
2.根据权利要求1所述的基于KDFS系统的文件备份方法，其特征在于，
通过预设级别判定规则判定所述文件所属的应用标识的级别包括：
判断所述文件所属的应用标识是否存储于优先级列表中，如果是，则确
定所述文件所属的应用标识为优先级别，否则将所有评级的应用标识对应的
访问参数由大到小进行排序，当所述应用标识对应的访问参数在所述排序中
位于前第一预设比例时，确定所述应用标识为第一级别，当在所述排序中位
于前第一预设比例至前第二预设比例之间时，确定所述应用标识为第二级别，
当在所述排序中位于前第二预设比例之后时，确定所述应用标识为第三级别。
3.根据权利要求2所述的基于KDFS系统的文件备份方法，其特征在于，
所述访问参数包括：
所述应用标识对应的访问用户数量与所述应用标识对应的访问次数。
4.根据权利要求2所述的基于KDFS系统的文件备份方法，其特征在于，
根据所述级别通过预设备份数量确定规则确定KDFS系统中各集群的目标备
份数量包括：
当所述文件所属的应用标识为优先级别时，根据指令确定KDFS系统中
各集群的目标备份数量；
当所述文件所属的应用标识为第一级别时，确定KDFS系统中各集群的
目标备份数量均为第一预设数量；
当所述文件所属的应用标识为第二级别时，确定上传的所述文件所在集
群的目标备份数量为第一预设数量，确定KDFS系统中除上传的所述文件所
在集群之外的其他各集群的目标备份数量均为小于第一预设数量的第二预设<...

【专利技术属性】
技术研发人员：牟建伟，胡博，陈桓，罗利辉，
申请(专利权)人：金蝶软件中国有限公司，
类型：发明
国别省市：广东;44