The invention relates to the field of Internet technology, in particular to a document management method and device. The method includes: when receiving the first file management instruction, determining the file management conditions; obtaining the node file information of each resource file, selecting the target node file information meeting the file management conditions and sending it to the global management system; receiving the node file management strategy sent by the global management system and determining the status information of each node machine; according to the node file management strategy Ignore the status information, set the sub file management policy, and send the sub file management policy to the sub management system to perform the file management operation. By using this method, according to the distributed correspondence among the node management system, sub management system and global management system, all the resource files in the node machine of each edge node in the CDN system are managed, and the file management operation of each resource file is effectively carried out to improve the performance and stability of the CDN system.
【技术实现步骤摘要】
文件管理方法及装置
本专利技术涉及互联网
,特别是涉及一种文件管理方法及装置。
技术介绍
随着互联网技术的快速发展,CDN(ContentDeliveryNetwork,内容分发网络)系统作为互联网中的一种新型架构,能够在用户需要文件时,根据网络流量、各个边缘节点的连接,依据各个边缘节点到用户的距离等信息,选择离用户较近,传输速度较快的边缘节点,向用户发送用户所需的文件。然而,CDN系统由于磁盘空间有限,当CDN系统存储的文件已经占用了CDN系统的大部分磁盘空间时,就需要针对已存储的文件进行清理、迁移和备份等。在现有技术中,通常将各个文件的文件名、每个文件所对应的边缘节点的节点ID保存在数据库中,用户可通过数据库查询目标文件当前存储的位置,并根据目标文件当前存储的位置对目标文件进行清理、迁移和备份等操作。但随着文件数量的增长,数据库需要记录大量的文件名和节点ID,使得数据库中的数据量异常的庞大,同时降低了数据库的安全性能和稳定性能。且对于大数量的批量文件管理操作,会对CDN系统的系统性能和稳定性产生影响,导致系 ...
【技术保护点】
1.一种文件管理方法,其特征在于,所述方法应用于节点管理系统,所述节点管理系统用于管理与其对应的边缘节点中的所有资源文件,所述边缘节点中包含至少一个节点机,所述方法包括:/n当接收到预先设置的全局管理系统发送的第一文件管理指令时,确定与所述第一文件管理指令对应的文件管理条件;/n获取与所述边缘节点中存储的每个资源文件对应的节点文件信息,并从各个所述节点文件信息中选择满足所述文件管理条件的目标节点文件信息;/n将各个所述目标节点文件信息发送至所述全局管理系统中,以使所述全局管理系统依据各个所述目标节点文件信息及所述文件管理条件,设置与每个所述目标节点文件信息对应的资源文件的节 ...
【技术特征摘要】
1.一种文件管理方法,其特征在于,所述方法应用于节点管理系统,所述节点管理系统用于管理与其对应的边缘节点中的所有资源文件,所述边缘节点中包含至少一个节点机,所述方法包括:
当接收到预先设置的全局管理系统发送的第一文件管理指令时,确定与所述第一文件管理指令对应的文件管理条件;
获取与所述边缘节点中存储的每个资源文件对应的节点文件信息,并从各个所述节点文件信息中选择满足所述文件管理条件的目标节点文件信息;
将各个所述目标节点文件信息发送至所述全局管理系统中,以使所述全局管理系统依据各个所述目标节点文件信息及所述文件管理条件,设置与每个所述目标节点文件信息对应的资源文件的节点文件管理策略;
当接收到所述全局管理系统发送的各个所述节点文件管理策略时,确定所述边缘节点中各个所述节点机的状态信息;
依据各个所述节点文件管理策略及每个所述节点机对应的状态信息,设置每个所述节点机对应的子文件管理策略;
将每个所述节点机对应的子文件管理策略,发送至该节点机对应的预先设置的子管理系统中,触发所述子管理系统依据所述子文件管理策略对所述节点机执行文件管理操作,完成对各个所述节点机中各个资源文件的文件管理。
2.根据权利要求1所述的方法,其特征在于,所述获取与所述边缘节点中存储的每个资源文件对应的节点文件信息,包括:
向各个所述子管理系统发送第二文件管理指令;
当接收到每个所述子管理系统依据所述第二文件管理指令,反馈的与每个所述节点机中每个资源文件对应的文件信息时,统计各个所述节点机中属于同一资源文件的文件信息,获得所述边缘节点中与每个所述资源文件对应的节点文件信息。
3.根据权利要求1所述的方法,其特征在于,所述从各个所述节点文件信息中选择满足所述文件管理条件的目标节点文件信息,包括:
确定与所述文件管理条件对应的文件热度阈值,所述文件热度阈值为文件高热度阈值或文件低热度阈值;
获取每个所述节点文件信息包含的每个所述资源文件被访问的各个访问时间,并确定在预先设置的访问时间段内每个所述资源文件被访问的访问次数;
对每个所述资源文件对应的访问时间段及访问次数进行计算,获得与每个所述资源文件对应的文件热度;
依据每个所述资源文件对应的文件热度,从各个所述节点文件信息中选择满足所述文件热度阈值的目标节点文件信息。
4.根据权利要求1所述的方法,其特征在于,所述依据各个所述节点文件管理策略及每个所述节点机对应的状态信息,设置每个所述节点机对应的子文件管理策略,包括:
获取所述节点文件管理策略中包含的第一访问阈值,及与所述第一访问阈值对应的第一副本数量,所述第一访问阈值为所述全局管理系统设置的高热度访问阈值;
获取每个所述资源文件对应的节点文件信息中的总访问次数,并判断是否存在目标资源文件的总访问次数大于所述第一访问阈值;
若存在目标资源文件的总访问次数大于所述第一访问阈值,则将各个所述目标资源文件确定为高热度文件,并根据所述第一副本数量,及与每个所述节点机的状态信息,设置与每个所述节点机对应的高热度文件管理策略,所述高热度文件管理策略用于触发每个所述子管理系统依据与其对应的高热度文件管理策略,管理每个所述节点机中每个所述高热度文件的数量,以使所述边缘节点中每个所述高热度文件的数量不少于所述第一副本数量。
5.根据权利要求1所述的方法,其特征在于,所述依据所述节点文件管理策略及每个所述节点机对应的状态信息,设置与每个所述节点机对应的子文件管理策略,包括:
获取所述节点文件管理策略中包含的第二访问阈值,及与所述第二访问阈值对应的第二副本数量,所述第二访问阈值为所述全局管理系统设置的低热度访问阈值;
获取每个所述资源文件对应的节点文件信息中的总访问次数,并判断是否存...
【专利技术属性】
技术研发人员:邵灿,盛骥斌,
申请(专利权)人:湖南快乐阳光互动娱乐传媒有限公司,
类型:发明
国别省市:湖南;43
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。