一种间隔执行的异步文件选择和副本放置方法技术

副本的选择和放置技术，通过预测用户偏好，将文件提前复制到最近的资源节点上，降低了网络的延迟和网络带宽的使用，在数据网格中已被广泛应用，其中这个技术有两个重要的步骤：文件的选择和副本的放置，文件选择负责预测用户的偏好并选择最合适的文件作为副本，副本的放置则需要综合考虑节点的位置，用户的位置，节点容量等因素选择最合适的节点来放置副本。在本发明专利技术中，提出了一种基于轮的异步文件选择和副本放置技术，通过优化传统的文件选择的判断标准，将传统的同步算法转换为异步算法并利用贪心策略来进行副本的放置，使得本算法在用户对文件的偏好变化频繁且不一致的情况下拥有更好的网络延迟的优化效果。

【技术实现步骤摘要】

本专利技术涉及网络资源的配置，特别是星型拓扑数据网格中的副本选择和放置。
技术介绍
副本的概念：副本的存在，是为了解决在网络中，庞大的数据量在狭窄的主干网络上传输所造成的网络拥堵的问题，实际上网络上的很多数据都是重复传输的，如果能有一种方法分析并预知网络上即将发生的重复数据传输，并提前将此数据复制到(即一个副本)离需求端最近的节点，就可以有效的减少主干网络的拥堵，提高整个网络资源的利用率。星型拓扑数据网格：如图1所示：其中集群的数量是可扩展的，集群内的节点也是可扩展的，Global Replication Controller(GRC)管理全局文件请求信息，文件的原本(对应于副本)，都存储在GRC当中，本文设计的算法，就是从集群中收集用户对文件的请求数量信息，并选择合适的文件复制到对应集群的节点中，以减少整个网络的文件传输延迟。在本专利技术中，提出了一种基于轮的异步文件选择和副本放置技术，通过优化传统的文件选择的判断标准，将传统的同步算法转换为异步算法并利用贪心策略来进行副本的放置，使得本算法在用户对文件的偏好变化频繁且不一致的情况下拥有更好的网络延迟的优化效果。
技术实现思路
副本的选择：副本的选择即收集用户对文件的请求数量，文件本身的特性等信息后，利用一个热度标准，选择符合标准的文件，这些选择的文件将作为副本放置时的输入。副本的放置：将上一步选择的文件，利用某个策略(比如贪心策略)，将这些文件放置到最合适的集群节点中。基于“轮”：即将时间分成固定长度的时间段，每一个时间段称为一轮。本专利技术克服的缺点主要有两个：同步算法所带来的扩展性差，容错性差等缺点；传统方法对副本的选择不到位，对存储节点的存储资源利用不够充分。达到的效果：文件平均延迟相比之前的算法降低了5％～50％(模拟环境下)。附图说明图1是算法所适用的星型拓扑数据网格。图2是本专利技术所使用的算法流程图。具体实施方式下面结合实施例及附图对本专利技术作进一步详细的描述，但本专利技术的实施方式不限于此。实施例在如图1所示的数据网格中，算法1将部署在GRC中，算法2和算法3将部署在LRC中，各个集群可以按需访问GRC来获取全局的文件请求数据。本专利技术重点采用的方法有：热度标准：每一轮，计算热度都分为两步，第一步将某个集群中用户对文件的请求数量发送至GRC，GRC再返回给这个集群全局的文件请求频率，之后LRC再计算热度FPi第一步：从GRC中获取全局文件请求频率：(算法1)第二步：再LRC中计算FPi:其中，i表示文件id，c表示集群id，n表示该集群内的轮数。Ri表示对文件i的历史请求总数，HTR表示对所有文件的请求总数。实际上，GFPi表示对文件i的全局历史请求频率。TRc，n表示在集群c中第n轮中用户对所有文件发出的请求总数。FSi表示文件i的大小(单位为mega bit)。a是一个变量，可以根据需求变化，a越大，网络中的集群的副本选择越相似。副本的选择(算法2)：副本的选择经过两个步骤：第一步：计算每个文件的FP。第二步：过滤掉FP小于等于0的文件，将剩下的文件FP按降序排列。副本的放置(算法3)：考虑各个节点(CN)的最大容量，算法将为每个节点选择若干副本进行放置。同样有两个步骤：第一步：遍历排序好的每个文件(算法1选择的文件)计算最合适的节点，在本文的方法中，如果当前轮中，一个节点对某个文件的请求数比集群中其他节点对该文件的请求数都多，则称该节点为该文件的最合适节点。第二步：将副本放入上一步计算好的节点中，如果节点容量不够，则忽略该文件，并判断下一个放入该节点的文件是否能放得下，如果放得下继续，如果放不下，忽略并以此类推。上述实施例为本专利技术较佳的实施方式，但本专利技术的实施方式并不受上述实施例的限制，其他的任何未背离本专利技术的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本专利技术的保护范围之内。以上对本专利技术的具体实施例进行了描述。需要理解的是，本专利技术并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本专利技术的实质内容。本文档来自技高网...

【技术保护点】
一种间隔执行的异步文件选择和副本放置方法，其特征在于：利用文件大小作为热度的权重，将时间分成固定的时间间隔，每个间隔末在每个集群内部执行本算法，每个集群拥有自己的轮计数器，从而集群可以控制自己的运行节奏，异步地从GRC获取全局信息。

【技术特征摘要】
1.一种间隔执行的异步文件选择和副本放置方法，其特征在于：利用文件大小作为热度的权重，将时间分成固定的时间间隔，每个间隔末在每个集群内部执行本算法，每个集群拥有自己的轮计数器，从而集群可以控制自己的运行节奏，异步地从GRC获取全局信息。2.根据权利1所述的方法，其特征在于：提出了利用文件大小作为权重的热度计算方法，热度标准计算方法：每一轮，计算热度都分为两步，第一步将某个集群中用户对文件的请求数量发送至GRC，GRC再返回给这个集群全局的文件请求频率，之后LRC再计算热度FPi第一步：从GRC中获取全局文件请求频率：第二步：再LRC中计算FPi:其中，i表示文件id，c表示集群id，n表示该集群内的轮数，Ri表示对文件i的历史请求总数，HTR表示对所有文件的请求总数，实际上，GFPi表示对文件i的全局历史请求频率，TPc，n表示在集群c中第n轮中用户对所有文件发出的请求总数，FSi...

【专利技术属性】
技术研发人员：刘竹松，谢纪东，武继刚，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：广东;44