一种基于用户请求响应时间的副本创建方法技术

技术编号:8685692 阅读:171 留言:0更新日期:2013-05-09 05:15
本发明专利技术公开了一种基于用户请求响应时间的副本创建方法,包括:将分布式存储环境中的待测数据块复制n个副本,将n个副本分别分布在分布式存储环境中的n个存储节点上,每个副本的大小为Sb,并将这n个存储节点的信息存储在元数据服务器上,获取n个存储节点的节点网络传输能力(NTC1,NTC2,…,NTCn).和节点并发访问数(Num1,Num2,…,Numn),根据n个节点的节点网络传输能力(NTC1,NTC2,…,NTCn)、节点并发访问数(Num1,Num2,…,Numn)和副本大小Sb获取n个存储节点的相关特征值,根据n个存储节点的相关特征值,对待测数据块进行副本创建过程。本发明专利技术在恰当的时机为热点数据创建新的副本,从而降低用户访问的响应时间,并提高整个系统的性能。

【技术实现步骤摘要】

本专利技术属于分布式存储中的副本管理
,更具体地,涉及。
技术介绍
在现代科学研究和应用领域中,大量的数据是重要的资源,如高能物理和粒子物理、生物医学研究、航空航天、数字地球、大型武器模拟、大型数据库和数据仓库等的应用。其数据量将达到TB至PB的级别。同时,地理上广泛分布的科研工作者和用户都希望能访问和分析这些庞大的数据。为了解决上述应用面临的问题,分布式存储应运而生。分布式存储为各种应用提供了一个高性能、大容量、高速传输的并行分布广域计算平台。它是对广域范围内大规模的数据集进行分布式管理和分析及使用的一个综合的体系结构,实现网格环境中安全、可靠和有效的数据传输以及访问、复制等操作,并提供到不同存储系统的统一接口,较好地解决了上述问题,从而使得数据密集型的高性能计算和大量的共享数据密集型的事务处理及科学研究成为可能。数据副本(Data R印lica)机制是分布式存储领域的一个研究热点,副本机制通过在不同地点存放数据的多个副本可以降低远程访问该数据的网络延迟及带宽消耗,还可以提高网络的负载均衡,同时能够提高数据的安全性和可靠性以及系统的容错性等。良好的数据副本管理策略是提高数据本文档来自技高网...

【技术保护点】
一种基于用户请求响应时间的副本创建方法,其特征在于,包括以下步骤:(1)将分布式存储环境中的待测数据块复制n个副本,将n个副本分别分布在分布式存储环境中的n个存储节点上,每个副本的大小为Sb,并将这n个存储节点的信息存储在元数据服务器上;(2)获取n个存储节点的节点网络传输能力(NTC1,NTC2,…,NTCn).和节点并发访问数(Num1,Num2,…,Numn);(3)根据n个节点的节点网络传输能力(NTC1,NTC2,…,NTCn)、节点并发访问数(Num1,Num2,…,Numn)和副本大小Sb获取n个存储节点的相关特征值;(4)根据n个存储节点的相关特征值,对待测数据块进行副本创建过...

【技术特征摘要】
1.一种基于用户请求响应时间的副本创建方法,其特征在于,包括以下步骤: (I)将分布式存储环境中的待测数据块复制η个副本,将η个副本分别分布在分布式存储环境中的η个存储节点上,每个副本的大小为Sb,并将这η个存储节点的信息存储在元数据服务器上; (2 )获取η个存储节点的节点网络传输能力(NTC1,NTC2,…,NTCn).和节点并发访问数(Num1, Num2,…,Numn); (3 )根据η个节点的节点网络传输能力(NTC1,NTC2,…,NTCn)、节点并发访问数(Num1,Num2,..., Numn)和副本大小Sb获取η个存储节点的相关特征值; (4)根据η个存储节点的相关特征值,对待测数据块进行副本创建过程。2.根据权利要求1所述的副本创建方法,其特征在于,存储节点的信息包括节点IP地址、网络带宽、磁盘利用率。3.根据权利要求1所述的副本创建方法,其特征在于,副本大小Sb的取值范围是IOMb到120Mb,η是大于等于3的正整数。4.根据权利要求1所述的副本创建方法,其特征在于,特征值包括每个存储节点的请求响应时间(MSRT1,MSRT2, -,MSRTn),以及分布式存储环境的请求平均响...

【专利技术属性】
技术研发人员:金海邵志远柏小虎
申请(专利权)人:华中科技大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1