一种数据存储的优化方法技术

技术编号:10943723 阅读:108 留言:0更新日期:2015-01-22 20:13
一种数据存储的优化方法,按照相应时间从短到长,单位存储成本从高到低,将存储分为了若干级,对于第i级存储,ri表示在该级存储中的响应时间,ci表示该级存储的单位存储的成本,ni表示该级存储的存储容量,Ni表示所述第i级中ni个数据的总访问次数,多级存储和每一级存储中按照访问次数对数据进行按序存储,可以得到平均响应时间和总存储成本的计算公式,利用上述公式作为约束条件,求得最优解,可以优化平均相应时间或总存储成本。本发明专利技术使得数据存储在合适的存储上,以平衡数据访问的平均响应时长与总的存储成本,满足业务需求。

【技术实现步骤摘要】

本申请涉及大数据存储领域,特别的,涉及一种数据存储的优化方法,以及一种对数据进行存储的方法。
技术介绍
随着互联网技术的发展,网络所使用的数据越来越多。如何对数据进行保存,特别是,如何对海量数据进行保存成为现有技术亟需解决的问题。目前按照存储的访问方式或者访问存储的响应时长可以将存储分成若干级,比如内存级,响应时长最短,但是单位存储成本最高;memcache集群,响应时长较短,单位存储成本较高;hbase集群,将数据持久化在硬盘上,响应时长较长,单位存储成本较低,等等。如上所述,互联网服务,例如设计在线接口服务时,通常面临存储数据量大的问题,需要为数据选择合适的存储方式,以求平均响应时长能满足业务需求同时总的存储成本最低,或者在存储成本有限的时,平均响应时长最低。大数据存储通常需要规划多级存储来满足业务需求,将访问频率高的数据存储在成本高响应时长短的存储上,访问频率相对较低的存储在成本较高响应时长较短的存储上,访问频率最低的数据存储在成本最低但是响本文档来自技高网...

【技术保护点】
一种数据存储的优化方法,按照相应时间从短到长,单位存储成本从高到低,将存储分为了若干级,对于第一级存储,r1是响应时间,n1是存储的数据量,N1为第一级的n1个数据的总访问次数,对于第i级存储,ri表示在该级存储中的响应时间,ci表示该级存储的单位存储的成本,ni表示该级存储的存储容量,Ni表示所述第i级中ni个数据的总访问次数,多级存储中按照访问次数对数据进行按序存储,将访问次数较高的数据按顺序放在访问响应时长较短的存储,在每一级存储中也按照访问次数高低进行排序,将访问次数高的数据放在前面,可以得到如下公式:平均响应时间r‾=(N1*r1+N2*(r2+r1)+N3*(r1+...

【技术特征摘要】
1.一种数据存储的优化方法,按照相应时间从短到长,单位存储
成本从高到低,将存储分为了若干级,对于第一级存储,r1是响应
时间,n1是存储的数据量,N1为第一级的n1个数据的总访问次数,
对于第i级存储,ri表示在该级存储中的响应时间,ci表示该级存
储的单位存储的成本,ni表示该级存储的存储容量,Ni表示所述第i
级中ni个数据的总访问次数,多级存储中按照访问次数对数据进行
按序存储,将访问次数较高的数据按顺序放在访问响应时长较短的存
储,在每一级存储中也按照访问次数高低进行排序,将访问次数高的
数据放在前面,可以得到如下公式:
平均响应时间r‾=(N1*r1+N2*(r2+r1)+N3*(r1+r2+r3)+···]]>+Ni*(r1+r2+...+ri))/N=f(n)]]>   公式(1)...

【专利技术属性】
技术研发人员:肖士锋单明辉卢学裕姚键潘柏宇卢述奇
申请(专利权)人:合一网络技术北京有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1