一种面向海量小文件存储系统的Key-Value存储方法技术方案

技术编号:9751108 阅读:292 留言:0更新日期:2014-03-09 08:05
本发明专利技术提出了一种面向海量小文件存储系统的Key-Value存储方法。该存储方法能够满足小文件存储系统的应用,而且相比常用的Redis和LevelDB,开销更小、延迟更低,是一种面向小文件存储系统的轻量级可持久化的Key-Value存储方法。该存储结构包括两部分,如图1,分别是内存中的HashTable结构和磁盘上的持久化存储Store。

【技术实现步骤摘要】
—种面向海量小文件存储系统的Key-Value存储方法
本专利技术涉及分海量小文件存储领域,具体涉及。
技术介绍
近年来,社交网站如Facebook、Twitter、人人网和电子商务网站e_Bay、阿里巴巴等网络服务发展迅速,这类服务都需要存储大量图片、短文本等小文件。小文件通常指文件大小小于64M的文件,例如互联网应用经常需要存储的图片、邮件、电子书、音乐文件、微博、文本内容等。小文件存储逐渐在学术界和工业界引起了一些关注。社交网站Facebook存储了2600亿张图片,容量超过20PB,这些文件绝大部分都小于64MB。在超级计算机领域,例如,ORNLj s CrayXT5集群(18688个节点,每个节点12个处理器)上的应用程序会周期性地将应用状态写入文件,导致系统累积大量的小文件。在具体科研计算环境中,例如某些生物学计算中,可能产生3000万个文件,而其平均大小只有190KB。美国西北太平洋国家实验室发表于2007年的一份研究报告数据表明,该实验室所使用的系统中存储了 1200万个文件,其中小于64MB的文件占文件总数的94%,小于64KB的占58%。音乐网站巨鲸网已经本文档来自技高网...

【技术保护点】
本专利技术设计了一种面向海量小文件存储系统的Key?Value存储方法,是一种既能够满足小文件存储系统的特定应用,同时也能够降低开销、延迟的轻量级可持久化的存储方法。

【技术特征摘要】
1.本发明设计了一种面向海量小文件存储系统的Key-Value存储方法,是一种既能...

【专利技术属性】
技术研发人员:王雷王振王平
申请(专利权)人:北京航空航天大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1