缓存的读取、读取处理方法及装置制造方法及图纸

技术编号:13306820 阅读:107 留言:0更新日期:2016-07-10 02:07
本发明专利技术提供了一种缓存的读取、读取处理方法及装置,其中,所述读取方法包括:发送对本地文件系统中多个数据块的读取请求;在判定所述多个数据块位于所述本地文件系统的缓存中,且所述多个数据块中的指定数据块的已读取部分的大小超过所述指定数据块大小的预设比例时,读取所述多个数据块中的下一个数据块。采用本发明专利技术提供的上述技术方案,解决了相关技术中,由于数据块的访问方式以顺序访问流的形式而导致的内存资源无法合理利用的问题,实现了异步获取多个数据块的过程,进而快速提升获取数据块的速度,合理使用内存资源。

【技术实现步骤摘要】

本专利技术涉及通信领域,具体而言,涉及一种缓存的读取、读取处理方法及装置
技术介绍
随着计算、存储、通信等技术的发展,大规模流媒体服务已经广泛的应用到娱乐、教育、商业等各个领域,如何实现大规模流媒体文件的高效存储,同时支持高并发的用户是一个非常关键的问题。本专利提出的分布式流媒体服务中的本地文件用户态缓存方法不仅可以很好的提高流媒体文件的存储效率,同时也可以很好的应用在基于分块存储的分布式存储系统中,例如淘宝文件系统(TaobaoFileSystem,简称为TFS),分布式文件系统(HadoopDistributedFileSystem,简称为HDFS)等系统中。由于视频文件较大,所以存储系统通常会将视频文件切分成固定大小的块文件(例如,切分成64MB大小的块文件)存储在后台分布式存储系统中。传统的文件系统在块文件存储上存在如下问题:传统的文件系统的缓存采用page_cache(分页缓存)的方式管理,流媒体文件的热点数据较低,空间局部性较差,数据多以顺序访问流的方式访问,容易出本文档来自技高网...

【技术保护点】
一种缓存的读取方法,其特征在于,包括:发送对本地文件系统中多个数据块的读取请求;在判定所述多个数据块位于所述本地文件系统的缓存中,且所述多个数据块中的指定数据块的已读取部分的大小超过所述指定数据块大小的预设比例时,读取所述多个数据块中的下一个数据块。

【技术特征摘要】
1.一种缓存的读取方法,其特征在于,包括:
发送对本地文件系统中多个数据块的读取请求;
在判定所述多个数据块位于所述本地文件系统的缓存中,且所述多个数据块中
的指定数据块的已读取部分的大小超过所述指定数据块大小的预设比例时,读取所
述多个数据块中的下一个数据块。
2.根据权利要求1所述的方法,其特征在于,所述预设比例取值为1/2。
3.根据权利要求1所述的方法,其特征在于,发送对本地文件系统中多个数据块的读
取请求之后,还包括:
在所述读取请求所请求的多个数据块位于所述本地文件系统的缓存中时,接收
所述本地文件系统中共享内存的标识ID;
确定所述ID与所述缓存的对应关系。
4.根据权利要求3所述的方法,其特征在于,读取所述多个数据块中的下一个数据块,
包括:
根据所述对应关系确定所述缓存所对应的共享内存;
通过所述共享内存中读取所述下一个数据块。
5.根据权利要求1所述的方法,其特征在于,
将所述缓存中指定文件发生变化后产生的脏数据块同步到硬盘中。
6.根据权利要求5所述的方法,其特征在于,将所述缓存中指定文件发生变化后产生
的脏数据块同步到硬盘中之后,包括:
对所述脏数据进行更新;对更新后的脏数据块标记用于指示所述脏数据块已完
成更新...

【专利技术属性】
技术研发人员:张广艳罗圣美唐小岚沈岩
申请(专利权)人:中兴通讯股份有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1