【技术实现步骤摘要】
一种对象存储有序列举方法、装置、终端及存储介质
[0001]本专利技术涉及对象存储有序列举领域,具体涉及一种对象存储有序列举方法、装置、终端及存储介质。
技术介绍
[0002]随着互联网的发展,互联网数据量(非结构化数据)越来越大,分布式对象存储应运而生。这种新兴的存储方式,适用于图片、视频等非结构化数据的存储。它同时又具有块存储高速直接访问磁盘的特点以及文件存储分布式共享的特点,因此一经推出就得到广泛的发展与应用。
[0003]对象列举操作可以使用户方便的查看桶内的对象以及对象的属性。而对象存储作为分布存储,客户通常在存储桶内存储百万以及千万的对象,对于如此大规模的数据,在保证不严重影响集群性能的同时快速查看桶内的对象显得非常重要。对象存储创建桶的时候会在索引池创建指定个数(默认为128个)的索引对象,上传对象的时候会将对象名和对象的属性通过哈希的方式存储在桶索引的omap的键值对中。遍历桶内对象的时候通过遍历桶索引上记录的对象完成。目前对象存储有序列举和无序列举两种,有序列举需要从所有桶索引遍历对象,将所有索引上 ...
【技术保护点】
【技术特征摘要】
1.一种对象存储有序列举方法,每次列举N个对象,每个桶有M个桶分片,N和M均为大于等于1的整数,其特征在于,该方法包括以下步骤:接收到客户端的列举请求时,检测缓存map中是否包含所需列举对象对应桶的缓存;若不包含,则从底层相应桶的M个桶分片中读取M*N个对象,每个桶分片读取N个对象,从该M*N个对象中有序列举N个对象发送至客户端,并将剩余(M
‑
1)*N个对象存至缓存map中;该剩余(M
‑
1)*N个对象为该桶在缓存map中的缓存;若包含,则从对应桶的缓存中有序列举N个对象发送至客户端。2.根据权利要求1所述的对象存储有序列举方法,其特征在于,缓存map中所缓存数据以键值对形式存储,其中键值对的键为桶名称,值为桶分片地址和桶分片对象的组合。3.根据权利要求2所述的对象存储有序列举方法,其特征在于,客户端的列举请求中包含列举标识,所需列举对象为该列举标识之后的N个对象;列举标识为对象名称;若缓存map中包含所需列举对象对应桶的缓存时,从对应桶的缓存中有序列举N个对象前,包括以下步骤:将列举请求中包含的列举标识与桶缓存的每个桶分片的头尾对象进行比较;若对于某个桶分片,列举标识不满足大于等于该桶分片的第一个对象,且小于等于该桶分片的最后一个对象,则从底层相应桶分片中重新获取N个对象存入该缓存的桶分片;其中第一个对象为头对象,最后一个对象为尾对象;若重新存入该桶分片的对象仍不满足列举标识大于等于第一个对象,且小于等于最后一个对象,则继续从底层相应桶分片中重新获取N个对象存入该缓存的桶分片,直至该桶分片的对象满足列举标识大于等于第一个对象,且小于等于最后一个对象。4.根据权利要求3所述的对象存储有序列举方法,其特征在于,从对应桶的缓存中有序列举N个对象,具体包括:根据列举请求中的列举标识,从每个桶分片中取出该列表标识之后第一个对象,共取出M个对象,从该M个对象中取出最大的对象为第一个列举对象;将第一列举对象的名称作为新的列举标识,从每个桶分片中取出该新的列表标识之后第一个对象,共取出M个对象,从该M个对象中取出最大的对象为第二个列举对象;以此类...
【专利技术属性】
技术研发人员:程晓煜,陶桐桐,
申请(专利权)人:济南浪潮数据技术有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。