一种对象聚合方法、装置、设备及可读存储介质制造方法及图纸

本发明专利技术公开了一种对象聚合方法，包括：获取目标对象，计算目标对象对应的相关性指数；其中，目标对象为文件体积小于预设阈值的对象文件；利用相关性指数生成聚合任务，将聚合任务放入聚合任务队列；按照预设相关性顺序从聚合任务队列中获取目标聚合任务，利用目标聚合任务对应的第一目标对象构建聚合对象，并将聚合对象存入存储系统；该方法按照预设相关性顺序从聚合任务队列中获取目标聚合任务，利用各个目标聚合任务对应的第一目标对象构建聚合对象并将其存入存储系统，即完成了对象的聚合存储，在进行数据读写时减少集群IO，增强集群数据读取性能；此外，本发明专利技术还提供了一种对象聚合装置、设备及计算机可读存储介质，同样具有上述有益效果。

An object aggregation method, device, device and readable storage medium

【技术实现步骤摘要】
一种对象聚合方法、装置、设备及可读存储介质
本专利技术涉及分布式存储
，特别涉及一种对象聚合方法、对象聚合装置、对象聚合设备及计算机可读存储介质。
技术介绍
分布式对象存储系统，指的是面向非结构化数据的分布式存储系统。现阶段，越来越多的业务场景需要使用分布式对象存储系统。伴随着存储集群中数据量规模愈来愈大，大量的读写请求等操作带来了大量的磁盘IO的消耗，由于集群的IO、吞吐量是有限的，因此需要提高数据的使用的有限性，提升集群的数据读取性能。在传统的分布式对象存储集群中，通过对象聚合的方式来提升数据读取性能。聚合的过程为遍历某个存储池中的所有小对象，不区分用户等信息的区别而将其逐个读取出来，然后将这些对象的数据部分，通过追加的方式合并成一个大对象，组织合并元数据后，一起写下去，通过对小对象进行聚合的方式减少集群的读写次数。但这样聚合的对象文件不具有相关性(例如用户的相关性、内容的相关性、主题的相关性)，被聚合的对象也不具有关联性，进而导致对象的聚合给后继的读操作、写操作、删除操作等带来不便，集群的数据读取性能提升较小。因此，本文档来自技高网...

【技术保护点】
1.一种对象聚合方法，其特征在于，包括：/n获取目标对象，计算所述目标对象对应的相关性指数；其中，所述目标对象为文件体积小于预设阈值的对象文件；/n利用所述相关性指数生成聚合任务，将所述聚合任务放入聚合任务队列；/n按照预设相关性顺序从所述聚合任务队列中获取目标聚合任务，利用所述目标聚合任务对应的第一目标对象构建聚合对象，并将所述聚合对象存入存储系统。/n

【技术特征摘要】
1.一种对象聚合方法，其特征在于，包括：
获取目标对象，计算所述目标对象对应的相关性指数；其中，所述目标对象为文件体积小于预设阈值的对象文件；
利用所述相关性指数生成聚合任务，将所述聚合任务放入聚合任务队列；
按照预设相关性顺序从所述聚合任务队列中获取目标聚合任务，利用所述目标聚合任务对应的第一目标对象构建聚合对象，并将所述聚合对象存入存储系统。


2.根据权利要求1所述的对象聚合方法，其特征在于，所述计算所述目标对象对应的相关性指数，包括：
读取配置文件，获取多个信息加权系数；
获取所述目标对象对应的多个文件信息，利用各个所述文件信息与对应的所述信息加权系数进行加权的平方和运算，得到所述相关性指数。


3.根据权利要求1所述的对象聚合方法，其特征在于，所述获取目标对象，包括：
获取对象文件，判断所述对象文件的所述文件体积是否小于所述预设阈值；
若是，则将所述对象文件确定为目标对象；
若否，则将所述对象文件存入所述存储系统中。


4.根据权利要求1所述的对象聚合方法，其特征在于，所述按照预设相关性顺序从所述聚合任务队列中获取目标聚合任务，利用所述目标聚合任务对应的第一目标对象构建聚合对象，包括：
将所述聚合任务队列中的各个聚合任务按照相关性指数由大到小的顺序进行排列；
从所述聚合任务队列的首部开始依次获取所述目标聚合任务，确定所述目标聚合任务对应的所述第一目标对象；
将各个所述第一目标对象进行聚合处理，得到第一聚合对象；
对所述第一聚合对象进行元数据添加处理，得到所述聚合对象。


5.根据权利要求4所述的对象聚合方法，其特征在于，在确定所述目标聚合任务对应的第一目标对象之后，在将各个所述第一目标对象进行聚合处理之前，还包括：
判断各个所述第一目标对象...

【专利技术属性】
技术研发人员：李治鹏，胡永刚，
申请(专利权)人：浪潮电子信息产业股份有限公司，
类型：发明
国别省市：山东;37