一种对象聚合方法、装置、设备及可读存储介质制造方法及图纸

本发明专利技术公开了一种对象聚合方法，包括：获取目标对象，计算目标对象对应的相关性指数；其中，目标对象为文件体积小于预设阈值的对象文件；利用相关性指数生成聚合任务，将聚合任务放入聚合任务队列；按照预设相关性顺序从聚合任务队列中获取目标聚合任务，利用目标聚合任务对应的第一目标对象构建聚合对象，并将聚合对象存入存储系统；该方法按照预设相关性顺序从聚合任务队列中获取目标聚合任务，利用各个目标聚合任务对应的第一目标对象构建聚合对象并将其存入存储系统，即完成了对象的聚合存储，在进行数据读写时减少集群IO，增强集群数据读取性能；此外，本发明专利技术还提供了一种对象聚合装置、设备及计算机可读存储介质，同样具有上述有益效果。

An object aggregation method, device, device and readable storage medium

【技术实现步骤摘要】
一种对象聚合方法、装置、设备及可读存储介质
本专利技术涉及分布式存储
，特别涉及一种对象聚合方法、对象聚合装置、对象聚合设备及计算机可读存储介质。
技术介绍
分布式对象存储系统，指的是面向非结构化数据的分布式存储系统。现阶段，越来越多的业务场景需要使用分布式对象存储系统。伴随着存储集群中数据量规模愈来愈大，大量的读写请求等操作带来了大量的磁盘IO的消耗，由于集群的IO、吞吐量是有限的，因此需要提高数据的使用的有限性，提升集群的数据读取性能。在传统的分布式对象存储集群中，通过对象聚合的方式来提升数据读取性能。聚合的过程为遍历某个存储池中的所有小对象，不区分用户等信息的区别而将其逐个读取出来，然后将这些对象的数据部分，通过追加的方式合并成一个大对象，组织合并元数据后，一起写下去，通过对小对象进行聚合的方式减少集群的读写次数。但这样聚合的对象文件不具有相关性(例如用户的相关性、内容的相关性、主题的相关性)，被聚合的对象也不具有关联性，进而导致对象的聚合给后继的读操作、写操作、删除操作等带来不便，集群的数据读取性能提升较小。因此，如何解决现有对象聚合方法为后续操作带来不便，集群的数据读取性能提升较小的问题，是本领域技术人员需要解决的技术问题。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种对象聚合方法、对象聚合装置、对象聚合设备及计算机可读存储介质，解决了现有对象聚合方法为后续操作带来不便，集群的数据读取性能提升较小的问题。为解决上述技术问题，本专利技术提供了一种对象聚合方法，包括：获取目标对象，计算所述目标对象对应的相关性指数；其中，所述目标对象为文件体积小于预设阈值的对象文件；利用所述相关性指数生成聚合任务，将所述聚合任务放入聚合任务队列；按照预设相关性顺序从所述聚合任务队列中获取目标聚合任务，利用所述目标聚合任务对应的第一目标对象构建聚合对象，并将所述聚合对象存入存储系统。可选地，所述计算所述目标对象对应的相关性指数，包括：读取配置文件，获取多个信息加权系数；获取所述目标对象对应的多个文件信息，利用各个所述文件信息与对应的所述信息加权系数进行加权的平方和运算，得到所述相关性指数。可选地，所述获取目标对象，包括：获取对象文件，判断所述对象文件的所述文件体积是否小于所述预设阈值；若是，则将所述对象文件确定为目标对象；若否，则将所述对象文件存入所述存储系统中。可选地，所述按照预设相关性顺序从所述聚合任务队列中获取目标聚合任务，利用所述目标聚合任务对应的第一目标对象构建聚合对象，包括：将所述聚合任务队列中的各个聚合任务按照相关性指数由大到小的顺序进行排列；从所述聚合任务队列的首部开始依次获取所述目标聚合任务，确定所述目标聚合任务对应的所述第一目标对象；将各个所述第一目标对象进行聚合处理，得到第一聚合对象；对所述第一聚合对象进行元数据添加处理，得到所述聚合对象。可选地，在确定所述目标聚合任务对应的第一目标对象之后，在将各个所述第一目标对象进行聚合处理之前，还包括：判断各个所述第一目标对象对应的目标相关性指数是否处于相同的指数区间内；若是，则执行所述将各个所述第一目标对象进行聚合处理的步骤。可选地，所述对所述第一聚合对象进行元数据添加处理，包括：利用所述第一目标对象对应的OID、位置信息和长度信息构成所述第一目标对象对应的第一元数据；将各个所述第一元数据进行组合得到元数据，并将所述元数据添加到所述第一聚合对象中。可选地，所述从所述聚合任务队列的首部开始依次获取所述目标聚合任务，包括：将处于所述聚合任务队列首部的所述聚合任务确定为后备聚合任务；利用所述后备聚合任务对应的所述文件体积对总体积值进行更新，判断所述总体积值是否小于所述预设阈值；若是，则将所述后备聚合任务确定为所述目标聚合任务，并更新所述聚合任务队列。本专利技术还提供了一种对象聚合装置，包括：计算模块，用于获取目标对象，计算所述目标对象对应的相关性指数；其中，所述目标对象为文件体积小于预设阈值的对象文件；聚合任务生成模块，用于利用所述相关性指数生成聚合任务，将所述聚合任务放入聚合任务队列；存储模块，用于按照预设相关性顺序从所述聚合任务队列中获取目标聚合任务，利用所述目标聚合任务对应的第一目标对象构建聚合对象，并将所述聚合对象存入存储系统。本专利技术还提供了一种对象聚合设备，包括存储器和处理器，其中：所述存储器，用于保存计算机程序；所述处理器，用于执行所述计算机程序，以实现上述的对象聚合方法。本专利技术还提供了一种计算机可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现上述的对象聚合方法。本专利技术提供的对象聚合方法，获取目标对象，计算目标对象对应的相关性指数；其中，目标对象为文件体积小于预设阈值的对象文件。利用相关性指数生成聚合任务，将聚合任务放入聚合任务队列。按照预设相关性顺序从聚合任务队列中获取目标聚合任务，利用目标聚合任务对应的第一目标对象构建聚合对象，并将聚合对象存入存储系统。可见，计算各个目标对象的相关性指数，相关性指数越接近，说明目标对象的相关性越高，因此按照预设相关性顺序从聚合任务队列中获取目标聚合任务，目标聚合任务为相关性指数相近的任务，即较相关的聚合任务，因此其对应的第一目标对象也更具有相关性。利用各个第一目标对象构建聚合对象并将其存入存储系统，即完成了相关性较高的对象的聚合存储，便于后续的读操作或写操作。由于聚合对象中的对象具有相关性，因此在后续进行数据读写时也可以减少集群IO，大大增强集群的数据读取性能，解决了现有对象聚合方法为后续操作带来不便，集群的数据读取性能提升较小的问题。此外，本专利技术还提供了一种对象聚合装置、对象聚合设备及计算机可读存储介质，同样具有上述有益效果。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本专利技术实施例提供的一种对象聚合方法流程图；图2为本专利技术实施例提供的一种相关性指数计算方法流程图；图3为本专利技术实施例提供的一种聚合对象生成方法流程图；图4为本专利技术实施例提供的一种目标聚合任务确定方法流程图；图5为本专利技术实施例提供的一种对象聚合装置的结构示意图；图6为本专利技术实施例提供的一种对象聚合设备的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实本文档来自技高网...

【技术保护点】
1.一种对象聚合方法，其特征在于，包括：/n获取目标对象，计算所述目标对象对应的相关性指数；其中，所述目标对象为文件体积小于预设阈值的对象文件；/n利用所述相关性指数生成聚合任务，将所述聚合任务放入聚合任务队列；/n按照预设相关性顺序从所述聚合任务队列中获取目标聚合任务，利用所述目标聚合任务对应的第一目标对象构建聚合对象，并将所述聚合对象存入存储系统。/n

【技术特征摘要】
1.一种对象聚合方法，其特征在于，包括：
获取目标对象，计算所述目标对象对应的相关性指数；其中，所述目标对象为文件体积小于预设阈值的对象文件；
利用所述相关性指数生成聚合任务，将所述聚合任务放入聚合任务队列；
按照预设相关性顺序从所述聚合任务队列中获取目标聚合任务，利用所述目标聚合任务对应的第一目标对象构建聚合对象，并将所述聚合对象存入存储系统。


2.根据权利要求1所述的对象聚合方法，其特征在于，所述计算所述目标对象对应的相关性指数，包括：
读取配置文件，获取多个信息加权系数；
获取所述目标对象对应的多个文件信息，利用各个所述文件信息与对应的所述信息加权系数进行加权的平方和运算，得到所述相关性指数。


3.根据权利要求1所述的对象聚合方法，其特征在于，所述获取目标对象，包括：
获取对象文件，判断所述对象文件的所述文件体积是否小于所述预设阈值；
若是，则将所述对象文件确定为目标对象；
若否，则将所述对象文件存入所述存储系统中。


4.根据权利要求1所述的对象聚合方法，其特征在于，所述按照预设相关性顺序从所述聚合任务队列中获取目标聚合任务，利用所述目标聚合任务对应的第一目标对象构建聚合对象，包括：
将所述聚合任务队列中的各个聚合任务按照相关性指数由大到小的顺序进行排列；
从所述聚合任务队列的首部开始依次获取所述目标聚合任务，确定所述目标聚合任务对应的所述第一目标对象；
将各个所述第一目标对象进行聚合处理，得到第一聚合对象；
对所述第一聚合对象进行元数据添加处理，得到所述聚合对象。


5.根据权利要求4所述的对象聚合方法，其特征在于，在确定所述目标聚合任务对应的第一目标对象之后，在将各个所述第一目标对象进行聚合处理之前，还包括：
判断各个所述第一目标对象...

【专利技术属性】
技术研发人员：李治鹏，胡永刚，
申请(专利权)人：浪潮电子信息产业股份有限公司，
类型：发明
国别省市：山东;37