存储方法及装置制造方法及图纸

本发明专利技术提供了一种存储方法及装置，涉及数据存储技术领域。存储方法应用于分布式文件系统的存储节点，该存储方法包括：获得用户终端发送的预存文件；判断是否需要创建新的存储桶；若是，则根据历史存储记录创建新的存储桶；将预存文件写入新的存储桶。本发明专利技术提供的存储方法及装置可在写入数据时不会引发存储桶溢出产生的性能问题，与传统的应用相比，在存储亿级数据量的情况下，仍然保持与分布式文件系统初始集群接近的高性能表现。

【技术实现步骤摘要】
存储方法及装置
本专利技术涉及数据存储
，具体而言，涉及一种存储方法及装置。
技术介绍
随着大数据时代的来临，人工智能的兴起，互联网产生的海量数据给行业带来了大量机遇，在大数据时代，数据就是最有价值的资产已成为共识，然而大规模数据爆发也同时形成了一些挑战，其中海量数据存储的问题尤为突出。目前，数据存储方案中最热门的方案莫过于分布式文件系统(ceph)，然而，在默认情况下当ceph存储数据量在亿级时，其对对象存储的持续写入性能会急速下降，这是因为ceph本身的设计，在单个对象桶中存放了超大规模的数据，导致这些庞大的数据的元数据在每次写入时的维护非常耗时，直接阻塞了后续数据写入，导致写入性能低下。
技术实现思路
有鉴于此，本专利技术实施例的目的在于提供一种存储方法及装置，以改善上述问题。第一方面，本专利技术实施例提供了一种存储方法，应用于分布式文件系统的存储节点，所述方法包括：获得用户终端发送的预存文件；判断是否需要创建新的存储桶；若是，则根据历史存储记录创建新的存储桶；将所述预存文件写入所述新的存储桶。可选地，所述新的存储桶包括临时数据区、元数据区和实际数据区，所述将所述预存文件写入本文档来自技高网...

【技术保护点】
1.一种存储方法，应用于分布式文件系统的存储节点，其特征在于，包括：获得用户终端发送的预存文件；判断是否需要创建新的存储桶；若是，则根据历史存储记录创建新的存储桶；将所述预存文件写入所述新的存储桶。

【技术特征摘要】
1.一种存储方法，应用于分布式文件系统的存储节点，其特征在于，包括：获得用户终端发送的预存文件；判断是否需要创建新的存储桶；若是，则根据历史存储记录创建新的存储桶；将所述预存文件写入所述新的存储桶。2.根据权利要求1所述的存储方法，其特征在于，所述新的存储桶包括临时数据区、元数据区和实际数据区，所述将所述预存文件写入所述新的存储桶，包括：将所述预存文件的文件信息写入所述临时数据区；将所述预存文件的元数据信息写入所述元数据区；将所述预存文件的数据信息写入所述实际数据区。3.根据权利要求1所述的存储方法，其特征在于，所述方法还包括：向所述用户终端返回写入结果。4.根据权利要求1所述的存储方法，其特征在于，所述方法还包括：获取上一个存储桶写入的数据量；所述根据历史存储记录创建新的存储桶，包括：以上一个存储桶写入的数据量为基准创建新的存储桶。5.根据权利要求1所述的存储方法，其特征在于，所述判断是否需要创建新的存储桶，包括：依据当前时间判断是否需要创建新的存储桶。6.一种存储装置，应用于分布式文件系统的存储节...

【专利技术属性】
技术研发人员：谭伟杰，
申请(专利权)人：图普科技广州有限公司，
类型：发明
国别省市：广东,44