一种对象存储系统实现稀疏写的方法、装置及电子设备制造方法及图纸

本发明专利技术公开了一种对象存储系统实现稀疏写的方法，可以在对象任意位置写入任意长度的数据，写入的数据不要求具有连续性，支持随机写，稀疏写，支持数据修改。并且，本发明专利技术提供的方法中对象存储系统，其实通过记录已写的数据及定位信息，且在目标对象写完成时，计算出空白数据段及其空白对象分片，并创建空白对象分片，在读的时候会用数据零补齐返回，最终实现对象存储系统的数据稀疏写入，进而避免了数据读/写放大问题，也无需对待存储的数据进行迁移或转移，从而能有效的提高对象存储系统的性能。

【技术实现步骤摘要】
一种对象存储系统实现稀疏写的方法、装置及电子设备
本专利技术涉及计算机
，尤其涉及一种对象存储系统实现稀疏写的方法、装置及电子设备。
技术介绍
随着互联网应用的迅猛发展，PB级甚至EB级的海量数据存储变得尤为重要。对象存储系统作为一种新型的分布式存储系统，对象是对象存储系统中的基本实体，通过提供基于对象的访问接口，可存储任意类型的数据，比如：图片、视频、音频、文本等。对象存储系统有效解决了传统存储共享能力有限、扩展性差等问题。但是，目前现有的对象存储系统只支持同步数据的顺序写入，其并不支持数据的稀疏写入，从而造成数据传输速度较慢，分布式对象存储系统对接NFS的存储性能较差的问题。因此，如何提供一种解决上述技术问题的方案是本领域技术人员目前需要解决的问题。
技术实现思路
本专利技术目的就是为了弥补已有技术的缺陷，提供一种对象存储系统实现稀疏写的方法、装置及电子设备，以解决现有技术中对象存储系统不支持数据的稀疏写入的问题。第一方面，为解决上述技术问题，本专利技术提供一种对象存储系统实现稀疏写的方法，本文档来自技高网...

【技术保护点】
1.一种对象存储系统实现稀疏写的方法，特征在于，所述方法包括：/nS1，接收客户端发送的数据存储请求，其中，所述数据存储请求中包括目标用户输入的待存储的数据片段；/nS2，计算所述待存储的数据片段对应的对象分片和内部偏移，并将数据片段写入对应的对象分片，同时记录数据片段的偏移和长度；/nS3，当接收完所述客户端发送的所有数据存储请求后，根据已记录的数据片段对应的偏移和数据长度，确定出多个所述待存储数据片段之间的空白数据片段，并根据所述空白数据片段的偏移和数据长度，为其设置对象分片，以使所述空白数据片段对应的对象分片与所述待存储的数据片段对应的对象分片组成所述目标对象。/n

【技术特征摘要】
1.一种对象存储系统实现稀疏写的方法，特征在于，所述方法包括：
S1，接收客户端发送的数据存储请求，其中，所述数据存储请求中包括目标用户输入的待存储的数据片段；
S2，计算所述待存储的数据片段对应的对象分片和内部偏移，并将数据片段写入对应的对象分片，同时记录数据片段的偏移和长度；
S3，当接收完所述客户端发送的所有数据存储请求后，根据已记录的数据片段对应的偏移和数据长度，确定出多个所述待存储数据片段之间的空白数据片段，并根据所述空白数据片段的偏移和数据长度，为其设置对象分片，以使所述空白数据片段对应的对象分片与所述待存储的数据片段对应的对象分片组成所述目标对象。


2.根据权利要求1所述的方法，其特征在于，所述步骤S1中的所述数据存储请求还包括：用于标识数据片段的存储位置的偏移和数据长度。


3.根据权利要求1所述的方法，其特征在于，所述步骤S2中的所述对象分片设置在所述对象存储系统中，以用于存储数据；所述数据片段的偏移是数据片段在目标对象中的地址与目标对象的起始地址之间的位置偏移；所述内部偏移为所述数据片段在所述对象分片中的地址与所述对象分片的起始地址之间的位置偏移。


4.根据权利要求1所述的方法，其特征在于，在所述步骤S3之后所述方法还包括：
S4：更新所述目标对象的元数据，以将所述目标对象包含的元数据存储在所述对象存储系统中。


5.根据权利要求4所述的方法，其特征在于，在所述步骤S4之后，所述方法还包括：
S5，接收客户...

【专利技术属性】
技术研发人员：陈坚，傅金地，梁欣鑫，文刘飞，
申请(专利权)人：深圳市杉岩数据技术有限公司，
类型：发明
国别省市：广东;44