【技术实现步骤摘要】
一种对象存储小文件处理方法、装置、设备及存储介质
本申请涉及Ceph分布式文件系统
，更具体地说，涉及一种对象存储小文件处理方法、装置、设备及计算机可读存储介质。
技术介绍
Ceph是一种性能优秀、可靠性和扩展性均很强的分布式文件系统，其可以提供文件系统、块存储和对象存储这三种应用。目前，对于Ceph存储系统中的对象存储而言，在进行小文件的写入时，通常是将单个小文件作为一个整体写入到OSD(ObjectStorageDevice，对象存储设备，一种与实际存储设备存在映射关系的逻辑概念)中。但是，随着需要存储的数据越来越多，会出现大量的小文件频繁调用写入接口以将大量的小文件写入到OSD中的情况，而小文件的频繁写入会给Ceph存储系统造成比较大的负荷，降低小文件写性能，提高OSD读写压力。综上所述，如何有效地降低对象存储中小文件的写入次数，以降低小文件频繁写入给Ceph存储系统所造成的负荷，是目前本领域技术人员亟待解决的技术问题。
技术实现思路
有鉴于此，本申请的目的是提供一种对象存储小...
【技术保护点】
1.一种对象存储小文件处理方法，其特征在于，包括：/n接收对象数据写入请求，判断所述对象数据写入请求中包含的小文件的大小是否小于或等于预设值；/n若小于或等于所述预设值，则判断是否是首次写入所述小文件，若是首次写入，则将所述小文件中的数据写入到聚合文件中，并将所述聚合文件的标识、所述数据的长度及所述数据在所述聚合文件中的位置存储在所述小文件的元数据中；/n判断所述聚合文件的容量是否超过所述聚合文件的设定容量，若超过，则将所述数据写入到新的聚合文件中，若未超过，则返回执行所述接收对象数据写入请求的步骤；/n将达到所述设定容量的聚合文件写入到OSD中，并将所述元数据存放在数据库中。/n
【技术特征摘要】
1.一种对象存储小文件处理方法，其特征在于，包括：
接收对象数据写入请求，判断所述对象数据写入请求中包含的小文件的大小是否小于或等于预设值；
若小于或等于所述预设值，则判断是否是首次写入所述小文件，若是首次写入，则将所述小文件中的数据写入到聚合文件中，并将所述聚合文件的标识、所述数据的长度及所述数据在所述聚合文件中的位置存储在所述小文件的元数据中；
判断所述聚合文件的容量是否超过所述聚合文件的设定容量，若超过，则将所述数据写入到新的聚合文件中，若未超过，则返回执行所述接收对象数据写入请求的步骤；
将达到所述设定容量的聚合文件写入到OSD中，并将所述元数据存放在数据库中。
2.根据权利要求1所述的对象存储小文件处理方法，其特征在于，在确定所述对象数据请求中包含的小文件不为首次写入时，还包括：
将所述小文件中的数据作为普通文件写入到所述OSD中，并对所述小文件的元数据进行处理，以通过所述小文件的元数据标识所述小文件为非聚合文件；
从所述聚合文件中读取与所述小文件对应的源文件的数据，对所述源文件的元数据进行修改，以标识所述源文件在所述聚合文件中所占用的空间已被删除。
3.根据权利要求1所述的对象存储小文件处理方法，其特征在于，在将所述聚合文件的标识、所述数据的长度及所述数据在所述聚合文件中的位置存储在所述小文件的元数据中时，还包括：
记录所述聚合文件的生成时长；
判断所述聚合文件的生成时长是否大于预设时长，若是，则将所述聚合文件写入到所述OSD中，并将所述元数据存放在所述数据库中，若否，则执行所述判断所述聚合文件的容量是否超过所述聚合文件的设定容量的步骤。
4.根据权利要求要求1所述的对象存储小文件处理方法，其特征在于，在将所述小文件中的数据写入到聚合文件中之前，还包括：
根据所述聚合文件的设定容量将所述聚合文件划分成多个具有相同容量的写入空间；
相应地，将所述小文件中的数据写入到聚合文件，包括：
按照所述写入空间的排列顺序从所述聚合空间中选取一个新的且未写入数据的写入空间，并将所述小文件中的数据从所选取出的写入空间开始写入到所述聚合文件中。
5.根据权利要求1至4任一项所述的对象存储小文件处理方法，其特征在于，在将所述聚合文件写入到OSD中之后，还包括：
向用户发出对象数...
【专利技术属性】
技术研发人员：李朋辉，梁珂铭，胡永刚，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。