The invention discloses a method and device for managing data in a file system, belonging to the field of data storage technology. The methods include: formatting the original file system, setting up a new file system based on the pre allocated high IOPS storage medium partition and low IOPS storage medium, setting the I node form in the high IOPS storage medium partition, storing the metadata to be stored in the I node form, and storing the file data to be stored in the low I. OPS storage medium. The service performance of the file system can be improved by adopting the invention.
【技术实现步骤摘要】
一种文件系统中管理数据的方法和装置
本专利技术涉及数据存储
,特别涉及一种文件系统中管理数据的方法和装置。
技术介绍
CDN(ContentDeliveryNetwork,内容分发网络)服务器中一般存储有大量的文件,并建立有用于管理这些文件的文件系统。文件系统中的数据可以分为文件数据和元数据,文件数据是指文件的具体内容数据,元数据是指用来描述文件属性的系统数据,诸如访问权限、文件拥有者、存储区域的分布信息以及文件系统的描述信息(如文件系统的可用空间)等。CDN服务器对于数据存储的容量需求很大,一般选用存储量大、成本低的机械硬盘来存储文件系统中的数据,具体可以基于机械硬盘建立用于管理文件的文件系统,CDN服务器存储文件时,可以将文件的元数据以及文件数据存入机械硬盘,并通过文件系统对文件进行管理操作。当接收到外界对于某个文件的文件访问请求时,CDN服务器可以通过文件系统对机械硬盘进行I/O(Input/Output,读/写)操作,从机械硬盘中获取该文件的元数据,然后通过元数据定位到文件数据的存储位置,进而可以向外界反馈机械硬盘中存储的文件数据。在实现本专利技术的过程中,专利技术人发现现有技术至少存在以下问题:CDN服务器往往需要并发处理大量的文件访问请求,对存储介质的IOPS(Input/OutputOperationsPerSecond,每秒读/写次数)需求越来越大,而机械硬盘的IOPS能力较差,无法实现对于文件访问请求的快速反馈,因此文件系统的服务性能较差。
技术实现思路
为了解决现有技术的问题,本专利技术实施例提供了一种文件系统中管理数据的方法和装置。 ...
【技术保护点】
一种文件系统中管理数据的方法,其特征在于,所述方法包括:格式化原始文件系统,基于预先分配的高IOPS存储介质分区和低IOPS存储介质建立新文件系统,在所述高IOPS存储介质分区设置I‑node表单;将待存储的元数据存入所述I‑node表单,并将待存储的文件数据存入所述低IOPS存储介质。
【技术特征摘要】
1.一种文件系统中管理数据的方法,其特征在于,所述方法包括:格式化原始文件系统,基于预先分配的高IOPS存储介质分区和低IOPS存储介质建立新文件系统,在所述高IOPS存储介质分区设置I-node表单;将待存储的元数据存入所述I-node表单,并将待存储的文件数据存入所述低IOPS存储介质。2.根据权利要求1所述的方法,其特征在于,所述方法还包括:如果所述高IOPS存储介质分区存在剩余存储空间,则将待存储的目录文件和间接块数据存入所述剩余存储空间;当所述剩余存储空间不足时,将所述待存储的目录文件和间接块数据继续存入所述低IOPS存储介质。3.根据权利要求1所述的方法,其特征在于,所述方法还包括:预估所有待存储文件的平均文件大小,基于所述低IOPS存储介质的容量和所述平均文件大小,估算I-node个数;根据所述I-node个数、I-node单位容量和所述低IOPS存储介质的单位存储量,确定所述高IOPS存储介质分区的存储容量。4.根据权利要求1所述的方法,其特征在于,所述将待存储的文件数据存入所述低IOPS存储介质,包括:根据文件系统的进程读写的最大并行数量,将所述低IOPS存储介质划分为大小统一的连续的多个存储区域;对于一个待存储文件,采用预设随机算法在所述多个存储区域中选择目标存储区域,并从所述目标存储区域的第一个可用存储单元开始写入所述待存储文件的文件数据。5.根据权利要求4所述的方法,其特征在于,所述采用预设随机算法在所述多个存储区域中选择目标存储区域,并从所述目标存储区域的第一个可用存储单元开始写入所述待存储文件的文件数据,包括:如果所述待存储文件的文件大小大于预设数值,则采用预设随机算法在所述多个存储区域中选择目标存储区域,并从所述目标存储区域的第一个可用存储单元开始写入所述待存储文件的文件数据;如果所述待存储文件的文件大小不大于所述预设数值,则从位置游标指向的空闲存储单元开始写入所述待存储文件的文件数据,并更新位置游标指向的空闲存储单元,其中,所述位置游标指向的空闲存储单元始终为所述多个存储区域内的首个空闲存储单元。6.根据权利要求1-5任一项所述的方法,其特征在于,所述高IOPS存储介质为固态硬盘,所述低IOPS存储介质为机械硬盘。7.一种文件系统中管理数据的装置,其特征在于,所述装置包括:建立模块,用于格式化原始文件系统,基于预先分配的高IOPS存储介质分区和低IOPS存储介质建立新文件系统,在所述高IOPS存储介质分区设置I-node表单...
【专利技术属性】
技术研发人员:林烽,陈文生,
申请(专利权)人:网宿科技股份有限公司,
类型:发明
国别省市:上海,31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。