一种分布式存储系统中文件写入的方法及系统技术方案

本发明专利技术公开了一种本分布式存储系统中文件写入的方法及系统。该方法包括：客户端向元数据服务器发送元数据请求；客户端根据元数据服务器返回消息中待写数据的信息，判断待写数据长度是否大于预设数据长度阈值；若是，则将待写数据写入客户端缓存后立即释放待写数据文件句柄，将脏数据写入OSD；若否，则将写入客户端缓存后的待写数据文件句柄加入到延迟释放链表中，当延迟释放链表中的文件句柄数大于预设句柄数阈值时，释放延迟释放链表中的文件句柄，将脏数据写入OSD。本发明专利技术所提供的方案，能够在写入大量小文件时，减少客户端与写入对象存储设备的交互，提高小文件写入的性能。

Method and system for file writing in distributed storage system

The invention discloses a method and a system for writing files in a distributed storage system. The method comprises: a client request to the server to send the client according to the metadata metadata; metadata server returns messages to be written data information, determines whether the write data length is larger than a preset threshold data length; if so, will write data into the client cache immediately after the release to write data to the file handle, the dirty data is written to the OSD; if not then, write after write data to the client cache file handle to delay the release of the list, when the delayed release of the number of file handles in the list is greater than the preset threshold number of handle, release delay release file handles in the list, the dirty data into OSD. The scheme provided by the invention can reduce the interaction between the client and the write object storage device when writing a large number of small files, and improve the performance of small file writing.

【技术实现步骤摘要】
一种分布式存储系统中文件写入的方法及系统
本专利技术涉及分布式存储
，特别是涉及一种分布式存储系统中文件写入的方法及系统。
技术介绍
伴随着网络和信息技术的飞速发展，数据的生产速度越来越快。大数据时代对数据的存储和访问速度的要求也越来越高。传统的数据存储方式显然不能够满足日益增长的数据存储的需求，分布式存储系统应运而生。分布式存储系统，是将数据分散存储在多台独立的设备上，网络存储系统采用集中的存储服务器存放所有数据。互联网中的信息主要以海量的小文件居多，目前在分布式存储系统中存储海量的小文件时还存在着存储空间不高，存储空间利用率低的瓶颈等问题。小文件的写入是小文件存储的重要环节，文件写入速度直接关系到系统的存储速度和吞吐量。分布式存储系统中，文件写入时，需要先向元数据服务器(MetaDataServer，MDS)申请元数据信息，写缓存模式下，写入文件数据到客户端缓存，客户端缓存中的数据通过数据刷新接口写入到对象存储设备(Object-basedStorageDevice，OSD)中，然后客户端向MDS端更新写入文件的元数据信息。当写入文件数量较多时，客户端需要频繁与MDS和OS本文档来自技高网...

【技术保护点】
一种分布式存储系统中文件写入的方法，其特征在于，包括：客户端向元数据服务器发送元数据请求；客户端根据所述元数据服务器返回消息中待写数据的信息，判断所述待写数据的长度是否大于预设数据长度阈值；若是，则将所述待写数据写入客户端缓存后立即释放待写数据文件句柄，将脏数据写入OSD；若否，则将写入客户端缓存后的所述待写数据文件句柄加入到延迟释放链表中，当延迟释放链表中的文件句柄数大于预设句柄数阈值时，释放所述延迟释放链表中的文件句柄，将脏数据写入OSD。

【技术特征摘要】
1.一种分布式存储系统中文件写入的方法，其特征在于，包括：客户端向元数据服务器发送元数据请求；客户端根据所述元数据服务器返回消息中待写数据的信息，判断所述待写数据的长度是否大于预设数据长度阈值；若是，则将所述待写数据写入客户端缓存后立即释放待写数据文件句柄，将脏数据写入OSD；若否，则将写入客户端缓存后的所述待写数据文件句柄加入到延迟释放链表中，当延迟释放链表中的文件句柄数大于预设句柄数阈值时，释放所述延迟释放链表中的文件句柄，将脏数据写入OSD。2.根据权利要求1所述的方法，其特征在于，在所述将所述待写数据写入客户端缓存后，还包括：向用户发送待写数据写入客户端缓存提示。3.根据权利要求2所述的方法，其特征在于，所述当延迟释放链表中的文件句柄数大于预设句柄数阈值时，释放所述延迟释放链表中的文件句柄，包括：调用脏数据刷新接口释放所述延迟释放链表中的文件句柄。4.根据权利要求1至3任一项所述的方法，其特征在于，将所述待写数据写入客户端缓存，还包括：当写入客户端的缓存达到预设客户端缓存阈值时，释放写入客户端的缓存对应的文件句柄。5.根据权利要求4所述的方法，其特征在于，包括：使用配置项对所述预设数据长度阈值、预设句...

【专利技术属性】
技术研发人员：张书扬，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41