用于管理文件的方法和系统技术方案

本发明专利技术公开一种用于管理文件的方法和系统。其中用户终端在存储文件时，向元数据主服务器发送文件创建请求；元数据主服务器选择用于存储文件的存储对象，并将元数据信息发送给用户终端，其中元数据信息包括存储对象的对象标识信息和对象位置信息；用户终端在接收到元数据信息时，将写入请求发送给与对象位置信息相关联的对象服务器；对象服务器将文件写入到与对象标识信息相对应的数据块中，并更新存储对象的头信息。本发明专利技术通过对文件和对象的关系进行重新定义，允许一个对象内存储一个或多个文件的数据块，一个文件也可跨多个对象来存储文件数据块，可对海量中小文件进行有效管理，方便用户将对象存储应用到更加普遍的使用场景。

【技术实现步骤摘要】

本专利技术涉及信息存储领域，特别涉及一种用于管理文件的方法和系统。
技术介绍
对象存储系统是继NAS(Network Attached Storage,网络附加存储）和 SAN(Storage Area Network,存储区域网）之后，一种新型的高可靠、跨平台以及安全的数据 共享的存储体系结构，数据通过对象进行保存，通过元数据服务器进行管理。 但是由于对象存储中，基本的存储对象大小通常为64MB或者更大，比较适合存放 大文件，比如100MB以上的数据文件，对于大量的网络应用中的中小文件，几十KB到几百KB 的数据文件，如图片、邮件等，由于每个文件也要占用一个存储对象，存储利用率较低；另外 系统中存在海量的中小文件，数量是以亿为单位的，在海量的数据文件中，中小文件的读写 对于系统会产生频繁的操作，对于系统的读写性能要求很高。 在对象存储系统上，如何有效的组织和管理这些中小文件，使其在应用中能够提 高数据存储的利用率，并且改善数据读写的性能，是目前对象存储系统应用中迫切需要解 决的问题。
技术实现思路
本专利技术实施例提供一种用于管理文件的方法和系统，通过对文件和对象的关系进 行了重新定义，允许一个对象内存储一个或多个文件的数据块，一个文件也可跨多个对象 来存储文件数据块，解决了海量中小文件元数据服务器读写性能要求高的问题，方便用户 将对象存储应用到更加普遍的使用场景。 根据本专利技术的一个方面，提供一种用于管理文件的方法，包括： 用户终端在存储文件时，向元数据主服务器发送文件创建请求； 元数据主服务器在接收到所述用户终端发送的文件创建请求时，从对象池中选择 用于存储所述文件的存储对象，并将所述存储对象的元数据信息发送给所述用户终端；其 中所述元数据信息包括所述存储对象的对象标识信息和对象位置信息； 所述用户终端在接收到元数据主服务器发送的所述元数据信息时，将写入请求发 送给与所述对象位置信息相关联的对象服务器，其中写入请求包括所述文件和所述对象标 识息； 对象服务器接收到写入请求后，将所述文件写入到与所述对象标识信息相对应的 数据块中，并更新所述存储对象的头信息。 在一个实施例中，对象服务器将所述文件写入到与所述对象标识信息相对应的数 据块中，并更新所述存储对象的头信息的步骤后，还包括： 对象服务器向元数据主服务器发送数据写入成功响应，以便元数据主服务器更新 所述存储对象的元数据信息。 在一个实施例中，所述用户终端在读取所述文件时，向元数据查询服务器发送文 件查询请求，其中元数据查询服务器与元数据主服务器同步更新； 元数据查询服务器在接收到所述用户终端发送的文件查询请求时，查询存储所述 文件的所述存储对象，并将所述存储对象的所述元数据信息发送给所述用户终端； 所述用户终端在接收到元数据查询服务器发送的所述元数据信息时，将读取请求 发送给与所述对象位置信息相关联的对象服务器，其中读取请求包括所述对象标识信息； 对象服务器读取与所述对象标识信息相对应的数据块信息，并将读取到的数据块 信息发送给所述用户终端。 在一个实施例中，所述用户终端在删除所述文件时，向元数据主服务器发送文件 查询请求； 元数据主服务器在接收到所述用户终端发送的文件查询请求时，查询存储所述文 件的所述存储对象，并将所述存储对象的所述元数据信息发送给所述用户终端； 所述用户终端在接收到元数据主服务器发送的所述元数据信息时，将删除请求发 送给与所述对象位置信息相关联的对象服务器，其中删除请求包括所述对象标识信息； 对象服务器接收到删除请求后，对与所述对象标识信息相对应的数据块进行删 除，并更新所述存储对象的头信息。 在一个实施例中，对象服务器对与所述对象标识信息相对应的数据块进行删除， 并更新所述存储对象的头信息的步骤后，还包括： 对象服务器向元数据主服务器发送数据删除成功响应，以便元数据主服务器更新 所述存储对象的元数据信息。 在一个实施例中，存储对象的头信息包括存储对象标识、与存储对象标识相对应 的空余数据块、与存储对象标识相对应的已使用数据块比例、数据块与文件的对应关系。 根据本专利技术的另一方面，提供一种用于管理文件的系统，包括元数据主服务器、对 象服务器和用户终端，其中： 用户终端，用于在存储文件时，向元数据主服务器发送文件创建请求；在接收到元 数据主服务器发送的所述元数据信息时，将写入请求发送给与所述对象位置信息相关联的 对象服务器，其中写入请求包括所述文件和所述对象标识信息； 元数据主服务器，用于在接收到所述用户终端发送的文件创建请求时，从对象池 中选择用于存储所述文件的存储对象，并将所述存储对象的元数据信息发送给所述用户终 端；其中所述元数据信息包括所述存储对象的对象标识信息和对象位置信息； 对象服务器，用于在接收到所述用户终端发送的写入请求后，将所述文件写入到 与所述对象标识信息相对应的数据块中，并更新所述存储对象的头信息。 在一个实施例中，对象服务器还用于在将所述文件写入到与所述对象标识信息相 对应的数据块中，并更新所述存储对象的头信息后，向元数据主服务器发送数据写入成功 响应，以便元数据主服务器更新所述存储对象的元数据信息。 在一个实施例中，所述用户终端还用于在读取所述文件时，向元数据查询服务器 发送文件查询请求，其中元数据查询服务器与元数据主服务器同步更新；在接收到元数据 查询服务器发送的所述元数据信息时，将读取请求发送给与所述对象位置信息相关联的对 象服务器，其中读取请求包括所述对象标识信息； 元数据查询服务器还用于在接收到所述用户终端发送的文件查询请求时，查询存 储所述文件的所述存储对象，并将所述存储对象的所述元数据信息发送给所述用户终端； 对象服务器还用于读取与所述对象标识信息相对应的数据块信息，并将读取到的 数据块信息发送给所述用户终端。 在一个实施例中，所述用户终端还用于在删除所述文件时，向元数据主服务器发 送文件查询请求；在接收到元数据主服务器发送的所述元数据信息时，将删除请求发送给 与所述对象位置信息相关联的对象服务器，其中删除请求包括所述对象标识信息； 元数据主服务器还用于在接收到所述用户终端发送的文件查询请求时，查询存储 所述文件的所述存储对象，并将所述存储对象的所述元数据信息发送给所述用户终端； 对象服务器还用于接收到删除请求后，对与所述对象标识信息相对应的数据块进 行删除，并更新所述存储对象的头信息。 在一个实施例中，对象服务器还用于在对与所述对象标识信息相对应的数据块进 行删除，并更新所述存储对象的头信息后，向元数据主服务器发送数据删除成功响应，以便 元数据主服务器更新所述存储对象的元数据信息。 在一个实施例中，存储对象的头信息包括存储对象标识、与存储对象标识相对应 的空余数据块、与存储对象标识相对应的已使用数据块比例、数据块与文件的对应关系。 本专利技术通过在不改变现有对象存储平台整体技术框架的前提下，重新定义了对象 的格式，文件是以对象中的数据块为基础单元；重新定义了文件和对象的关系，允许一个对 象内存放一个或者多个文件的数据块，也可以跨多个对象来存储文件数据块；优化了元数 据服务器部署模式，按照不同功能来提供文件和对象数据块写入和查询服务。通过上述重 新定义和优化部署，在对象本文档来自技高网...

【技术保护点】
一种用于管理文件的方法，其特征在于，包括：用户终端在存储文件时，向元数据主服务器发送文件创建请求；元数据主服务器在接收到所述用户终端发送的文件创建请求时，从对象池中选择用于存储所述文件的存储对象，并将所述存储对象的元数据信息发送给所述用户终端；其中所述元数据信息包括所述存储对象的对象标识信息和对象位置信息；所述用户终端在接收到元数据主服务器发送的所述元数据信息时，将写入请求发送给与所述对象位置信息相关联的对象服务器，其中写入请求包括所述文件和所述对象标识信息；对象服务器接收到写入请求后，将所述文件写入到与所述对象标识信息相对应的数据块中，并更新所述存储对象的头信息。

【技术特征摘要】

【专利技术属性】
技术研发人员：段勇，雷俊智，孙振正，龚靖，龚德志，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：北京;11