基于裸闪存的对象存储构建方法及装置制造方法及图纸

本发明专利技术提出了一种基于裸闪存的对象存储构建方法及装置，其中，方法包括：将闪存介质以裸闪存设备的形式接入主机端，在主机端构建软件驱动级的对象存储管理层；本地存储系统或分布式存储系统通过对象存储管理层提供的对象式访问接口，向对象存储管理层传递对象数据操作参数；对象存储管理层通过对象存储管理机制、闪存转换层功能和裸闪存访问管理机制，将存储系统的对象数据操作参数转化为对应的裸闪存读/写/擦除命令；将操作命令发送给裸闪存设备，完成对象数据操作。该方法能够减少传统基于闪存的对象存储架构的功能冗余，提供更低的对象数据访问延迟，并能够减少成本，带来良好的客户体验。

Object memory construction method and device based on bare flash memory

A method and device for constructing object storage based on bare flash memory are proposed in this paper. The method includes: connecting the flash medium to the host in the form of bare flash memory device, constructing a software-driven object storage management layer on the host side, and providing a local storage system or a distributed storage system through the object storage management layer. Object-based access interface transfers object data operation parameters to object storage management layer; object storage management layer transforms object data operation parameters into corresponding bare flash read/write/erase commands by object storage management mechanism, flash transfer layer function and bare flash access management mechanism; and converts operation commands into bare flash read/write/erase commands. It is sent to the bare flash memory device to complete object data operation. This method can reduce the functional redundancy of traditional flash-based object storage architecture, provide lower object data access latency, reduce costs, and bring good customer experience.

【技术实现步骤摘要】
基于裸闪存的对象存储构建方法及装置
本专利技术涉及计算机
，尤其涉及一种基于裸闪存的对象存储构建方法及装置。
技术介绍
闪存是一种电子式可擦除编程存储器，以页为单位进行读写，以块为单位进行擦除，并且读、写以及擦除操作的延迟差异较大。闪存单元的编程为单向编程，重写一个页之前，需要进行擦除操作,并且闪存单元的擦写次数有限，即寿命有限。通常，闪存页的大小为4KB或更大，而闪存块包含256个或更多闪存页。每个闪存页除页数据之外还包括页元数据区域，也叫做OOB(OutofBand,带外)区域，用于记录ECC(ErrorCorrectionCode，纠错码)校验等元数据信息，并且闪存能提供页数据与页元数据的原子性读写。通常，一个4KB闪存页拥有一块128字节的页元数据。传统的闪存存储系统中，FTL(FlashTranslationLayer，闪存转换层)用于管理闪存的读/写/擦除操作，并实现垃圾回收与磨损均衡等功能。在嵌入式文件系统中，闪存多数以裸闪存的形式存在，由文件系统直接管理，并在文件系统中实现闪存转换层功能。随着闪存密度提升、价格下落，闪存以SSD(SolidStateDrive，固态盘)的形式广泛用于笔记本电脑、台式机以及服务器中，固态盘在其内部固件中实现闪存转换层的功能，并向软件系统提供与传统磁盘相同的读写接口。传统的方法基于固态盘来构建闪存对象存储。在这种架构中，使用固态盘替换磁盘，文件系统以文件的形式，通过固态盘的固件FTL访问闪存数据；再在此文件系统之上封装一层对象接口，此文件系统与对象接口共同构成一个对象层；在此对象层上再挂载存储系统，为应用提供闪存对象存储。传统的闪存对象存储构建方法基于文件系统构建对象层，使用了通用的系统存储接口，在功能上具有很好的层次性，但是中间有较多的功能冗余，不能充分利用闪存特性实现更高效且更利于闪存寿命的存储管理。三星公司提出一种在固态盘固件FTL中构建对象层的架构，固态盘不再向上提供块接口而是对象接口，以避免在文件系统上构建对象层的开销。然而此方法需要进行固态盘固件的操作，缺乏灵活性，存在软硬件之间的语义隔离。
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的一方面目的在于提出一种能够简化基于闪存的对象存储架构，提供更低对象数据访问延迟的方法。本专利技术另一方面目的在于提出一种基于裸闪存的对象存储构建装置。为达到上述目的，本专利技术一方面的实施例提出了一种基于裸闪存的对象存储构建方法，包括以下步骤：通过将闪存介质以裸闪存设备的形式接入主机端，在主机端构建软件驱动级的对象存储管理层；本地存储系统或分布式存储系统通过所述对象存储管理层提供的对象式访问接口，向所述对象存储管理层传递对象数据操作参数；对象存储管理层通过对象存储管理机制、闪存转换层功能和裸闪存访问管理机制，将存储系统的对象数据操作参数转化为对应的裸闪存读/写/擦除命令；将所述操作命令发送给裸闪存设备，完成对象数据操作。根据本专利技术实施例的一种基于裸闪存的对象存储构建方法，通过构建对象存储管理层，建立和裸闪存设备的访问接口，通过将对象数据操作参数转化为对应的裸闪存读/写/擦除命令，直接对裸闪存设备进行操作，达到减少传统基于闪存的对象存储架构的功能冗余，提供更低的对象数据访问延迟的目的，具有减少成本和更好客户体验的优点。在一些示例中，所述对象存储管理层，用于：对象存储管理、闪存转换层功能和裸闪存访问管理。在一些示例中，所述对象存储管理机制包括对象存储数据和闪存块管理信息的组织，其中：对象存储数据包括对象索引、对象元数据页和对象数据页，其中，对象索引实现对象身份标识到对象元数据页的映射，对象元数据页记录该对象所包含数据页面的地址映射关系；使用对象身份标识，经历对象索引和对象元数据页两级查询，定位该对象的数据页面，闪存块管理信息指每个闪存块的元数据信息，包括闪存块状态、该块中无效页的个数和该块的擦除次数，其中，闪存块的状态有空闲、更新和已用三种，闪存块管理信息集中存储于特定的存储空间，并且以日志的方式记录。在一些示例中，所述闪存转换层功能，包括：所述闪存转换层功能为部分传统固件闪存转换层功能转移到软件驱动层的实现，包括逻辑页地址到物理页地址的映射、垃圾回收、磨损均衡，其中，逻辑页地址到物理页地址的映射，通过所述对象存储数据和闪存块管理信息的组织实现，垃圾回收将在裸闪存空间占用达到一定的比例时触发，将失效的数据页回收，磨损均衡会在向对象分配数据页时，保证闪存块的磨损程度较为平均。在一些示例中，所述裸闪存访问管理包括：对裸闪存进行页级别的读写操作和块级别的擦除操作，并且能够实现闪存页的页数据和页元数据的同时读写。在一些示例中，所述对象数据操作参数包括：存储系统根据不同的操作需求，选用不同的对象式接口；使用对象身份标识，通过对象存储管理机制定位到对象数据页地址；使用裸闪存访问管理实现硬件设备上的对象数据操作。本专利技术的另一方面的实施例提出了一种基于裸闪存的对象存储构建装置，包括：构建模块，用于将闪存介质以裸闪存设备的形式接入主机端，在主机端构建软件驱动级的对象存储管理层；传递模块，用于本地存储系统或分布式存储系统使用所述对象存储管理层提供的对象式访问接口，向所述对象存储管理层传递对象数据操作参数；转化模块，用于根据对象存储管理层通过对象存储管理机制、闪存转换层功能和裸闪存访问管理机制，将存储系统的对象数据操作参数转化为对应的裸闪存读/写/擦除命令；发送模块，用于将所述操作命令发送给裸闪存设备，完成对象数据操作。根据本专利技术实施例的一种基于裸闪存的对象存储构建装置，通过构建对象存储管理层，建立和裸闪存设备的访问接口，通过将对象数据操作参数转化为对应的裸闪存读/写/擦除命令，直接对裸闪存设备进行操作，达到减少传统的基于闪存的对象存储架构的功能冗余，提供更低的对象数据访问延迟的目的，具有减少成本和更好客户体验的优点。在一些示例中，所述对象存储管理层，包括：对象存储管理单元、闪存转换层功能单元和裸闪存访问管理单元。在一些示例中，所述对象存储管理机制包括对象存储数据和闪存块管理信息的组织，其中：对象存储数据包括对象索引、对象元数据页和对象数据页，其中，对象索引实现对象身份标识到对象元数据页的映射，对象元数据页记录该对象所包含数据页面的地址映射关系，使用对象身份标识，经历对象索引和对象元数据页两级查询，定位该对象的数据页面；闪存块管理信息指每个闪存块的元数据信息，包括闪存块状态、该块中无效页的个数和该块的擦除次数，其中，闪存块的状态有空闲、更新和已用三种，闪存块管理信息集中存储于特定的存储空间，并且以日志的方式记录。在一些示例中，所述对象数据操作参数包括：存储系统根据不同的操作需求，选用不同的对象式接口；使用对象身份标识，通过对象存储管理机制定位到对象数据页地址；使用裸闪存访问管理实现硬件设备上的对象数据操作。本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明图1是根据本专利技术实施例的基于裸闪存的对象存储构建方法的流程图；图2是本专利技术一个实施例的对象式访问接口及其主要参数示意图；图3是本专利技术实施例的存储对象管理层访问裸闪存设备的逻辑示意图；本文档来自技高网...

【技术保护点】
1.一种基于裸闪存的对象存储构建方法，其特征在于，包括以下步骤：将闪存介质以裸闪存设备的形式接入主机端，在主机端构建软件驱动级的对象存储管理层；本地存储系统或分布式存储系统通过所述对象存储管理层提供的对象式访问接口，向所述对象存储管理层传递对象数据操作参数；对象存储管理层通过对象存储管理机制、闪存转换层功能和裸闪存访问管理机制，将存储系统的对象数据操作参数转化为对应的裸闪存读/写/擦除命令；将所述操作命令发送给裸闪存设备，完成对象数据操作。

【技术特征摘要】
1.一种基于裸闪存的对象存储构建方法，其特征在于，包括以下步骤：将闪存介质以裸闪存设备的形式接入主机端，在主机端构建软件驱动级的对象存储管理层；本地存储系统或分布式存储系统通过所述对象存储管理层提供的对象式访问接口，向所述对象存储管理层传递对象数据操作参数；对象存储管理层通过对象存储管理机制、闪存转换层功能和裸闪存访问管理机制，将存储系统的对象数据操作参数转化为对应的裸闪存读/写/擦除命令；将所述操作命令发送给裸闪存设备，完成对象数据操作。2.根据权利要求1所述的基于裸闪存的对象存储构建方法，其特征在于，所述对象存储管理层，包括：对象存储管理、闪存转换层功能和裸闪存访问管理。3.根据权利要求2所述的基于裸闪存的对象存储构建方法，其特征在于，所述对象存储管理机制包括对象存储数据和闪存块管理信息的组织，其中：对象存储数据包括对象索引、对象元数据页和对象数据页，其中，对象索引实现对象身份标识到对象元数据页的映射，对象元数据页记录该对象所包含数据页面的地址映射关系，使用对象身份标识，经历对象索引和对象元数据页两级查询，定位该对象的数据页面；闪存块管理信息指每个闪存块的元数据信息，包括闪存块状态、该块中无效页的个数和该块的擦除次数，其中，闪存块的状态有空闲、更新和已用三种，闪存块管理信息集中存储于特定的存储空间，并且以日志的方式记录。4.根据权利要求1所述的基于裸闪存的对象存储构建方法，其特征在于，所述闪存转换层功能，包括：所述闪存转换层功能为部分传统固件闪存转换层功能转移到软件驱动层的实现，包括逻辑页地址到物理页地址的映射、垃圾回收、磨损均衡；其中，逻辑页地址到物理页地址的映射，通过所述对象存储数据和闪存块管理信息的组织实现，垃圾回收将在裸闪存空间占用达到一定的比例时触发，将失效的数据页回收，磨损均衡会在向对象分配数据页时，保证闪存块的磨损程度较为平均。5.根据权利要求1所述的基于裸闪存的对象存储构建方法，其特征在于，所述裸闪存访问管理包括：对裸闪存进行页级别的读写操作和块级别的擦除操作，并且能够实现闪存页的页数据和...

【专利技术属性】
技术研发人员：舒继武，陆游游，张佳程，李飞，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11