用于异构存储系统的系统和方法技术方案

公开了用于管理存储系统的系统和方法。存储系统包括第一存储设备和与第一存储设备不同的第二存储设备。接收针对文件的第一部分的第一存储操作，并且识别与文件相关联的数据结构。基于数据结构，第一存储设备被识别为用于文件的第一部分。第一存储操作被发送到第一存储设备。响应于第一存储操作，第一存储设备更新或访问文件的第一部分。新或访问文件的第一部分。新或访问文件的第一部分。

【技术实现步骤摘要】
用于异构存储系统的系统和方法
[0001]对相关申请的交叉引用
[0002]本申请要求2022年3月3日提交的题目为“SYSTEMS,METHODS,AND DEVICES FOR HETEROGENEOUS STORAGE SYSTEMS”的第63/316,403号美国临时申请的优先权和权益，并且要求2022年6月9日提交的题目为“UNIFIED I/O LIBRARY FOR HETEROGENEOUS STORAGE SYSTEMS”的第63/350,818号美国临时申请的优先权和权益，并且要求2022年6月24日提交的题目为“UNIFYING HETEROGENEOUS STORAGE SYSTEMS WITH HETEROGENEOUS I/O”的第63/355,377号美国临时申请的优先权和权益，其中每一个的全部内容通过引用并入于此。


[0003]根据本公开的实施例的一个或多个方面涉及存储系统，并且更具体地涉及异构存储系统的管理。

技术介绍

[0004]大数据应用可以生成可能需要被快速访问和/或处理的大数据尺寸。这样的大数据应用的增长可能对传统存储系统提出挑战。
[0005]在该
技术介绍
部分中公开的上述信息仅用于增强对本公开的背景的理解，因此，它可能包含不形成现有技术的信息。

技术实现思路

[0006]本公开的实施例涉及一种用于管理存储系统的方法，所述存储系统包括第一存储设备和与第一存储设备不同的第二存储设备。该方法包括：接收针对文件的第一部分的第一存储操作；识别与文件相关联的数据结构；基于数据结构来识别用于文件的第一部分的第一存储设备；以及将第一存储操作发送到第一存储设备，其中，响应于第一存储操作，第一存储设备更新或访问文件的第一部分。
[0007]根据一些实施例，数据结构包括具有第一节点和第二节点的树数据结构，其中，第一节点包括关于文件的第一部分的第一信息，并且第二节点包括关于文件的第二部分的第二信息，其中文件的第二部分被存储在第二存储设备中。
[0008]根据一些实施例，第一信息标识第一文件系统中的第一元数据，并且第二信息标识与第一文件系统不同的第二文件系统中的第二元数据。
[0009]根据一些实施例，文件是虚拟命名空间中的逻辑文件，其中，逻辑文件从应用中提取第一文件系统和第二文件系统。
[0010]根据一些实施例，第一存储操作被引导到虚拟命名空间，并且所述方法包括：接收被引导到虚拟命名空间的第二存储操作；识别第二存储设备；以及将第二存储操作发送到第二存储设备。
[0011]根据一些实施例，该方法还包括：接收针对文件的第二部分的第二存储操作；识别与文件相关联的数据结构；基于数据结构来识别用于文件的第二部分的第二存储设备；以
及将第二存储操作发送到第二存储设备，其中，响应于第二存储操作，第二存储设备与第一存储设备更新文件的第一部分同时地更新文件的第二部分。
[0012]根据一些实施例，该方法还包括：识别分配给第一存储设备的第一处理线程；确定第一处理线程的吞吐量；以及基于吞吐量将第一处理线程重新分配给第二存储设备。
[0013]根据一些实施例，该方法还包括：计算第一处理线程对处理资源的利用率；确定第一处理组中的处理资源的可用性；以及响应于所述确定而从第二处理组借用处理资源。
[0014]根据一些实施例，文件的第一部分包括文件的第一数据块，并且文件的第二部分包括文件的第二数据块。
[0015]根据一些实施例，第一存储设备是非易失性存储器设备，并且第二存储设备是固态驱动器。
[0016]本公开的实施例还涉及一种用于管理存储系统的系统，该存储系统包括第一存储设备和与第一存储设备不同的第二存储设备。该系统包括处理器和存储器。存储器存储指令，所述指令在由处理器执行时使所述处理器：接收针对文件的第一部分的第一存储操作；识别与文件相关联的数据结构；基于数据结构来识别用于文件的第一部分的第一存储设备；以及将第一存储操作发送到第一存储设备，其中，响应于第一存储操作，第一存储设备更新或访问文件的第一部分。
[0017]当关于以下详细描述、所附权利要求和附图考虑时，将更全面地理解本公开的实施例的这些和其他特征、方面和优点。当然，本专利技术的实际范围由所附权利要求限定。
附图说明
[0018]参考以下附图描述了本专利技术实施例的非限制性和非穷举性实施例，其中除非另有说明，否则相同的附图标记在各个视图中指代相同的部分。
[0019]图1是根据一个实施例的包括耦合到异构存储系统的主机计算设备的计算系统的框图；
[0020]图2是根据一个实施例的异构存储管理器的框图；
[0021]图3是根据一个实施例的由逻辑文件的数据结构管理器生成的数据结构的概念图；
[0022]图4是根据一个实施例的用于处理存储操作的流程图；
[0023]图5是根据一个实施例的用于基于与一个或多个数据块相关联的I/O请求来更新图3的数据结构的过程的流程图；
[0024]图6是根据一个实施例的用于动态I/O放置的过程的流程图；以及
[0025]图7是根据一个实施例的用于向I/O线程动态分配CPU资源的过程的流程图。
具体实施方式
[0026]在下文中，将参考附图更详细地描述示例实施例，其中相同的附图标记始终表示相同的元件。然而，本公开可以以各种不同的形式实施，并且不应被解释为仅限于本文所示的实施例。相反，提供这些实施例作为示例，使得本公开将是透彻和完整的，并且将向本领域技术人员充分传达本公开的方面和特征。因此，可以不描述对于本领域普通技术人员来说完全理解本公开的方面和特征所不必要的过程、元件和技术。除非另有说明，否则在整个
附图和书面描述中，相同的附图标记表示相同的元件，因此，可以不重复其描述。此外，在附图中，为了清楚起见，元件、层和区域的相对尺寸可能被夸大和/或简化。
[0027]大规模系统可能需要快速访问和处理大量数据。为了解决该需求，可以以异构方式实现输入和/或输出(I/O)硬件存储栈。异构存储系统可以包括不同的异构存储设备，诸如例如快速但更昂贵的存储设备，诸如持久存储器(PM)，以及较慢但更高容量的设备，诸如非易失性存储器快速(NVMe)固态驱动器(SSD)或机械驱动器。
[0028]一些现有技术系统可以通过采用诸如高速缓存或分层的技术来管理存储异构性。在一种高速缓存方案中，较快的存储装置(例如，PM)可以被用作高速缓存，并且较慢的存储设备(例如，SSD或硬盘)可以被用作备份存储装置。在一种分层方法中，评估数据的使用以确定数据在不同存储设备中的放置。例如，可以评估数据，使得活动或频繁访问的数据(也被称为“热”数据)被放置在较快的存储装置中，并且不活动或较不频繁访问的数据(也称为“冷”数据)被放置在较慢的存储装置中。
[0029]尽管现有技术系统在管理异构存储设备方面是有用的，但是它们在最大化I/O性能、减少I/O放大等方面存在缺点。例如，当前技本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于管理存储系统的方法，所述存储系统包括第一存储设备和与第一存储设备不同的第二存储设备，所述方法包括：接收针对文件的第一部分的第一存储操作；识别与文件相关联的数据结构；基于数据结构来识别用于文件的第一部分的第一存储设备；以及将第一存储操作发送到第一存储设备，其中，响应于第一存储操作，第一存储设备更新或访问文件的第一部分。2.根据权利要求1所述的方法，其中，数据结构包括具有第一节点和第二节点的树数据结构，其中，第一节点包括关于文件的第一部分的第一信息，并且第二节点包括关于文件的第二部分的第二信息，其中，文件的第二部分被存储在第二存储设备中。3.根据权利要求2所述的方法，其中，第一信息标识第一文件系统中的第一元数据，并且第二信息标识与第一文件系统不同的第二文件系统中的第二元数据。4.根据权利要求3所述的方法，其中，文件是虚拟命名空间中的逻辑文件，其中，逻辑文件从应用中提取第一文件系统和第二文件系统。5.根据权利要求4所述的方法，其中，第一存储操作被引导到虚拟命名空间，所述方法包括：接收被引导到虚拟命名空间的第二存储操作；识别第二存储设备；以及将第二存储操作发送到第二存储设备。6.根据权利要求2所述的方法，还包括：接收针对文件的第二部分的第二存储操作；识别与文件相关联的数据结构；基于数据结构来识别用于文件的第二部分的第二存储设备；以及将第二存储操作发送到第二存储设备，其中，响应于第二存储操作，第二存储设备与第一存储设备更新文件的第一部分同时地更新文件的第二部分。7.根据权利要求6所述的方法，还包括：识别指派给第一存储设备的第一处理线程；确定第一处理线程的吞吐量；以及基于吞吐量将第一处理线程重新指派给第二存储设备。8.根据权利要求7所述的方法，还包括：计算第一处理线程对处理资源的利用；确定第一处理组中的处理资源的可用性；以及响应于所述确定而从第二处理组借用处理资源。9.根据权利要求2所述的方法，其中，文件的第一部分包括文件的第一数据块，并且文件的第二部分包括文件的第二数据块。10.根据权利要求2所述的方法，其中，第一存储设备是非易失性存储器设备，并且第二存储设备是固态驱动器。11.一种用于管理存储系统的系统，所述存储系统包括第一存储设备和与第一存储设备不同的第二存储设备，所述系统包括：

【专利技术属性】
技术研发人员：S，
申请(专利权)人：新泽西鲁特格斯州立大学，
类型：发明
国别省市：