数据处理方法、高性能计算存储系统及电子设备技术方案

本申请属于云计算领域，涉及数据处理方法、高性能计算存储系统及电子设备。应用于HPC存储系统中的控制器，包括：获取待处理数据，根据待处理数据确定待处理数据所在的当前持久化内存PMEM单元；获取所述当前PMEM单元中与待处理数据对应的读取频率和写入频率；通过所述控制器中的冷数据过滤器和热数据过滤器根据所述读取频率和所述写入频率对所述待处理数据进行过滤，以获取与所述待处理数据对应的数据类型；根据所述数据类型将所述待处理数据移动至目标PMEM单元，所述目标PMEM单元为用于快写慢读的第一PMEM单元或者用于快读慢写的第二PMEM单元。本申请能够实现读写数据的分区存储，降低了数据的读写延迟。降低了数据的读写延迟。降低了数据的读写延迟。

【技术实现步骤摘要】
数据处理方法、高性能计算存储系统及电子设备


[0001]本申请涉及云计算
，特别涉及一种数据处理方法、高性能计算存储系统及电子设备。

技术介绍

[0002]主流的高性能计算(High performance computing，缩写HPC)存储系统均采用持久化内存(persistent memory，缩写PMEM)和固态硬盘(Solid State Disk，缩写SSD)组成的混合存储系统，以实现高可靠性和高性能。其中，PMEM作为热数据存储层使用，SSD作为冷数据存储层使用。
[0003]为了保证PMEM的可靠性，应用了多重验证操作和强纠错码(error correcting code，缩写ECC)，其数据调度模式主要采用基于最近最少使用的数据分配方法，将不经常读写的冷数据移动到SSD中，一旦发生对冷数据的读写，SSD将数据重新移动到PMEM中。但是在向PMEM中写入数据时，采用多重验证操作会增加写入延迟，从PMEM中读取数据时，采用强ECC进行错误检查和纠正，在ECC解码时严重增加了读取延迟，并且频繁的将冷数据移动至SSD层会导致大量的时间开销，降低SSD的性能和寿命。
[0004]需要说明的是，上述
技术介绍
部分公开的信息仅用于加强对本申请的背景的理解。

技术实现思路

[0005]本申请的目的在于提供一种数据处理方法、数据处理系统、计算机存储介质及电子设备，进而至少在一定程度上减少读取/写入延迟。
[0006]本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。
[0007]根据本申请的第一方面，提供一种数据处理方法，应用于高性能计算HPC存储系统中的控制器，包括：获取待处理数据，根据所述待处理数据确定所述待处理数据所在的当前持久化内存PMEM单元；获取所述当前PMEM单元中与所述待处理数据对应的读取频率和写入频率；通过所述控制器中的冷数据过滤器和热数据过滤器根据所述读取频率和所述写入频率对所述待处理数据进行过滤，以获取与所述待处理数据对应的数据类型；根据所述数据类型将所述待处理数据移动至目标PMEM单元，所述目标PMEM单元为用于快写慢读的第一PMEM单元或者用于快读慢写的第二PMEM单元。
[0008]根据本申请的第二方面，提供一种数据处理装置，包括：第一PMEM单元，用于存储热数据和冷数据，并对数据进行快写慢读；第二PMEM单元，与所述第一PMEM单元连接，用于存储热数据和冷数据，并对数据进行快读慢写；固态硬盘SSD，与所述第一PMEM单元和所述第二PMEM单元连接，用于在所述第一PMEM单元和/或所述第二PMEM单元的存储空间不足时存储冷数据；控制器，与所述第一PMEM单元、所述第二PMEM单元和所述SSD连接，用于根据待处理数据确定所述待处理数据所在的当前持久化内存PMEM单元；获取所述当前PMEM单元中
与所述待处理数据对应的读取频率和写入频率；通过冷数据过滤器和热数据过滤器根据所述读取频率和所述写入频率对所述待处理数据进行过滤，并根据过滤获取的与所述待处理数据对应的数据类型将所述待处理数据移动至目标PMEM单元，所述目标PMEM单元为用于快写慢读的第一PMEM单元或者用于快读慢写的第二PMEM单元。
[0009]根据本申请的第三方面，提供一种电子设备，其特征在于，包括：控制器；以及存储器，用于存储所述控制器的可执行指令；其中，所述控制器配置为经由执行所述可执行指令来执行上述的数据处理方法。
[0010]由上述技术方案可知，本申请示例性实施例中的数据处理方法、高性能计算存储系统及电子设备至少具备以下优点和积极效果：
[0011]本申请实施例中的数据处理方法，通过高性能计算存储系统中的控制器根据待处理数据确定其所在的当前持久化内存PMEM单元；接着获取当前PMEM单元中与待处理数据对应的读取频率和写入频率；然后通过冷数据过滤器和热数据过滤器根据读取频率和写入频率对待处理数据进行过滤，以获取与待处理数据对应的数据类型；最后根据数据类型将待处理数据移动至目标PMEM单元，该目标PMEM单元为用于快写慢读的第一PMEM单元或者用于快读慢写的第二PMEM单元。本申请实施例通过冷数据过滤器和热数据过滤器根据读取/写入频率将写热数据存储于第一PMEM单元，将读热数据存储于第二PMEM单元，能够提高数据的读取/写入速率，减少读取/写入延迟。
[0012]本申请应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
[0013]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0014]图1示意性地示出了相关技术中高性能计算HPC存储系统的系统架构图。
[0015]图2示意性地示出了本申请实施例中高性能计算HPC存储系统的系统架构图。
[0016]图3示意性地示出了本申请实施例中数据处理方法的流程图。
[0017]图4示意性地示出了本申请实施例中第一PMEM单元的读取/写入操作机理图。
[0018]图5示意性地示出了本申请实施例中第二PMEM单元的读取/写入操作机理图。
[0019]图6示意性地示出了本申请实施例中第一PMEM单元对应的数据类型获取流程示意图。
[0020]图7示意性地示出了本申请实施例中第二PMEM单元对应的数据类型获取流程示意图。
[0021]图8示意性示出了适于用来实现本申请实施例的电子设备的计算机系统结构框图。
具体实施方式
[0022]现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形
式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
[0023]此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。
[0024]本说明书中使用用语“一个”、“一”、“该”和“所述”用以表示存在一个或多个要素/组成部分/等；用语“包括”和“具有”用以表示开放式的包括在内的意思并且是指除了列出的要素/组成部分/等之外还可存在另外的要素/组成部分/等；用语“第一”和“第二”等仅作为标记使用，不是对其对象的数量限制。
[0025]附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于高性能计算HPC存储系统中的控制器，包括：获取待处理数据，根据所述待处理数据确定所述待处理数据所在的当前持久化内存PMEM单元；获取所述当前PMEM单元中与所述待处理数据对应的读取频率和写入频率；通过所述控制器中的冷数据过滤器和热数据过滤器根据所述读取频率和所述写入频率对所述待处理数据进行过滤，以获取与所述待处理数据对应的数据类型；根据所述数据类型将所述待处理数据移动至目标PMEM单元，所述目标PMEM单元为用于快写慢读的第一PMEM单元或者用于快读慢写的第二PMEM单元。2.根据权利要求1所述的方法，其特征在于，在获取待处理数据之前，所述方法还包括：响应并解析主机的读取/写入请求，以获取所述待处理数据。3.根据权利要求1或2所述的方法，其特征在于，所述根据所述待处理数据确定所述待处理数据所在的当前持久化内存PMEM单元，包括：将所述待处理数据与所述第一PMEM单元中的数据和所述第二PMEM单元中的数据进行匹配；当所述第一PMEM单元中存在与所述待处理数据匹配的数据时，将所述第一PMEM单元作为所述当前PMEM单元；当所述第二PMEM单元中存在与所述待处理数据匹配的数据时，将所述第二PMEM单元作为所述当前PMEM单元。4.根据权利要求1所述的方法，其特征在于，在获取所述目标PMEM单元中与所述待处理数据对应的读取频率和写入频率之前，所述方法还包括：保存与所述待处理数据对应的读取/写入信息，并根据所述读取/写入信息更新与所述待处理数据对应的读取频率或者写入频率。5.根据权利要求1或4中所述的方法，其特征在于，所述当前PMEM单元为第一PMEM单元，所述热数据过滤器为写热数据过滤器；所述通过所述控制器中的冷数据过滤器和热数据过滤器根据所述读取频率和所述写入频率对所述待处理数据进行过滤，以获取所述待处理数据的数据类型，包括：通过所述冷数据过滤器将所述读取频率与冷数据阈值进行比较；当所述读取频率小于或等于所述冷数据阈值时，确定所述待处理数据的数据类型为冷数据；当所述读取频率大于所述冷数据阈值时，通过所述写热数据过滤器将所述写入频率与写热数据阈值进行比较，根据比较结果确定所述待处理数据的数据类型。6.根据权利要求5中所述的方法，其特征在于，所述通过所述写热数据过滤器将所述写入频率与写热数据阈值进行比较，根据比较结果确定所述待处理数据的数据类型，包括：当所述写入频率大于所述写热数据阈值时，确定所述待处理数据的数据类型为写热数据；当所述写入频率小于或等于所述写热数据阈值时，确定所述待处理数据的数据类型为读热数据。7.根据权利要求6所述的方法，其特征在于，所述根据所述数据类型将所述待处理数据移动至目标PMEM单元，包括：
当所述待处理数据的数据类型为冷数据或者写热数据时，将所述第一PMEM单元作为所述目标PMEM单元；当所述待处理数据的数据类型为读热数据时，将所述第二PMEM单元作为所述目标PMEM单元，并将所述待处理数据移动至所述第二PMEM单元。8.根据权利要求7所述的方法，其特征在于，在将所述待处理数据移动至所述第二PMEM单元之后，所述方法还包括：删除所述第一PMEM单元中与所述待处理数据对应的读取/写入信息记录，在所述第二PMEM单元中重新记录所述待处理数据对应的读取/写入信息。9.根据权利要求1或4中所述的方法，其特征在于，所述当...

【专利技术属性】
技术研发人员：高达，高飞，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：