【技术实现步骤摘要】
本申请涉及计算机存储，尤其是涉及一种在线内存扩展方法、装置、设备及存储介质。
技术介绍
1、随着信息技术的发展，数据量日益增多，本地可能会出现存储空间不够的情况，因此可以通过在线内存的形式进行扩展以便于进行正常的操作。目前最常用的在线内存扩展技术主要基于服务器架构，通过配置超大内存来获得大容量存储空间，也可以采用多服务器并行进一步扩展存储空间，或是使用ssd扩展存储空间。
2、这种基于服务器架构的扩展方案可有效满足对容量的需求，但网络数据经过网卡—内存—cpu会产生较大的延时，同时cpu访问内存时由于天然的多层cache架构也有较大延时；基于服务器架构的方案中一般会进行加速设置，例如，通过配置智能网卡来降低网络延时，或是结合网络协议栈dpdk技术进一步降低网络延时，然而经过层层硬件流转，架构上产生的延时仍然较高。
3、鉴于服务器/cpu方案往往不能满足低延时需求，目前常采用硬件rdma的解决方案，网络在硬件中直接访问内存，可降低延时。然而，硬件加速器可挂载的内存容量有限，一般在几十gb到一百多gb，因此需要大量设备来支持大容量在线内存，一般情况下，内存设备如ddr内存或高带宽存储器（hbm）等的价格昂贵，使用大量内存设备会使得扩展方案成本高。
技术实现思路
1、为了有助于解决扩展在线内存容量的方案会使得延时高且扩展方案成本高的问题，本申请提供一种在线内存扩展方法、装置、设备及存储介质。
2、第一方面，本申请提供一种在线内存扩展方法，采用如下技术方
3、设置所述ssd存储器所支持的标准协议，并对每个所述ssd存储器配置单独的dma通道；
4、将所述ssd存储器的逻辑地址与在线内存地址进行映射对应；
5、获取待写入的数据以及所述待写入的数据对应的目标在线内存地址，将所述待写入的数据以及所述目标在线内存地址缓存至所述高带宽存储器；
6、将所述高带宽存储器中缓存的数据同步至所述ssd存储器的所述逻辑地址中。
7、通过上述技术方案，（1）对比基于cpu/服务器架构搭建的在线内存扩展系统，可以更低成本建设相同容量在线内存扩展系统，并提供数量级下降的访问延时。（2）ssd存储器不基于文件系统访问，ssd存储器的逻辑地址直接映射为远程内存页，完全基于硬件加速的逻辑地址访问实现低成本、低延时、大容量的远程内存系统建设。（3）ssd逻辑访问+高带宽存储器写入页缓存方案可扩展性好，低延时提供在线内存容量上线更大，硬件器件涉及少，部署更简单，对部署环境要求更低。
8、在一个具体的可实施方案中，所述ssd存储器的逻辑地址包括逻辑内存页，所述将所述ssd存储器的逻辑地址与在线内存地址进行映射对应包括：
9、对所述在线内存地址配置预设数量的在线内存页；
10、按照固定的转换关系将所述在线内存页与所述逻辑内存页进行一一对应。
11、通过上述技术方案，将逻辑地址直接映射为远程内存页，将ssd存储器的逻辑地址与在线内存地址进行对应绑定，通过增加ssd存储器的数量可以实现对在线内存的扩展，增大在线内存的容量。
12、在一个具体的可实施方案中，所述在线内存扩展系统还包括rdma模块，所述将所述待写入的数据以及所述目标在线内存地址缓存至所述高带宽存储器包括：
13、根据预设的转译规则将所述目标在线内存地址转换为目标缓存地址；
14、将所述目标在线内存地址转换为目标逻辑地址，并记录所述目标逻辑地址；
15、利用所述rdma模块传输所述待写入的数据，并将所述待写入的数据缓存到所述高带宽存储器中的所述目标缓存地址中。
16、通过上述技术方案，采用ssd存储器前后两次写数据的方式复杂，需要将前一次的数据擦除后才可以将后一次的数据写入，写数据的过程中伴随着块数据擦除，ssd存储器的寿命即为块数据擦除的次数，因此，将数据先缓存在高带宽存储器中再写入ssd存储器的方式可以有效减少块擦除的次数，从而可以提高ssd的寿命。
17、在一个具体的可实施方案中，所述高带宽存储器包含若干数据缓存器，所述将所述待写入的数据缓存到所述高带宽存储器中的所述目标缓存地址中包括：
18、新建缓存页状态表，所述缓存页状态表的数量与所述数据缓存器的数量一致；
19、将所述数据缓存器与所述ssd存储器一一对应；
20、根据所述待写入的数据的大小、所述数据缓存器的地址以及所述数据缓存器对应的ssd存储器的情况，将所述待写入的数据按页存储到具体的数据缓存器得到页缓存数据，并对所述数据缓存器中已使用的位置进行标记；
21、将所述待写入的数据写入的所述目标逻辑地址存储到所述缓存页状态表中，并对所述页缓存数据进行标记。
22、通过上述技术方案，采用高带宽存储器进行写入数据的缓存，高带宽存储器带宽高，写入速度较高，可以加快写数据的速度，降低时延，并行多个ssd存储器的访问设计，可满足同时在线内存访问场景下的写入速度需求，小容量（几十gb）的高带宽存储器结合大容量（可达几十tb）ssd可低成本达到大容量内存系统的写性能。在写入缓存数据时，采用log的方式直接迭代写入缓存区域，不需要知道页的具体的存储位置，从而可以节省时间，降低时延。
23、在一个具体的可实施方案中，所述将所述高带宽存储器中缓存的数据同步至所述ssd存储器的所述逻辑地址中包括：
24、判断所述数据缓存器中缓存的数据是否达到预设的占用比例；
25、若所述数据缓存器中缓存的数据达到预设的占用比例，则触发缓存数据按页同步至所述ssd存储器的所述目标逻辑地址；
26、所述触发缓存数据按页同步至所述ssd存储器的所述目标逻辑地址包括：
27、查询所述缓存页状态表，判断所述缓存页状态表中对应的页缓存数据是否过期；
28、若所述页缓存数据为非过期，则将所述页缓存数据写入所述目标逻辑地址中。
29、通过上述技术方案，内存页在写入后往往存在连续修改，如果每次都同步到ssd存储器中会增加写操作的开销并消耗ssd存储器寿命，通过缓存管理再写入ssd逻辑地址的方式可在数据同步到ssd时识别垃圾清理标记，跳过被标记的页，减少写入操作数量。
30、在一个具体的可实施方案中，在所述将所述页缓存数据写入所述目标逻辑地址中之前，还包括：
31、将非过期的页缓存数据组合生成块缓存数据；
32、将所述块缓存数据写入所述目标逻辑地址中。
33、通过上述技术方案，在写入ssd存储器目标逻辑地址前合并相同页的多次写入操作，从页写入的方式变为块写入的方式，可以减少高频操作，加快写数据的速度；此外，可以减少ssd存储器擦除的情况，进而提高ssd寿命。...
【技术保护点】
1.一种在线内存扩展方法，其特征在于：所述方法应用于在线内存扩展系统，所述在线内存扩展系统包括高带宽存储器和若干SSD存储器，所述SSD存储器包含逻辑地址，所述方法包括：
2.根据权利要求1所述的方法，其特征在于：所述SSD存储器的逻辑地址包括逻辑内存页，所述将所述SSD存储器的逻辑地址与在线内存地址进行映射对应包括：
3.根据权利要求1所述的方法，其特征在于：所述高带宽存储器包含若干数据缓存器，所述将所述待写入的数据缓存到所述高带宽存储器中的所述目标缓存地址中包括：
4.根据权利要求3所述的方法，其特征在于：所述将所述高带宽存储器中缓存的数据同步至所述SSD存储器的所述逻辑地址中包括：
5.根据权利要求4所述的方法，其特征在于：在所述将所述页缓存数据写入所述目标逻辑地址中之前，还包括：
6.根据权利要求3所述的方法，其特征在于：在所述新建缓存页状态表的同时，还包括：
7.一种在线内存扩展装置，用于实现权利要求1至6中任意一项所述的在线内存扩展方法，其特征在于：所述装置应用于在线内存扩展系统，所述在线内存扩展
8.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行如权利要求1至6中任一项所述方法的计算机程序。
9.一种计算机可读存储介质，其特征在于，存储有能够被处理器加载并执行如权利要求1至6中任一项所述方法的计算机程序。
...【技术特征摘要】
1.一种在线内存扩展方法，其特征在于：所述方法应用于在线内存扩展系统，所述在线内存扩展系统包括高带宽存储器和若干ssd存储器，所述ssd存储器包含逻辑地址，所述方法包括：
2.根据权利要求1所述的方法，其特征在于：所述ssd存储器的逻辑地址包括逻辑内存页，所述将所述ssd存储器的逻辑地址与在线内存地址进行映射对应包括：
3.根据权利要求1所述的方法，其特征在于：所述高带宽存储器包含若干数据缓存器，所述将所述待写入的数据缓存到所述高带宽存储器中的所述目标缓存地址中包括：
4.根据权利要求3所述的方法，其特征在于：所述将所述高带宽存储器中缓存的数据同步至所述ssd存储器的所述逻辑地址中包括：
5.根据权利要求4所述的方法，其特征...
【专利技术属性】
技术研发人员：请求不公布姓名，
申请(专利权)人：深存科技无锡有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。