一种内存页面管理方法、系统、装置、设备及计算机介质制造方法及图纸

本发明专利技术公开了一种内存页面管理方法、系统、装置、设备及计算机介质，涉及内存管理技术领域，获取待访问数据的目标虚拟地址；基于目标虚拟地址在地址转换高速缓存中进行物理地址查找；若在地址转换高速缓存中查找到对应的待访问物理地址，则从待访问物理地址中读取待访问的目标数据；若未在地址转换高速缓存中查找到待访问物理地址，则基于目标虚拟地址在统一编址的多组页表中并行进行物理地址查找，若查找到待访问物理地址，则从待访问物理地址中读取待访问的目标数据；其中，本地内存包括目标节点中的内存，其他内存包括目标节点之外的其他节点中的内存。扩大了目标处理器所能应用的内存，提高了处理器工作负载的效率和性能。提高了处理器工作负载的效率和性能。提高了处理器工作负载的效率和性能。

【技术实现步骤摘要】
一种内存页面管理方法、系统、装置、设备及计算机介质


[0001]本专利技术涉及内存管理
，更具体地说，涉及一种内存页面管理方法、系统、装置、设备及计算机介质。

技术介绍

[0002]随着处理数据量的激增，计算引擎对内存的需求也急剧增长，然而，内存容量的增长速度落后于处理器性能的增长，比如处理器核每两年翻一倍，而内存容量每三年翻一倍，这使得单节点内每个处理器核对应内存容量每两年减少30%，进一步加剧了应用对存算比增长的扩展需求。
[0003]综上所述，如何提高处理器工作负载的效率和性能是目前本领域技术人员亟待解决的问题。

技术实现思路

[0004]本专利技术的目的是提供一种内存页面管理方法，其能在一定程度上解决如何提高处理器工作负载的效率和性能的技术问题。本专利技术还提供了一种内存页面管理系统、装置、电子设备及计算机可读存储介质。
[0005]根据本专利技术实施例的第一方面，提供一种内存页面管理方法，应用于目标节点中的目标处理器，包括：获取待访问数据的目标虚拟地址；基于所述目标虚拟地址在地址转换高速缓存中进行物理地址查找，所述地址转换高速缓存存储有本地内存和其他内存中的目标物理地址及对应的虚拟地址间的映射关系；若在所述地址转换高速缓存中查找到与所述目标虚拟地址对应的待访问物理地址，则从所述待访问物理地址中读取待访问的目标数据；若未在所述地址转换高速缓存中查找到所述待访问物理地址，则基于所述目标虚拟地址在本地内存页表和其他内存页表中并行进行物理地址查找，若查找到所述待访问物理地址，则从所述待访问物理地址中读取待访问的所述目标数据；其中，所述本地内存页表包括存储所述本地内存中的物理地址及对应的虚拟地址间的映射关系的页表；所述其他内存页表包括存储所述其他内存中的物理地址及对应的虚拟地址间的映射关系的页表；所述本地内存包括所述目标节点中与所述目标处理器连接的内存，所述其他内存包括所述目标节点之外的其他节点中与所述目标处理器连接的内存。
[0006]在一示例性实施例中，还包括：获取所述本地内存；获取所述其他内存；对所述本地内存和所述其他内存进行统一编址，得到各个内存的物理地址，以筛选出所述本地内存和所述其他内存中存储第一热度数据的物理地址作为所述目标物理地址，所述热度数据包括满足热访问条件的数据，基于所述目标物理地址及对应的虚拟地址
生成所述地址转换高速缓存，基于所述本地内存中除所述目标物理地址之外的其他物理地址及对应的虚拟地址生成所述本地内存页表，基于所述其他内存中除所述目标物理地址之外的其他物理地址及对应的虚拟地址生成所述其他内存页表。
[0007]在一示例性实施例中，还包括：基于第一内核线程对最后一级缓存、所述地址转换高速缓存、所述本地内存页表和所述其他内存页表进行使用热度监测，得到页面使用冷热图，所述页面使用冷热图中的冷页面存储使用热度低于预设值的虚拟地址及物理地址的映射关系，所述页面使用冷热图中的热页面存储使用热度高于所述预设值的虚拟地址及物理地址的映射关系；按照所述页面使用冷热图，基于第二内核线程将所述本地内存中所述冷页面对应的数据迁移至所述其他内存中，基于所述第二内核线程将所述其他内存中所述热页面对应的数据迁移至所述本地内存中，更新所述地址转换高速缓存、所述本地内存页表和所述其他内存页表中的映射关系；其中，所述最后一级缓存中存储有热度高于所述第一热度数据的第二热度数据。
[0008]在一示例性实施例中，所述本地内存和所述其他内存均由动态随机存取存储器和持久性内存组成。
[0009]在一示例性实施例中，所述基于第二内核线程将所述本地内存中所述冷页面对应的数据迁移至所述其他内存中，包括；若所述其他内存中的所述持久性内存未满，则基于所述第二内核线程将所述本地内存中所述冷页面对应的数据迁移至所述其他内存的所述持久性内存中；若所述其他内存中的所述持久性内存已满，则基于所述第二内核线程将所述本地内存中所述冷页面对应的数据迁移至所述其他内存的所述动态随机存取存储器中。
[0010]在一示例性实施例中，所述基于所述第二内核线程将所述其他内存中所述热页面对应的数据迁移至所述本地内存中，包括：若所述本地内存中的所述动态随机存取存储器未满，则基于所述第二内核线程将所述其他内存中所述热页面对应的数据迁移至所述本地内存的所述动态随机存取存储器中；若所述本地内存中的所述动态随机存取存储器已满，则基于所述第二内核线程将所述其他内存中所述热页面对应的数据迁移至所述本地内存的所述持久性内存中。
[0011]在一示例性实施例中，所述基于所述目标虚拟地址在所述地址转换高速缓存中进行物理地址查找之前，还包括：基于所述目标虚拟地址在所述最后一级缓存中进行数据查找；若在所述最后一级缓存中查找到所述目标数据，则结束查找；若在所述最后一级缓存中未查找到所述目标数据，则执行所述基于所述目标虚拟地址在所述地址转换高速缓存中进行物理地址查找的步骤。
[0012]在一示例性实施例中，所述对所述本地内存和所述其他内存进行统一编址，包括：应用机架基址、节点基址、节点内部硬件地址，对所述本地内存和所述其他内存进行统一编址；所述机架基址包括节点所处机架的基址。
[0013]在一示例性实施例中，所述其他内存包括第一级内存和第二级内存，且所述第一
级内存与所述目标处理器间的距离小于所述第二级内存与所述目标处理器间的距离。
[0014]在一示例性实施例中，所述目标处理器与所述本地内存间通过内存总线相连接。
[0015]在一示例性实施例中，所述目标处理器与所述第一级内存间通过一致性互连协议相连接。
[0016]在一示例性实施例中，所述目标处理器与所述第二级内存间通过自主高速一致性网络协议相接连。
[0017]在一示例性实施例中，所述第一级内存包括与所述目标节点位于同一机架的所述其他节点中的内存。
[0018]在一示例性实施例中，所述第一级内存中包括至少两个内存。
[0019]在一示例性实施例中，所述第二级内存包括与所述目标节点位于不同机架的所述其他节点中的内存。
[0020]在一示例性实施例中，所述第二级内存包括位于同一机架中的至少两个所述其他节点中的内存。
[0021]在一示例性实施例中，所述第二级内存包括位于不同机架中的至少两个所述其他节点中的内存。
[0022]在一示例性实施例中，所述基于第二内核线程将所述本地内存中所述冷页面对应的数据迁移至所述其他内存中，包括：若所述第一级内存未满，则基于所述第二内核线程将所述本地内存中所述冷页面对应的数据迁移至所述第一级内存中；若所述第一级内存已满，则基于所述第二内核线程将所述本地内存中所述冷页面对应的数据迁移至所述第二级内存中。
[0023]根据本专利技术实施例的第二方面，提供一种内存页面管理装置，应用于目标节点中的目标处理器，包括：第一获取模块，用于获取待访问数据的目标虚拟地址；第一查找模块，用于基于所述目标虚拟地址在地址转换高速缓存中进行物理地址查找，所述地址转换高速缓存存储有本地内存和其他内本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种内存页面管理方法，其特征在于，应用于目标节点中的目标处理器，包括：获取待访问数据的目标虚拟地址；基于所述目标虚拟地址在地址转换高速缓存中进行物理地址查找，所述地址转换高速缓存存储有本地内存和其他内存中的目标物理地址及对应的虚拟地址间的映射关系；若在所述地址转换高速缓存中查找到与所述目标虚拟地址对应的待访问物理地址，则从所述待访问物理地址中读取待访问的目标数据；若未在所述地址转换高速缓存中查找到所述待访问物理地址，则基于所述目标虚拟地址在本地内存页表和其他内存页表中并行进行物理地址查找，若查找到所述待访问物理地址，则从所述待访问物理地址中读取待访问的所述目标数据；其中，所述本地内存页表包括存储所述本地内存中的物理地址及对应的虚拟地址间的映射关系的页表；所述其他内存页表包括存储所述其他内存中的物理地址及对应的虚拟地址间的映射关系的页表；所述本地内存包括所述目标节点中与所述目标处理器连接的内存，所述其他内存包括所述目标节点之外的其他节点中与所述目标处理器连接的内存。2.根据权利要求1所述的方法，其特征在于，还包括：获取所述本地内存；获取所述其他内存；对所述本地内存和所述其他内存进行统一编址，得到各个内存的物理地址，以筛选出所述本地内存和所述其他内存中存储第一热度数据的物理地址作为所述目标物理地址，所述热度数据包括满足热访问条件的数据，基于所述目标物理地址及对应的虚拟地址生成所述地址转换高速缓存，基于所述本地内存中除所述目标物理地址之外的其他物理地址及对应的虚拟地址生成所述本地内存页表，基于所述其他内存中除所述目标物理地址之外的其他物理地址及对应的虚拟地址生成所述其他内存页表。3.根据权利要求2所述的方法，其特征在于，还包括：基于第一内核线程对最后一级缓存、所述地址转换高速缓存、所述本地内存页表和所述其他内存页表进行使用热度监测，得到页面使用冷热图，所述页面使用冷热图中的冷页面存储使用热度低于预设值的虚拟地址及物理地址的映射关系，所述页面使用冷热图中的热页面存储使用热度高于所述预设值的虚拟地址及物理地址的映射关系；按照所述页面使用冷热图，基于第二内核线程将所述本地内存中所述冷页面对应的数据迁移至所述其他内存中，基于所述第二内核线程将所述其他内存中所述热页面对应的数据迁移至所述本地内存中，更新所述地址转换高速缓存、所述本地内存页表和所述其他内存页表中的映射关系；其中，所述最后一级缓存中存储有热度高于所述第一热度数据的第二热度数据。4.根据权利要求3所述的方法，其特征在于，所述本地内存和所述其他内存均由动态随机存取存储器和持久性内存组成。5.根据权利要求4所述的方法，其特征在于，所述基于第二内核线程将所述本地内存中所述冷页面对应的数据迁移至所述其他内存中，包括；若所述其他内存中的所述持久性内存未满，则基于所述第二内核线程将所述本地内存中所述冷页面对应的数据迁移至所述其他内存的所述持久性内存中；若所述其他内存中的所述持久性内存已满，则基于所述第二内核线程将所述本地内存
中所述冷页面对应的数据迁移至所述其他内存的所述动态随机存取存储器中。6.根据权利要求4所述的方法，其特征在于，所述基于所述第二内核线程将所述其他内存中所述热页面对应的数据迁移至所述本地内存中，包括：若所述本地内存中的所述动态随机存取存储器未满，则基于所述第二内核线程将所述其他内存中所述热页面对应的数据迁移至所述本地内存的所述动态随机存取存储器中；若所述本地内存中的所述动态随机存取存储器已满，则基于所述第二内核线程将所述其他内存中所述热页面对应的数据迁移至所述本地内存的所述持久性内存中。7.根据权利要求3所述的方法，其特征在于，所述基于所述目标虚拟地址在所述地址转换高速缓存中进行物理地址查找之前，还包括：基于所述目标虚拟地址在所述最后一级缓存中进行数据查找；若在所述最后一级缓存中查找到所述目标数据，则结束查找；若在所述最后一级缓存中未查找到所述目标数据，则执行所述基于所述目标虚拟地址在所述地址转换高速缓存中进行物理地址查找的步骤。8.根据权利要求3所述的方法，其特征在于，所述对所述本地内存和所述其他内存进行统一编址，包括：应用机架基址、节点基址、节点内部硬件地址，对所述本地内存和所述其他内存进行统一编址；所述机架基址包括节点所处机架的基址。9.根据权利要求3所述的方法，其特征在于，所述其他内存包括第一级内存和第二级内存，且所述第一级内...

【专利技术属性】
技术研发人员：赵雅倩，曹芳，郭振华，王丽，高开，
申请(专利权)人：浪潮电子信息产业股份有限公司，
类型：发明
国别省市：