一种GPU板卡、GPU互连系统及地址转换方法技术方案

本申请实施例提供一种GPU板卡、GPU互连系统及地址转换方法，所述GPU板卡上包括：显存，至少用于存储属于本GPU板卡的页表数据；页表缓存及地址转换模块，被配置为缓存来自于GPU互连系统包括的除所述本板卡以外的其它GPU板卡的页表数据，并在需要访问所述其它板卡时根据所述其它GPU板卡的页表数据完成地址转换。本申请的一些实施例通过在互连的GPU板卡上引入了页表缓存及地址转换模块RMMU，实现GPU页表在各GPU板卡间自动更新和同步，避免了在各个GPU板卡上的显存上“到处”建页表的问题，本申请的一些实施例还通过页表缓存及地址转换模块RMMU实现页表缓存功能，有效解除了板卡间的强依赖关系，让多卡系统变得简单灵活。让多卡系统变得简单灵活。让多卡系统变得简单灵活。

【技术实现步骤摘要】
一种GPU板卡、GPU互连系统及地址转换方法


[0001]本申请地址翻译领域，具体而言本申请实施例涉及一种GPU板卡、GPU互连系统及地址转换方法。

技术介绍

[0002]为满足日益增长的算力需求，系统中通常需要配置多张GPU板块，板卡间多采用专用的高速链接互联组成GPU互连系统，通过高速链接可以实现GPU间的高速访问，降低延迟。GPU互连系统上的一个GPU板卡访问另一个GPU板卡的过程称之为peer to peer访问，简称P2P。按P2P访问时发出的地址类型分类，可将地址翻译过程分为本地地址翻译和远端地址翻译。

技术实现思路

[0003]本申请实施例的目的在于提供一种GPU板卡、GPU互连系统及地址转换方法，本申请的一些实施例通过在互连的GPU板卡上引入了页表缓存及地址转换模块RMMU，实现GPU页表在各GPU板卡间自动更新和同步，避免了在各个GPU板卡上的显存上“到处”建页表的问题，本申请的一些实施例还通过页表缓存及地址转换模块RMMU实现页表缓存功能，有效解除了板卡间的强依赖关系，让多卡系统变得简单灵活。
[0004]第一方面，本申请实施例提供一种GPU板卡，所述GPU板卡上包括：显存，至少用于存储属于本GPU板卡的页表数据；页表缓存及地址转换模块，被配置为缓存来自于GPU互连系统包括的除所述本板卡以外的其它GPU板卡的页表数据，并在需要访问所述其它板卡时根据所述其它GPU板卡的页表数据完成地址转换。
[0005]本申请的一些实施例通过引入页表缓存及地址转换模块RMMU来动态缓存其他GPU板卡的页表数据，RMMU模块实现GPU页表在各板卡间自动更新和同步，可以在本地完成地址翻译过程，有效解决了在每个板卡的显存上重复建页表和板卡间的依赖问题。
[0006]在一些实施例中，所述GPU板卡还包括：内存管理模块，被配置为若需要所述显存数据时根据所述显存上存储的页表数据完成地址转换。
[0007]本申请的一些实施例还在每个GPU板卡上设置内存管理模块MMU，通过该模块提供的地址转换功能可以访问本GPU板上的显存。
[0008]在一些实施例中，所述GPU板卡还包括：GPU，被配置为执行运算并生成用于访问所述显存或者访问所述其它GPU板卡上显存的虚拟地址；其中，所述页表缓存及地址转换模块被配置为根据所述虚拟地址完成地址转换，或者，所述内存管理模块被配置为根据所述虚拟地址完成地址转换。
[0009]本申请的一些实施例在每个GPU板卡上还设置图像处理器GPU，通过执行该处理器生成的携带有虚拟地址的指令完成相关的显示操作。
[0010]在一些实施例中，所述GPU板卡和所述其它GPU板卡之间是独立调度的。
[0011]本申请一些实施例的GPU互连系统中的各GPU板卡之间被独立调度。
[0012]第二方面，本申请的一些实施例提供一种GPU互连系统，所述GPU互连系统包括多个互连GPU板卡，其中，所述多个互连GPU板卡上的每个GPU板卡包括：显存，用于存储属于本板卡的页表数据；页表缓存及地址转换模块，被配置为缓存来自于GPU互连系统包括的除所述本板卡以外的其它GPU板卡的页表数据，并在需要访问所述其它板卡时根据所述其它GPU板卡的页表数据完成地址转换。
[0013]在一些实施例中，所述每个GPU板卡还包括：内存管理模块，被配置为若需要所述显存数据时根据所述显存上存储的页表数据完成地址转换。
[0014]在一些实施例中，所述每个GPU板卡还包括：GPU，被配置为执行运算并生成用于访问所述显存或者访问所述其它GPU板卡上显存的虚拟地址；其中，所述页表缓存及地址转换模块被配置为根据所述虚拟地址完成地址转换，或者，所述内存管理模块被配置为根据所述虚拟地址完成地址转换。
[0015]在一些实施例中，所述GPU互连系统中的不同板卡之间是独立调度的。
[0016]第三方面，本申请的一些实施例提供一种地址转换方法，应用于GPU互连系统中且所述GPU互连系统包括多个GPU板卡，所述地址转换方法包括：若确认所述GPU互连系统的第一GPU板卡需要访问所述GPU互连系统的第二GPU板卡时，则向所述第一GPU板卡上的第一页表缓存及地址转换模块发送地址转换请求，其中，所述地址转换请求用于携带待转换虚拟地址；若确认所述第一页表缓存及地址转换模块中存储有与所述待转换虚拟地址对应的页表项，则根据所述页表项将所述待转换虚拟地址转换为物理地址，其中，所述第一GPU板卡通过所述物理地址访问位于所述第二GPU板卡上的显存。
[0017]在一些实施例中，所述地址转换方法还包括：若确认所述第一页表缓存及地址转换模块中未存储与所述待转换虚拟地址对应的页表项，则向所述第二GPU板卡上的第二页表缓存及地址转换模块发送所述地址转换请求；接收由所述第二页表缓存及地址转换模块从所述第二GPU板卡上的第二显存中读取的包含所述页表项的页表并将所述页表存入所述第一页表缓存及地址转换模块；根据所述页表中的所述页表项将所述待转换虚拟地址转换为物理地址，其中，所述第一GPU板卡通过所述物理地址访问位于所述第二GPU板卡上的显存。
[0018]第四方面，本申请的一些实施例提供一种电子设备，所述电子设备包括如第一方面任意实施例所述的GPU板卡。
[0019]第五方面，本申请的一些实施例提供一种电子设备，所述电子设备包括如第二方面任意实施例所述的GPU互连系统。
附图说明
[0020]为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0021]图1为本申请实施例提供的相关技术的本地地址翻译方法示意图；
[0022]图2为本申请实施例提供的相关技术的远端地址翻译方法示意图；
[0023]图3为本申请实施例提供的本地地址翻译方法和远端地址翻译方法的缺陷产生的
示意图；
[0024]图4为本申请实施例提供的GPU互连系统的组成示意图；
[0025]图5为本申请实施例提供的地址转换方法的流程图。
具体实施方式
[0026]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
[0027]应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0028]请参看图1，图1为本申请一些实施例提供的相关技术中披露的GPU互连系统上的两种地址翻译的过程，图1中的block
‑
a为第一GPU板卡GPU1内部一个功能模块且图1的各GPU板卡模块均可以发起P2P访问。图1的第一GPU板卡上的内存管理装置M本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种GPU板卡，其特征在于，所述GPU板卡上包括：显存，用于存储属于本GPU板卡的页表数据；页表缓存及地址转换模块，被配置为缓存来自于GPU互连系统包括的除所述本板卡以外的其它GPU板卡的页表数据，并在需要访问所述其它板卡时根据所述其它GPU板卡的页表数据完成地址转换。2.如权利要求1所述的GPU板卡，其特征在于，所述GPU板卡还包括：内存管理模块，被配置为若需要所述显存数据时根据所述显存上存储的页表数据完成地址转换。3.如权利要求1
‑
2任一项所述的GPU板卡，其特征在于，所述GPU板卡还包括：GPU，被配置为执行运算并生成用于访问所述显存或者访问所述其它GPU板卡上显存的虚拟地址；其中，所述页表缓存及地址转换模块被配置为根据所述虚拟地址完成地址转换，或者，所述内存管理模块被配置为根据所述虚拟地址完成地址转换。4.如权利要求1所述的GPU板卡，其特征在于，所述GPU板卡和所述其它GPU板卡之间是独立调度的。5.一种GPU互连系统，其特征在于，所述GPU互连系统包括多个互连GPU板卡，其中，所述多个互连GPU板卡上的每个GPU板卡包括：显存，用于存储属于本板卡的页表数据；页表缓存及地址转换模块，被配置为缓存来自于GPU互连系统包括的除所述本板卡以外的其它GPU板卡的页表数据，并在需要访问所述其它板卡时根据所述其它GPU板卡的页表数据完成地址转换。6.如权利要求5所述的GPU互连系统，其特征在于，所述每个GPU板卡还包括：内存管理模块，被配置为若需要所述显存数据时根据所述显存上存储的页表数据完成地址转换。7.如权利要求5所述的GPU互连系统，其特征在于，所述每个GPU板卡还包括：GPU，被配置为执行运算并生成用于访问所述显存或者访问所述其它GPU板卡上显存的虚拟地址；其中，...

【专利技术属性】
技术研发人员：叶敬茂，郑成根，
申请(专利权)人：上海天数智芯半导体有限公司，
类型：发明
国别省市：