显卡通信方法技术

本发明专利技术提供显卡通信方法

【技术实现步骤摘要】
显卡通信方法、装置、显卡设备、主机设备、系统及介质


[0001]本专利技术涉及显卡间通信领域，特别涉及一种显卡通信方法
、
装置
、
显卡设备
、
主机设备
、
系统及介质
。

技术介绍

[0002]显卡设备
(GPU
，
Graphics Processing Unit)
是一种可部署运行机器学习模型的通用计算设备
。
相关技术中，在使用多个显卡设备执行机器学习模型中的推理计算步骤时，通常需要进行显卡设备间通信，以交换中间结果
。
然而，现有的显卡设备间通信方法存在通信速度较慢
、
显卡设备间冗余路径较多的缺陷，严重影响显卡设备间通信的效率，进而容易影响推理计算步骤的执行效率
。

技术实现思路

[0003]本专利技术的目的是提供一种显卡通信方法
、
装置
、
显卡设备
、
主机设备
、
系统及介质，显卡设备可经过其设备中专属的通信模块与另一目标显卡设备进行通信，从而可降低显卡设备间通信链路的冗余程度，并可提升显卡设备间通信的速率
。
[0004]为解决上述技术问题，本专利技术提供一种显卡通信方法，应用于显卡设备，所述方法包括：
[0005]在接收到主机设备下发的控制指令时，从所述显卡设备的存储器中读取主机设备下发的内核任务
、
内核任务参数及数据传输任务标志位；
[0006]当确定所述数据传输任务标志位处于有效状态时，确定所述内核任务参数为数据传输参数，利用所述数据传输参数并经过所述显卡设备中的通信模块与目标显卡设备进行数据传输，或利用所述数据传输参数
、
所述内核任务并经过所述显卡设备中的通信模块与所述目标显卡设备进行数据传输
。
[0007]可选地，所述数据传输任务标志位为数据发送任务标志位，所述数据传输参数包含通信信息
、
源地址及数据发送长度，所述利用所述数据传输参数并经过所述显卡设备中的通信模块与目标显卡设备进行数据传输，包括：
[0008]将预设目的地址整合至所述数据传输参数，并将整合后的数据传输参数写入寄存器组；
[0009]控制所述通信模块从所述寄存器组中读取所述数据传输参数，以使所述通信模块从所述存储器中读取位于所述源地址的
、
长度为所述数据发送长度的待发送数据，并根据所述通信信息将所述待发送数据发送至所述预设目的地址在所述目标显卡设备的存储器中对应的位置
。
[0010]可选地，所述寄存器组为控制状态寄存器组
。
[0011]可选地，所述将整合后的数据传输参数写入寄存器组，包括：
[0012]利用读后写控制状态寄存器指令将各所述数据传输参数写入所述控制状态寄存器组中对应的控制状态寄存器；
[0013]所述控制所述通信模块从所述寄存器组中读取所述数据传输参数，包括：
[0014]控制所述通信模块利用读后置位控制状态寄存器指令从所述控制状态寄存器组的各控制状态寄存器中读取各所述数据传输参数
。
[0015]可选地，所述读后写控制状态寄存器指令及所述读后置位控制状态寄存器指令由代码文件中对应的内联汇编函数编译得到
。
[0016]可选地，所述控制所述通信模块从所述寄存器组中读取所述数据传输参数，包括：
[0017]确定所述控制状态寄存器组中存放有效位的目标控制状态寄存器；
[0018]将所述目标控制状态寄存器中的有效位修改为有效状态，以使所述通信模块在检测到所述有效位为有效状态时，从所述控制状态寄存器组中读取所述数据传输参数
。
[0019]可选地，所述将预设目的地址整合至所述数据传输参数，并将整合后的数据传输参数写入寄存器组，包括：
[0020]利用核心编号为指定编号的计算核心将预设目的地址整合至所述数据传输参数，并将整合后的数据传输参数写入寄存器组；
[0021]所述控制所述通信模块从所述寄存器组中读取所述数据传输参数，包括：
[0022]利用所述核心编号为所述指定编号的计算核心控制所述通信模块从所述寄存器组中读取所述数据传输参数
。
[0023]可选地，在根据所述通信信息将所述待发送数据发送至所述预设目的地址在所述目标显卡设备的存储器中对应的指定位置之后，还包括：
[0024]在完成对所述待发送数据的发送时，控制所述通信模块向所述目标显卡设备发送处于有效状态的数据发送结束标志位，以使所述目标显卡设备确定数据发送完成
。
[0025]可选地，在根据所述通信信息将所述待发送数据发送至所述预设目的地址在所述目标显卡设备的存储器中对应的指定位置之后，还包括：
[0026]在完成对所述待发送数据的发送时，将所述数据发送任务标志位调整为无效状态
。
[0027]可选地，所述数据传输任务标志位为数据接收任务标志位，所述数据传输参数包含数据接收地址及数据接收长度，所述利用所述数据传输参数
、
所述内核任务并经过所述显卡设备中的通信模块与所述目标显卡设备进行数据传输，包括：
[0028]执行所述内核任务，以将位于所述存储器中指定位置的
、
长度为所述数据接收长度的已接收数据迁移至所述数据接收地址在所述存储器中对应的位置；所述已接收数据由所述目标显卡设备发送
、
由本端的通信模块接收并由本端的通信模块写入所述指定位置
。
[0029]可选地，在执行所述内核任务之前，还包括：
[0030]从所述存储器中读取数据发送结束标志位；
[0031]当确定所述数据发送结束标志位处于有效状态时，执行所述内核任务；
[0032]当确定所述数据发送结束标志位处于无效状态时，等待所述目标显卡设备通过本端的通信模块将所述数据发送结束标志位修改为有效状态
。
[0033]可选地，还包括：
[0034]在完成所述内核任务时，将所述数据接收任务标志位调整为无效状态
。
[0035]可选地，所述从所述显卡设备的存储器中读取主机设备下发的内核任务，包括：
[0036]从所述显卡设备的存储器中读取所述主机设备下发的指令文件；所述指令文件利
用所述内核任务及运行时库编译得到，所述指令文件中包含的指令用于执行所述当确定所述数据传输任务标志位处于有效状态时，确定所述内核任务参数为数据传输参数，利用所述数据传输参数并经过所述显卡设备中的通信模块与目标显卡设备进行数据传输，或利用所述数据传输参数
、
所述内核任务并经过所述显卡设备中的通信模块与所述目标显卡设备进行数据传输的步骤
。
[0037]本专利技术还提供一种显卡通信方法，应用于主机设备，所述方法包括：本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种显卡通信方法，其特征在于，应用于显卡设备，所述方法包括：在接收到主机设备下发的控制指令时，从所述显卡设备的存储器中读取主机设备下发的内核任务
、
内核任务参数及数据传输任务标志位；当确定所述数据传输任务标志位处于有效状态时，确定所述内核任务参数为数据传输参数，利用所述数据传输参数并经过所述显卡设备中的通信模块与目标显卡设备进行数据传输，或利用所述数据传输参数
、
所述内核任务并经过所述显卡设备中的通信模块与所述目标显卡设备进行数据传输
。2.
根据权利要求1所述的显卡通信方法，其特征在于，所述数据传输任务标志位为数据发送任务标志位，所述数据传输参数包含通信信息
、
源地址及数据发送长度，所述利用所述数据传输参数并经过所述显卡设备中的通信模块与目标显卡设备进行数据传输，包括：将预设目的地址整合至所述数据传输参数，并将整合后的数据传输参数写入寄存器组；控制所述通信模块从所述寄存器组中读取所述数据传输参数，以使所述通信模块从所述存储器中读取位于所述源地址的
、
长度为所述数据发送长度的待发送数据，并根据所述通信信息将所述待发送数据发送至所述预设目的地址在所述目标显卡设备的存储器中对应的位置
。3.
根据权利要求2所述的显卡通信方法，其特征在于，所述寄存器组为控制状态寄存器组
。4.
根据权利要求3所述的显卡通信方法，其特征在于，所述将整合后的数据传输参数写入寄存器组，包括：利用读后写控制状态寄存器指令将各所述数据传输参数写入所述控制状态寄存器组中对应的控制状态寄存器；所述控制所述通信模块从所述寄存器组中读取所述数据传输参数，包括：控制所述通信模块利用读后置位控制状态寄存器指令从所述控制状态寄存器组的各控制状态寄存器中读取各所述数据传输参数
。5.
根据权利要求4所述的显卡通信方法，其特征在于，所述读后写控制状态寄存器指令及所述读后置位控制状态寄存器指令由代码文件中对应的内联汇编函数编译得到
。6.
根据权利要求4所述的显卡通信方法，其特征在于，所述控制所述通信模块从所述寄存器组中读取所述数据传输参数，包括：确定所述控制状态寄存器组中存放有效位的目标控制状态寄存器；将所述目标控制状态寄存器中的有效位修改为有效状态，以使所述通信模块在检测到所述有效位为有效状态时，从所述控制状态寄存器组中读取所述数据传输参数
。7.
根据权利要求2所述的显卡通信方法，其特征在于，所述将预设目的地址整合至所述数据传输参数，并将整合后的数据传输参数写入寄存器组，包括：利用核心编号为指定编号的计算核心将所述预设目的地址整合至所述数据传输参数，并将整合后的数据传输参数写入寄存器组；所述控制所述通信模块从所述寄存器组中读取所述数据传输参数，包括：利用所述核心编号为所述指定编号的计算核心控制所述通信模块从所述寄存器组中读取所述数据传输参数
。
8.
根据权利要求2所述的显卡通信方法，其特征在于，在根据所述通信信息将所述待发送数据发送至所述预设目的地址在所述目标显卡设备的存储器中对应的指定位置之后，还包括：在完成对所述待发送数据的发送时，控制所述通信模块向所述目标显卡设备发送处于有效状态的数据发送结束标志位，以使所述目标显卡设备确定数据发送完成
。9.
根据权利要求2所述的显卡通信方法，其特征在于，在根据所述通信信息将所述待发送数据发送至所述预设目的地址在所述目标显卡设备的存储器中对应的指定位置之后，还包括：在完成对所述待发送数据的发送时，将所述数据发送任务标志位调整为无效状态
。10.
根据权利要求1所述的显卡通信方法，其特征在于，所述数据传输任务标志位为数据接收任务标志位，所述数据传输参数包含数据接收地址及数据接收长度，所述利用所述数据传输参数
、
所述内核任务并经过所述显卡设备中的通信模块与所述目标显卡设备进行数据传输，包括：执行所述内核任务，以将位于所述存储器中指定位置的
、
长度为所述数据接收长度的已接收数据迁移至所述数据接收地址在所述存储器中对应的位置；所述已接收数据由所述目标显卡设备发送
、
由本端的通信模块接收并由本端的通信模块写入所述指定位置
。11.
根据权利要求
10
所述的显卡通信方法，其特征在于，在执行所述内核任务之前，还包括：从所述存储器中读取数据发送结束标志位；当确定所述数据发送结束标志位处于有效状态时，执行所述内核任务；当确定所述数据发送结束标志位处于无效状态时，等待所述目标显卡设备通过本端的通信模块将所述数据发送结束标志位修改为有效状态
。12.
根据权利要求
10
所述的显卡通信方法，其特征在于，还包括：在完成所述内核任务时，将所述数据接收任务标志位调整为无效状态
。13.
根据权利要求1至
12
任一项所述的显卡通信方法，其特征在于，所述从所述显卡设备的存储器中读取主机设备下发的内核任务，包括：从所述显卡设备的存储器中读取所述主机设备下发的指令文件；所述指令文件利用所述内核任务及运行时库编译得到，所述指令文件中包含的指令用于执行所述当确定所述数据传输任务标志位处于有效状态时，确定所述内核任务参数为数据传输参数，利用所述数据传输参数并经过所述通信模块与目标显卡设备进行数据传输，或利用所述数据传输参数
、
所述内核任务并经过所述显卡设...

【专利技术属性】
技术研发人员：肖麟阁，郝锐，阚宏伟，
申请(专利权)人：广东浪潮智慧计算技术有限公司，
类型：发明
国别省市：