命令下发方法、装置、处理设备、计算机设备及存储介质制造方法及图纸

本公开提供一种命令下发方法、装置、处理设备、计算机设备及存储介质，其中方法包括：根据待下发到处理设备进行处理的多个命令，生成至少一个命令流；其中，每个所述命令流中包括至少一个命令；将所述至少一个命令流插入到缓冲器中；通过与所述处理设备间的通信链路，将所述缓冲器中的至少一个命令流传输至所述处理设备。以减轻主机与处理设备之间的通信开销，提高主机的调度效率。提高主机的调度效率。提高主机的调度效率。

【技术实现步骤摘要】
命令下发方法、装置、处理设备、计算机设备及存储介质


[0001]本公开涉及计算机
，具体涉及一种命令下发方法、装置、处理设备、计算机设备及存储介质。

技术介绍

[0002]在深度学习领域，AI芯片如同GPU一样，通常作为主机/CPU的加速卡。其中，AI芯片或GPU可称为处理设备，由主机进行调度和控制。
[0003]随着人工智能(AI)的广泛使用，深度学习的模型和数据量不断增大。主机对处理设备进行调度和控制时，不仅需要传输大量的数据，还需要频繁下发操作命令。这使得主机与处理设备之间的通信链路经常触及通信瓶颈，通信链路的通信开销过大，导致主机调度效率低下。

技术实现思路

[0004]本公开提供了一种命令下发方法、装置、处理设备、计算机设备及存储介质。
[0005]根据本公开实施例的第一方面，提供一种命令下发方法，所述方法包括：根据待下发到处理设备进行处理的多个命令，生成至少一个命令流；其中，每个所述命令流中包括至少一个命令；将所述至少一个命令流插入到缓冲器中；通过与所述处理设备间的通信链路，将所述缓冲器中的至少本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种命令下发方法，其特征在于，所述方法包括：根据待下发到处理设备进行处理的多个命令，生成至少一个命令流；其中，每个所述命令流中包括至少一个命令；将所述至少一个命令流插入到缓冲器中；通过与所述处理设备间的通信链路，将所述缓冲器中的至少一个命令流传输至所述处理设备。2.根据权利要求1所述的方法，其特征在于，所述通过与所述处理设备间的通信链路，将所述缓冲器中的至少一个命令流传输至所述处理设备，包括：在所述缓冲器中包括至少两个命令流的情况下，通过所述通信链路的一次通信，将所述至少两个命令流传输至所述处理设备。3.根据权利要求1或2所述的方法，其特征在于，所述将所述至少一个命令流插入到缓冲器中之后，还包括：更新所述缓冲器的写指针，所述写指针用于表示对所述缓冲器进行写操作的当前位置；通过所述通信链路，将更新后的写指针的指针信息发送至所述处理设备，以由所述处理设备更新处理设备侧的写指针副本。4.根据权利要求1或2所述的方法，其特征在于，所述将所述至少一个命令流插入到缓冲器中之后，还包括：更新所述缓冲器的写指针，所述写指针用于表示对所述缓冲器进行写操作的当前位置；在所述缓冲器的写指针更新次数达到预设次数的情况下，通过所述通信链路，将最后更新的写指针的指针信息发送至所述处理设备，以由所述处理设备更新处理设备侧的写指针副本。5.根据权利要求1至4中任一项所述的方法，其特征在于，所述方法还包括:接收所述处理设备通过所述通信链路发送的读指针的指针信息，所述读指针用于表示对所述缓冲器进行读操作的当前位置；根据所述读指针的指针信息，更新主机侧的读指针副本。6.根据权利要求1至5中任一项所述的方法，其特征在于，所述通信链路是高速串行计算机扩展总线标准PCI
‑
Express链路。7.一种命令下发方法，其特征在于，所述方法包括：通过与主机间的通信链路，从主机侧的缓冲器中拉取至少一个命令流；将拉取的所述至少一个命令流读取到本地的流队列中，所述流队列用于存储待执行的命令流。8.根据权利要求7所述的方法，其特征在于，所述通过与主机间的通信链路，从主机侧的缓冲器中拉取至少一个命令流，包括：在所述主机侧的缓冲器中包括至少两个命令流的情况下，通过所述通信链路的一次通信，从所述主机侧的缓冲器中拉取所述至少两个命令流。9.根据权利要求7或8所述的方法，其特征在于，所述将拉取的所述至少一个命令流读取到本地的流队列中，包括：
在从所述主机侧的缓冲器中拉取多个命令流的情况下，将所述多个命令流分别读取到本地不同的流队列中；所述方法还包括：并行执行所述本地不同的流队列中的命令流。10.根据权利要求7至9中任一项所述的方法，其特征在于，所述方法还包括：接收主机通过所述通信链路发送的写指针的指针信息；根据所述写指针的指针信息，更新处理设备侧的写指针副本。11.根据权利要求7至10中任一项所述的方法，其特征在于，所述从主机侧的缓冲器中拉取至少一个命令...

【专利技术属性】
技术研发人员：冷祥纶，孙海涛，
申请(专利权)人：上海阵量智能科技有限公司，
类型：发明
国别省市：