一种数据处理方法、系统、装置、设备、介质及产品制造方法及图纸

技术编号:41799768 阅读:37 留言:0更新日期:2024-06-24 20:22
本发明专利技术公开了一种数据处理方法、系统、装置、设备、介质及产品,涉及通信技术领域。负载的计算资源(硬件加速器)由开放性互联协议单独传输至DPU,无需仅通过CPU和网卡这样的传输途径,这样计算资源和存储资源各自占用一条传输途径,使得CPU的带宽利用率提高,同时为其他存储资源的负载提供更多的带宽利用,也节省CPU的计算资源。另外,基于开放式互联协议进行数据传输,在DPU内获取信息的带宽和时延显著提升。同时,硬件加速器和CPU各自的传输途径,使得不支持开放式互联协议的部件依旧可以采用原有的CPU进行通信传输,进而保证足够的设备兼容性。

【技术实现步骤摘要】

本专利技术涉及通信,特别是涉及一种数据处理方法、系统、装置、设备、介质及产品


技术介绍

1、算力感知是网络对算力资源和算力服务的部署位置、实时状态、负载信息、业务需求的全面感知。通过无所不在的网络连接分布式的计算节点,实现服务的自动化部署、最优路由和负载均衡,从而构建可以感知算力的全新网络基础设施,保证网络能够按需、实时调度不同位置的计算资源,提高网络和计算资源利用率。

2、当前的算力感知网络,采用中央处理器(central processing unit,cpu)和单个图形处理器(graphics processing unit,gpu)或者单个现场可编程门阵列(fieldprogrammable gate array,fpga)进行通信,所有的数据和网卡之间的交互过程,均通过cpu实现,由于gpu或者fpga等这样的负载对应的计算资源在cpu和网卡之间的传输占用较多的带宽,导致cpu和网卡之间传输时,剩余的带宽利用率降低。

3、因此,如何提高cpu的带宽利用率和节省cpu的计算资源是本领域技术人员亟需要解决的。


...

【技术保护点】

1.一种数据处理方法,其特征在于,应用于计算节点,所述计算节点包括DPU、硬件加速器、存储器和中央处理器;所述存储器与所述中央处理器连接;所述中央处理器和所述硬件加速器均通过开放性互联协议与所述DPU连接;所述DPU用于接收所述中央处理器的算力信息和所述硬件加速器的算力信息;包括:

2.根据权利要求1所述的数据处理方法,其特征在于,所述硬件加速器至少为图形处理器、现场可编程逻辑门阵列和专用集成电路的一种或者多种。

3.根据权利要求1所述的数据处理方法,其特征在于,所述第一数据包由所述硬件加速器的算力信息和/或所述中央处理器的算力信息基于开放性互联协议传输至所述DP...

【技术特征摘要】

1.一种数据处理方法,其特征在于,应用于计算节点,所述计算节点包括dpu、硬件加速器、存储器和中央处理器;所述存储器与所述中央处理器连接;所述中央处理器和所述硬件加速器均通过开放性互联协议与所述dpu连接;所述dpu用于接收所述中央处理器的算力信息和所述硬件加速器的算力信息;包括:

2.根据权利要求1所述的数据处理方法,其特征在于,所述硬件加速器至少为图形处理器、现场可编程逻辑门阵列和专用集成电路的一种或者多种。

3.根据权利要求1所述的数据处理方法,其特征在于,所述第一数据包由所述硬件加速器的算力信息和/或所述中央处理器的算力信息基于开放性互联协议传输至所述dpu,并进行算力网络处理得到。

4.根据权利要求3所述的数据处理方法,其特征在于,基于开放性互联协议将所述硬件加速器的算力信息和/或所述中央处理器的算力信息传输至所述dpu,包括:

5.根据权利要求4所述的数据处理方法,其特征在于,算力信息的流向类型的确定过程,包括:

6.根据权利要求4所述的数据处理方法,其特征在于,将算力信息设定在所述协议传输单元的用于表征请求响应消息对应的数据块的数据槽内,包括:

7.根据权利要求6所述的数据处理方法,其特征在于,根据算力信息的来源确定算力信息的算力服务标识类型,包括:

8.根据权利要求1至7任意一项所述的数据处理方法,其特征在于,将第一算力信息进行封装得到符合任意两个节点之间传输的数据帧形式对应的第二数据包,包括:

9.根据权利要求8所述的数据处理方法,其特征在于,将所述算力感知信息进行封装得到符合任意两个节点之间传输的数据帧形式对应的第二数据包,包括:

10.根据权利要求8所述的数据处理方法,其特征在于,将所述算力感知信息进行封装得到符合任意两个节点之间传输的数据帧形式对应的第二数据包,包括:

11.根据权利要求9所述数据处理方法,其特征在于,所述第一数据帧的结构至少包括协议报头、网际互连协议报头、用户数据报协议报头、无限带宽协议报头、数据空间和循环冗余校验码;其中,所述数据空间包括所述算力感知信息对应的数据空间和压缩后的有效载荷数据的数据空间。

12.根据权利要求11所述的数据处理方法,其特征在于,所述协议报头为以太网协议报头,所述第一数据帧为基于以太网的远程直接数据存取技术的数据帧。

13.一种数据处理方法,其特征在于,应用于路由节点,所述路由节点包括dpu、硬件加速器、存储器和中央处理器;所述存储器与所述中央处理器连接;所述中央处理器和所述硬件加速器均通过开放性互联协议与所述dpu...

【专利技术属性】
技术研发人员:黄伟王彦伟李仁刚
申请(专利权)人:浪潮北京电子信息产业有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1