电路板、计算系统、计算机柜和计算方法技术方案

技术编号:45536458 阅读:15 留言:0更新日期:2025-06-13 17:37
本申请提供了一种电路板、计算系统、计算机柜和计算方法,可以应用于人工智能技术领域。该电路板包括:交换单元;加速卡单元,连接至交换单元,加速卡单元的第一内存用于存储第一专家模型的第一模型参数;扩展存储单元,连接至交换单元,扩展存储单元用于存储第二专家模型的第二模型参数;第一专家模型的调用频次和第二专家模型的调用频次不同;监测单元连接至加速卡单元,并经由多个总线连接至第一控制设备;多个总线的数据传输速度不同。该电路板可以充分发挥加速卡单元的算力,进而在无需增加电路板的情况下提高服务器的算力,节省了资源消耗,并且可以提高调度资源的及时性,提高调度资源的效率。

【技术实现步骤摘要】

本申请涉及人工智能,具体地涉及一种电路板、计算系统、计算机柜和计算方法


技术介绍

1、当今正处于人工智能技术高速发展的时代,大模型的高速发展对服务器的算力提出了相比于以往更高的要求。然而,相关技术中主要是通过增加图形处理器(graphicprocessing unit,gpu)等方式增加算力。此种方式消耗的资源较多,调度服务器资源的及时性较差、效率较低,制约了人工智能技术的发展。


技术实现思路

1、鉴于上述问题,本申请提供了一种电路板、计算系统、计算机柜和计算方法。

2、根据本申请的第一个方面,提供了一种电路板,包括:交换单元;加速卡单元,连接至交换单元,加速卡单元的第一内存用于存储第一专家模型的第一模型参数;扩展存储单元,连接至交换单元,扩展存储单元用于存储第二专家模型的第二模型参数;第一专家模型的调用频次和第二专家模型的调用频次不同;监测单元连接至加速卡单元,并经由多个总线连接至第一控制设备;多个总线的数据传输速度不同,以使得监测单元能以不同传输速度向第一控制设备传输加速卡单元调用不同专家模本文档来自技高网...

【技术保护点】

1.一种电路板,其特征在于,包括:

2.根据权利要求1所述的电路板,其特征在于,

3.根据权利要求2所述的电路板,其特征在于,

4.根据权利要求3所述的电路板,其特征在于,

5.根据权利要求4所述的电路板,其特征在于,在所述加速卡单元的第一模型处理流程中,所述第一内存用于存储所述第一模型参数,所述扩展存储单元用于存储所述第二模型参数;

6.根据权利要求5所述的电路板,其特征在于,还包括:

7.根据权利要求6所述的电路板,其特征在于,所述控制单元还用于:

8.根据权利要求7所述的电路板,其特征在于,所述控制...

【技术特征摘要】

1.一种电路板,其特征在于,包括:

2.根据权利要求1所述的电路板,其特征在于,

3.根据权利要求2所述的电路板,其特征在于,

4.根据权利要求3所述的电路板,其特征在于,

5.根据权利要求4所述的电路板,其特征在于,在所述加速卡单元的第一模型处理流程中,所述第一内存用于存储所述第一模型参数,所述扩展存储单元用于存储所述第二模型参数;

6.根据权利要求5所述的电路板,其特征在于,还包括:

7.根据权利要求6所述的电路板,其特征在于,所述控制单元还用于:

8.根据权利要求7所述的电路板,其特征在于,所述控制单元,还用于:

9.根据权利要求6~8中任一所述的电路板,其特征在于,所述控制单元的第二内存用于存储第三专家模型的第三模型参数;

10.根据权利要求9所述的电路板,其特征在于,所述第一专家模型的调用频次高于所述第三专家模型的调用频次,所述第三专家模型的调用频次高于所述第二专家模型的调用频次。

11.根据权利要求3~8中任一所述的电路板,其特征在于,所述多个总线包括第一总线和第二总线;所述监测单元经由所述第一总线和所述第二总线连接至所述第一控制设备;

12.一种计算系统,包括:

13.根据权利要求12所述的计算系统,其特征在于,所述多个电路板包括第一电路板和第二电路板,所述第一电路板用于存储目标模型参数;所述第一电路板存储的模型参数和所述第二电路板存储的模型参数分别用于执行不同类型的模型处理任务;

14.根据权利要求13所述的计算系统,其特征在于,

15.根据权利要求 14所述的计算系统,其特征在于,所述第一控制设备还包括设备控制单元和系统交换单元,所述系统交换单元电连接至多个电路板各自的交换单元;

16.根据权利要求14~15中任一所述的计算系统,其特征在于,

17.根据权利要求16所述的计算系统,其特征在于,所述目标调度策略包括第一目标调度策略;

18.根据权利要求14~15中任一所述的计算系统,其特征在于,所述目标调度策略包括第二目...

【专利技术属性】
技术研发人员:梁坤慈潭龙
申请(专利权)人:苏州元脑智能科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1