计算快速链路存储设备和计算设备制造技术

技术编号:43495123 阅读:13 留言:0更新日期:2024-11-29 17:02
一种计算快速链路(CXL)存储设备,包括:存储设备,存储数据;以及控制器,被配置为基于通过第一协议接收的第一命令从存储设备读取数据,基于通过与第一协议不同的第二协议接收的第二命令选择计算引擎,并且控制计算引擎对读取的数据执行计算。

【技术实现步骤摘要】

本公开总体上涉及存储设备,并且更具体地,涉及计算快速链路(cxl)存储设备以及包括该计算快速链路(cxl)存储设备的计算系统。


技术介绍

1、随着人工智能(ai)技术的出现,大语言模型(llm)可能会越来越受欢迎,因为llm可以用于在各种基于ai的领域中提供服务。例如,基于llm的服务可能会趋向于能够提供更高性能服务的更大模型尺寸。结果,llm可能需要在包括可能需要支持高计算性能要求的大容量和/或高带宽存储设备的计算系统上实现。用于获得大容量存储器和/或高计算性能的可能方法可以包括使用多个图形处理单元(gpu)。

2、然而,由于gpu的结构特性,gpu的使用可能受限于存储器容量的限制和/或计算效率低下。


技术实现思路

1、本公开的一个或多个示例实施例提供了一种大容量计算快速链路(cxl)设备、以及一种基于大语言模型(llm)提供服务的计算系统。

2、此外,本公开的一个或多个示例实施例提供了一种cxl设备和计算系统,其通过基于要执行的计算的类型选择计算电路来高效地执行计算。

本文档来自技高网...

【技术保护点】

1.一种计算快速链路CXL存储设备,包括:

2.根据权利要求1所述的CXL存储设备,其中,所述第一协议是CXL.mem协议,并且

3.根据权利要求1所述的CXL存储设备,其中,所述计算引擎包括第一计算电路和第二计算电路,并且

4.根据权利要求3所述的CXL存储设备,其中,所述第一计算电路是处理元件PE阵列,并且

5.根据权利要求1所述的CXL存储设备,其中,所述控制器包括:

6.根据权利要求5所述的CXL存储设备,其中,所述控制器还包括:

7.一种计算系统,包括:

8.根据权利要求7所述的计算系统,其中,...

【技术特征摘要】

1.一种计算快速链路cxl存储设备,包括:

2.根据权利要求1所述的cxl存储设备,其中,所述第一协议是cxl.mem协议,并且

3.根据权利要求1所述的cxl存储设备,其中,所述计算引擎包括第一计算电路和第二计算电路,并且

4.根据权利要求3所述的cxl存储设备,其中,所述第一计算电路是处理元件pe阵列,并且

5.根据权利要求1所述的cxl存储设备,其中,所述控制器包括:

6.根据权利要求5所述的cxl存储设备,其中,所述控制器还包括:

7.一种计算系统,包括:

8.根据权利要求7所述的计算系统,其中,所述cxl接口还被配置为通过cxl.io协议来发送所述第一计算命令和所述第二计算命令中的至少一个。

9.根据权利要求7所述的计算系统,其中,所述第一计算命令指示矩阵-矩阵乘法计算,并且

10.根据权利要求9所述的计算系统,其中,所述存储设备包括加法器树,并且

11.根据权利要求10所述的计算系统,其中,所述cxl接口还被配置为向所述存储设备发送所述第一计算命令,

【专利技术属性】
技术研发人员:朴商秀金京守金娜延苏镇麟禹炅完李荣炫李宗键郑辰赵正显
申请(专利权)人:三星电子株式会社
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1