执行并行运算处理的存储器设备和包括其的存储器模块制造技术

存储器模块包括：第一存储器设备，被配置为从硬件加速器接收数据和第一信息，通过执行使用该数据和第一信息的运算处理来生成运算结果，以及通过与至少一个其他存储器设备通信的接口输出运算结果；和第二存储器设备，被配置为通过该接口从第一存储器设备接收运算结果而不使用硬件加速器，并存储运算结果。

Memory devices and memory modules that perform parallel computing processing

The memory module includes: a first memory device configured to receive data and first information from a hardware accelerator, generate operation results by performing operation processing using the data and first information, and output operation results through an interface communicating with at least one other memory device; and a second memory device configured to be set up from the first memory through the interface. Prepare to receive the result of the operation without using the hardware accelerator, and store the result of the operation.

【技术实现步骤摘要】
执行并行运算处理的存储器设备和包括其的存储器模块相关申请的交叉引用本申请要求于2017年11月15日向韩国知识产权局提交的韩国专利申请No.10-2017-0152504的优先权，其公开通过引用整体被并入本文。
本公开涉及存储器设备，并且更具体地涉及执行并行运算处理的存储器设备以及包括该存储器设备的存储器模块。
技术介绍
在高性能电子系统中广泛使用的半导体存储器设备的容量和速度已提高。作为半导体存储器设备的示例的动态随机存取存储器(DynamicRandomAccessMemory，DRAM)是易失性存储器并且基于存储在电容器中的电荷确定数据。DRAM可以用于许多目的。例如，DRAM可以用于存储用于各种运算处理的数据或存储运算结果。另外，在处理大量计算(诸如神经网络计算)中有效地使用DRAM可能是有用的。
技术实现思路
公开的实施例提供了用于使用运算处理功能并行地处理大量计算的存储器设备以及包括该存储器设备的存储器模块。根据本专利技术构思的一方面，一种存储器模块包括：第一存储器设备，被配置为从硬件加速器接收数据和第一信息，通过执行使用该数据和第一信息的运算处理来生成运算结果，以及通过与至少一个其他存储器设备通信的接口输出运算结果；和第二存储器设备，被配置为通过接口从第一存储器设备接收运算结果而不使用硬件加速器，并存储运算结果。根据本专利技术构思的另一方面，一种存储器模块包括：插入器(interposer)，其具有形成在其上的用于信号传输的布线；和多个高带宽存储器(HighBandwidthMemory，HBM)，其安装在插入器上。所述HBMS中的每一个包括缓冲器裸芯，该缓冲器裸芯被配置为与每个HBM外部的设备通信；和多个核心裸芯，核心裸芯中的每一个包括存储器单元阵列和被配置为执行运算处理的运算电路。多个HBM中的第一HBM被配置为通过缓冲器裸芯从存储器控制器接收数据，以及并行地在多个核心裸芯中执行使用该数据的运算处理。存储器模块被配置为使得通过第一HBM的缓冲器裸芯和第二HBM的缓冲器裸芯之间的数据通信将第一HBM的运算结果提供给多个HBM中的第二HBM。根据本专利技术构思的另一方面，一种存储器设备包括：第一裸芯，被配置为与外部存储器控制器和外部存储器设备相接合；多个第二裸芯，其堆叠在第一裸芯上，第二裸芯中的每一个包括存储器单元阵列；和硅通孔(Through-SiliconVia，TSV)区域，被配置为在第一裸芯和多个第二裸芯之间发送和接收信号。第二裸芯中的每一个包括多个信道，信道中的每一个包括被配置为执行使用从所述外部存储器控制器提供的数据的运算处理的运算电路。第一裸芯包括：第一接口电路，被配置为通过与外部存储器控制器通信来接收数据和运算命令以及通过TSV区域将数据传输到第二裸芯；和第二接口电路，被配置为通过TSV区域从第二裸芯接收运算结果，以及通过与外部存储器设备通信来输出运算结果。附图说明从结合附图的以下详细描述中将更清楚地理解本专利技术构思的实施例，在附图中：图1是根据本专利技术构思的示例实施例的数据处理系统的框图；图2A至图2C是根据本专利技术构思的示例实施例的在存储器设备之间的数据通信的框图；图3是数据处理系统中的存储器模块的示例性实施方式的图；图4是图3中所示出的高带宽存储器(HBM)的示例性实施方式的图；图5是根据本专利技术构思的示例实施例的操作存储器设备的方法的流程图；图6是根据本专利技术构思的另一示例实施例的操作存储器设备的方法的流程图；图7是根据本专利技术构思的示例实施例的操作包括存储器模块的数据处理系统的方法的流程图；图8是根据本专利技术构思的示例实施例的数据处理系统的操作的框图；图9是运算处理的示例的框图；图10是根据本专利技术构思的示例实施例的HBM的示例性实施方式的框图；图11和图12是数据处理系统的操作的示例的框图；图13是根据本专利技术构思的示例实施例的包括HBM的数据处理系统执行神经网络计算的示例的图。图14是被包括在HBM中的多端口中的信号传输的示例的框图；图15是根据本专利技术构思的示例实施例的包括存储器设备的移动设备的示例性实施方式的框图；和图16是根据本专利技术构思的示例实施例的包括数据处理系统的服务器系统的框图。具体实施方式图1是根据本专利技术构思的示例实施例的数据处理系统的框图。参考图1，数据处理系统100可以包括中央处理单元(CentralProcessingUnit，CPU)110；一个或多个硬件(Hardware，HW)加速器，例如第一至第AHW加速器120_1至120_A；和一个或多个存储器模块，例如第一至第B存储器模块130_1到130_B。数据处理系统100还可以包括用于组件之间的通信的总线。总线可以通过诸如外围组件互连(PeripheralComponentInterconnect，PCI)、PCIExpress(PCIExpress，PCIe)、BlueLink和QuickPath互连(QuickPathInterconnection，QPI)的各种协议来支持与其连接的组件之间的通信。CPU110可以通过总线与第一至第AHW硬件加速器120_1至120_A通信。数据处理系统100可以是处理数据并将数据记录在第一至第B存储器模块130_1至130_B中或者处理从第一至第B存储器模块130_1至130_B读取的数据的各种系统中的一种。例如，数据处理系统100可以被实施为个人计算机(PersonalComputer，PC)、数据服务器、云系统、人工智能服务器、网络附加存储装置(Network-AttachedStorage，NAS)、物联网(InternetofThings，IoT)设备、或便携式电子设备。当数据处理系统100是便携式电子设备时，数据处理系统100可以是膝上型计算机、蜂窝电话、智能电话、平板PC、个人数字助理(PersonalDigitalAssistant，PDA)、企业数字助理(EnterpriseDigitalAssistant，EDA)、数码相机、数码摄像机、音频设备、便携式多媒体播放器(PortableMultimediaPlayer，PMP)、个人导航设备(PersonalNavigationDevice，PND)、MP3播放器、手持式游戏机、电子书、可穿戴设备等。CPU110可以控制数据处理系统100的所有操作。例如，CPU110可以将指令提供给第一至第AHW加速器120_1至120_A以控制第一至第AHW加速器120_1至120_A的操作。数据处理系统100还可以包括存储指令的操作存储器(未显示)，并且CPU110可以访问操作存储器。第一至第AHW加速器120_1至120_A可以与各种辅助处理器相对应。例如，第一至第AHW加速器120_1至120_A中的每一个可以是诸如现场可编程门阵列(Field-ProgrammableGateArray，FPGA)、大规模并行处理器阵列(MassivelyParallelProcessorArray，MPPA)、图形处理单元(GraphicsProcessingUnit，GPU)、专用集成电路(Application-SpecificIntegratedCircuit，ASIC)、神经处理单元(NeuralProcessin本文档来自技高网...

【技术保护点】
1.一种存储器模块，包括：第一存储器设备，被配置为从硬件加速器接收数据和第一信息，通过执行使用所述数据和所述第一信息的运算处理来生成运算结果，以及通过与至少一个其他存储器设备通信的接口来输出运算结果；和第二存储器设备，被配置为通过所述接口从第一存储器设备接收运算结果而不使用硬件加速器，以及存储运算结果。

【技术特征摘要】
2017.11.15 KR 10-2017-01525041.一种存储器模块，包括：第一存储器设备，被配置为从硬件加速器接收数据和第一信息，通过执行使用所述数据和所述第一信息的运算处理来生成运算结果，以及通过与至少一个其他存储器设备通信的接口来输出运算结果；和第二存储器设备，被配置为通过所述接口从第一存储器设备接收运算结果而不使用硬件加速器，以及存储运算结果。2.如权利要求1所述的存储器模块，其中所述第一存储器设备包括多个裸芯，并且以分布式的方式在所述多个裸芯中并行地执行使用从所述硬件加速器接收的数据的运算处理。3.如权利要求1所述的存储器模块，其中所述硬件加速器包括从现场可编程门阵列(FPGA)、大规模并行处理器阵列(MPPA)、图形处理单元(GPU)、专用集成电路(ASIC)、神经处理单元(NPU)、张量处理单元(TPU)和多处理器片上系统(MPSoC)中选择的至少一个。4.如权利要求1所述的存储器模块，其中所述第一存储器设备包括多个第二裸芯和被配置为与所述第一存储器设备外部的设备进行通信的第一裸芯，所述第二裸芯中的每一个第二裸芯包括存储器单元阵列和被配置为执行运算处理的运算电路，并且所述第一裸芯包括被配置为与硬件加速器交换数据的第一接口电路和被配置为与第二存储器设备交换运算结果的第二接口电路。5.如权利要求4所述的存储器模块，其中，所述第一接口电路响应于时钟信号的上升沿和下降沿中的一个来接收数据，并且所述第二接口电路响应于时钟信号的上升沿和下降沿来输出运算结果。6.如权利要求4所述的存储器模块，其中所述第一存储器设备包括第一高带宽存储器(HBM)，所述第二存储器设备包括第二HBM，所述第一裸芯包括缓冲器裸芯，并且所述第二裸芯包括堆叠在所述缓冲器裸芯上的核心裸芯。7.如权利要求1所述的存储器模块，其中所述第一存储器设备从硬件加速器接收作为所述第一信息的权重以用于神经网络计算，并且生成使用所述数据和所述权重获得的神经网络计算结果作为所述运算结果。8.如权利要求1所述的存储器模块，其中，所述第二存储器设备从所述硬件加速器接收命令和地址，并将从所述第一存储器设备接收的运算结果存储在由所述地址指示的位置处。9.如权利要求1所述的存储器模块，其中，所述第一存储器设备包括命令/地址生成器，并且向所述第二存储器设备传输命令和地址，所述命令请求存储所述运算结果，并且所述地址指示所述运算结果将被存储的位置，并且所述第二存储器设备响应于来自所述第一存储器设备的命令和地址而存储运算结果。10.如权利要求1所述的存储器模块，还包括被配置为与所述第二存储器设备通信的第三存储器设备，其中所述第三存储器设备在所述硬件加速器的控制下从所述第二存储器设备接收所述运算结果并将所述运算结果提供给所述硬件加速器。11.如权利要求1所述的存储器模块，其中所述硬件加速器被设置在所述存储器模块内部。12.一种存储器模块，包括：插入器，其上形成有用于信号传输的布线；和多个高带宽存储器(HBM)，安装在插入器上，其中HBM中的每一个HBM包括缓冲器裸芯和多个核心裸芯，其中所述缓冲器裸芯被配置为与每个HBM外部的设备通信，所述核心裸芯中的每一个核心裸芯包括存储器单元阵列和被配置为执行运算处理的运算电路，多个HBM中的第一HBM被配置为通过缓冲器裸芯从存储器控制器接收数据并且在多个核心裸芯中并行地执行使用所述数据的运算处理，以及所述存储器模块被配置为使得第一HBM的运算结果通过所述第一HBM的缓冲器裸...

【专利技术属性】
技术研发人员：金晋贤，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国,KR