在具有人工智能模式的存储器系统中复制数据技术方案

本公开包含与在具有人工智能(AI)模式的存储器系统中复制数据相关的设备及方法。一种设备可接收指示所述设备在人工智能(AI)模式下操作的命令、用以基于数个寄存器的状态使用AI加速器来执行AI操作的命令及用以在正在执行AI操作的存储器装置之间复制数据的命令。所述存储器系统可将神经网络数据、激活函数数据、偏差数据、输入数据及/或输出数据从第一存储器装置复制到第二存储器装置，使得所述第一存储器装置可在第一AI操作中使用所述神经网络数据、激活函数数据、偏差数据、输入数据及/或输出数据，且所述第二存储器装置可在第二AI操作中使用所述神经网络数据、激活函数数据、偏差数据、输入数据及/或输出数据。输入数据及/或输出数据。输入数据及/或输出数据。

【技术实现步骤摘要】
【国外来华专利技术】在具有人工智能模式的存储器系统中复制数据


[0001]本公开大体上涉及存储器装置，且更特定来说，涉及用于在具有人工智能(AI)模式的存储器系统中复制数据的设备及方法。

技术介绍

[0002]存储器装置通常被提供为计算机或其它电子装置中的内部半导体集成电路。存在许多不同类型的存储器，包含易失性及非易失性存储器。易失性存储器可需要电力来维持其数据且包含随机存取存储器(RAM)、动态随机存取存储器(DRAM)及同步动态随机存取存储器(SDRAM)等等。非易失性存储器可通过在未被供电时保留经存储数据来提供持久数据且可包含NAND快闪存储器、NOR快闪存储器、只读存储器(ROM)、电可擦除可编程ROM(EEPROM)、可擦除可编程ROM(EPROM)及电阻可变存储器，例如相变随机存取存储器(PCRAM)、电阻式随机存取存储器(RRAM)及磁阻式随机存取存储器(MRAM)等等。
[0003]存储器还用作广泛范围的电子应用的易失性及非易失性数据存储装置。非易失性存储器可用于例如个人计算机、便携式存储棒、数码相机、蜂窝电话、便携式音乐播放器(例如MP3播放器)、电影播放器及其它电子装置中。存储器单元可布置成阵列，其中所述阵列用于存储器装置中。
附图说明
[0004]图1A是根据本公开的数个实施例的呈包含具有人工智能(AI)加速器的存储器装置的计算系统的形式的设备的框图。
[0005]图1B是根据本公开的数个实施例的呈包含带有具有人工智能(AI)加速器的存储器装置的存储器系统的计算系统的形式的设备的框图。
[0006]图2是根据本公开的数个实施例的具有人工智能(AI)加速器的存储器装置上的数个寄存器的框图。
[0007]图3A及3B是根据本公开的数个实施例的具有人工智能(AI)加速器的存储器装置上的数个寄存器中的数个位的框图。
[0008]图4是根据本公开的数个实施例的具有人工智能(AI)加速器的存储器装置的数个块的框图
[0009]图5是说明根据本公开的数个实施例的具有人工智能(AI)加速器的存储器装置中的实例人工智能过程的流程图。
[0010]图6是说明根据本公开的数个实施例的用以复制数据的实例方法的流程图。
具体实施方式
[0011]本公开包含与在具有人工智能(AI)模式的存储器系统中复制数据相关的设备及方法。一种实例设备可包含接收指示所述设备在人工智能(AI)模式下操作的命令、用以基于数个寄存器的状态使用AI加速器来执行AI操作的命令及用以在正在执行AI操作的存储
器装置之间复制数据的命令。存储器装置之间复制的数据可为与AI操作相关联的神经网络数据、激活函数数据、偏差数据、输入数据及/或输出数据。AI加速器可包含经配置以执行与AI操作相关联的操作(例如，逻辑操作，以及其它操作)的硬件、软件及或固件。硬件可包含经配置为加法器及/或乘法器以执行与AI操作相关联的操作，例如逻辑操作的电路系统。
[0012]存储器装置可包含存储在存储器单元阵列中的被AI加速器用以执行AI操作的数据。输入数据连同定义神经网络的数据，例如神经元数据、激活函数数据及/或偏差值数据，可经存储在存储器装置中，在存储器装置之间进行复制，及用以执行AI操作。而且，存储器装置可包含用以存储AI操作的部分结果的临时块及用以存储AI操作的结果的输出块。主机可发出用于输出块的读取命令且可将输出块中的结果发送到主机以完成请求执行AI操作的命令的执行。
[0013]主机及/或存储器系统的控制器可发出用以在执行AI操作的存储器装置之间复制输入及/或输出数据的命令。例如，存储器系统可将输入数据从第一存储器装置复制到第二存储器装置，使得第一存储器装置可在第一AI操作中使用输入数据且第二存储器装置可在第二AI操作中使用输入数据。可从主机接收从第一存储器装置复制到第二存储器装置的输入数据。执行第一AI操作的第一存储器装置及执行第二AI操作的第二存储器装置可包含相同或不同神经网络数据、激活函数数据及/或偏差数据。可将第一及第二AI操作的结果报告给控制器及/或主机并相互比较。
[0014]主机及/或存储器系统的控制器可发出用以在执行AI操作的存储器装置之间复制神经网络数据、激活函数数据、偏差数据的命令。存储器系统可将神经网络数据、激活函数数据及/或偏差数据从第一存储器装置复制到第二存储器装置，使得第一存储器装置可在第一AI操作中使用神经网络数据、激活函数数据及/或偏差数据且第二存储器装置可在第二AI操作中使用神经网络数据、激活函数数据及/或偏差数据。可将第一及第二AI操作的结果报告给主机及/或存储器系统的控制器并相互比较。
[0015]存储器系统的每一存储器装置可将输入数据及神经元数据发送到AI加速器且AI加速器可对输入数据及神经元数据执行AI操作。存储器装置可将AI操作的结果存储在存储器装置上的临时块中。存储器装置可发送来自临时块的结果且将偏差值数据应用于AI加速器。AI加速器可使用偏差值数据对来自临时块的结果执行AI操作。存储器装置可将AI操作的结果存储在存储器装置上的临时块中。存储器装置可将来自临时块的结果及激活函数数据发送到AI加速器。AI加速器可对来自临时块的结果及/或激活函数数据执行AI操作。存储器装置可将AI操作的结果存储在存储器装置上的输出块中。
[0016]与在主机上执行的AI操作相比，AI加速器可减少与AI操作相关联的延时及功率消耗。在主机上执行的AI操作使用在存储器装置与主机之间交换的数据，这使AI操作增加延时及功率消耗。虽然可使用AI加速器及存储器阵列来在存储器装置上执行根据本公开的实施例执行的AI操作，但其中在执行AI操作的同时不从存储器装置转移数据。
[0017]在本公开的以下详细描述中，参考形成本公开的一部分且其中以说明方式展示可如何实践本公开的数个实施例的附图。充分详细地描述这些实施例以使所属领域的一般技术人员能够实践本公开的实施例，且应理解，在不脱离本公开的范围的情况下可利用其它实施例且可进行过程改变、电改变及/或结构改变。如本文中所使用，指定符“N”表示如此指定的数个特定特征可包含在本公开的数个实施例中。
[0018]如本文中所使用，“数个”某物可指代此类事物中的一或多者。例如，数个存储器装置可指代存储器装置中的一或多者。另外，如本文中所使用，特别是关于附图中的参考数字所使用的例如“N”的指定符指示如此指定的数个特定特征可包含在本公开的数个实施例中。
[0019]本文中的图遵循编号约定，其中首位或前几位数字对应于附图图号且剩余数字识别附图中的元件或组件。不同图之间的类似元件或组件可通过使用类似数字来识别。如将明白，可添加、交换及/或消除本文中的各个实施例中所展示的元件以便提供本公开的数个额外实施例。另外，所述图中所提供的元件的比例及相对尺度意在说明本公开的各个实施例而非以限制意义进行使用。
[0020]图1A是根据本公开的数个实施例的呈包含存储器装置120的计算系统100的形式的设备的框图。如本文中所使用，存储器装置本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种设备，其包括：控制器；及数个存储器装置，其耦合到所述控制器，其中所述数个存储器装置中的每一者经配置为神经网络的部分并包含数个存储器阵列且其中所述控制器经配置以：发送用以将数据从第一存储器装置复制到第二存储器装置且在所述第二存储器装置上执行训练或推理操作的命令，其中所述命令包括第一地址及第二地址，所述第一地址识别存储与所述训练或推理操作相关联的数据的所述第一存储器装置且所述第二地址识别作为所述数据的目标的所述第二存储器装置。2.根据权利要求1所述的设备，其中所述命令指示所述第一存储器阵列从所述第一存储器装置中的存储器阵列读取数据且将所述数据发送到所述第二存储器阵列。3.根据权利要求1所述的设备，其中所述命令指示所述第二存储器阵列接收所述数据且将所述数据写入到所述第二存储器阵列中的存储器阵列。4.根据权利要求1到3中任一权利要求所述的设备，其中所述命令选择所述第一存储器装置及所述第二存储器装置以在由所述数个存储器装置共享的总线上传送数据。5.根据权利要求1到3中任一权利要求所述的设备，其中所述命令启用所述第二存储器装置使其进入人工智能(AI)模式以执行AI操作。6.根据权利要求1到3中任一权利要求所述的设备，其中输入数据从所述第一存储器装置复制到所述第二存储器装置。7.根据权利要求1到3中任一权利要求所述的设备，其中神经网络数据从所述第一存储器装置复制到所述第二存储器装置。8.一种系统，其包括：控制器；及数个存储器装置，其耦合到所述控制器，其中所述数个存储器装置中的每一者经配置为神经网络的部分并包含数个存储器阵列且其中所述控制器经配置以：发送用以在第一存储器装置上执行第一训练或推理操作的第一命令；发送用以将数据从所述第一存储器装置复制到第二存储器装置且在所述第二存储器装置上执行第二训练或推理操作的第二命令，其中所述命令包括第一地址及第二地址，所述第一地址识别存储与所述第一训练或推理操作相关联的数据的所述第一存储器装置且所述第二地址识别作为所述数据的目标的所述第二存储器装置。9.根据权利要求8所述的系统，其中所述控制器经配置以将第一输入数据发送到所述第一存储器装...

【专利技术属性】
技术研发人员：A，
申请(专利权)人：美光科技公司，
类型：发明
国别省市：