存储器中的推理制造技术

本公开的某些方面提供了一种用于利用包括计算核心的增强型存储器模块处理数据的方法，该方法包括：在增强型存储器模块处接收来自主机处理系统的数据；将数据存储在主机处理系统可寻址存储器中；将数据从主机处理系统可寻址存储器转移到计算核心可寻址存储器；利用增强型存储器模块上的计算核心处理数据来生成经处理数据；将经处理数据从计算核心可寻址存储器转移到主机处理系统可寻址存储器；以及经由主机处理系统可寻址存储器将经处理数据提供给主机处理系统。提供给主机处理系统。提供给主机处理系统。

【技术实现步骤摘要】
【国外来华专利技术】存储器中的推理
[0001]相关申请的交叉引用
[0002]本申请要求于2020年5月26日提交的美国专利申请第16/883869号的利益和优先权，其全部内容通过引用并入本文。

技术介绍

[0003]本公开的各方面涉及在非常规计算硬件中执行机器学习和人工智能任务，并且具体地涉及在存储器硬件中执行这样的任务。
[0004]在大数据时代，对机器学习和人工智能能力的需求急剧增加。常规地，机器学习已经被用于生成模型，该模型然后可以生成人工智能任务的推理，诸如预测、分类等。随着对推理能力的需求增加，计算硬件制造商正在寻求扩大现有计算平台(诸如台式计算机和服务器)以及其他新兴类型的处理系统(诸如移动设备和边缘处理设备)中的推理能力的密度。
[0005]常规地，机器学习和人工智能“加速器”已经通过硬件扩展接口(例如，主板上的PCIe插槽)添加到系统中，以扩展底层计算基础设施的能力。不幸的是，将这种硬件扩展接口用于加速器表示这些相同的接口不能用于其他目的，诸如网络、图形渲染、安全、声音处理和其他常见的计算任务。因此，将附加的机器学习和人工智能优化的计算硬本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种增强型存储器模块，包括：计算核心；以及一个或多个双模式存储器元件，其中所述增强型存储器模块被配置为：将所述一个或多个双模式存储器元件中的存储器的第一子集分配为主机处理系统可寻址存储器，并且将所述一个或多个双模式存储器元件中的存储器的第二子集分配为计算核心可寻址存储器；接收来自主机处理系统的数据；利用所述计算核心处理所述数据，以生成经处理数据；以及经由存储器的所述第一子集，将所述经处理数据提供给所述主机处理系统。2.根据权利要求1所述的增强型存储器模块，其中所述增强型存储器模块还被配置为：将所接收的所述数据存储在存储器的所述第一子集中；在利用所述计算核心处理所述数据之前，将所接收的所述数据从存储器的所述第一子集转移到存储器的所述第二子集；以及在利用所述计算核心处理所述数据之后，将所述经处理数据从存储器的所述第二子集转移到存储器的所述第一子集。3.根据权利要求1所述的增强型存储器模块，其中存储器的所述第二子集还包括被配置为由所述计算核心使用的一个或多个单模式存储器。4.根据权利要求1所述的增强型存储器模块，还包括：闪存存储器模块，包括用于分配存储器的所述第一子集和存储器的所述第二子集的固件指令。5.根据权利要求1所述的增强型存储器模块，其中所述增强型存储器模块还被配置为：在将所述数据从存储器的所述第一子集转移到存储器的所述第二子集之前，在所述主机处理系统的数据总线上设置繁忙状态，以指示数据转移正在进行。6.根据权利要求5所述的增强型存储器模块，其中所述增强型存储器模块还被配置为：在将所述数据从存储器的所述第一子集转移到存储器的所述第二子集之后，在所述主机处理系统的所述数据总线上设置可用状态。7.根据权利要求1所述的增强型存储器模块，其中所述增强型存储器模块还被配置为：在将所述数据从存储器的所述第一子集转移到存储器的所述第二子集之前，启用用于所述增强型存储器模块的主机处理系统存储器命令块。8.根据权利要求7所述的增强型存储器模块，其中所述增强型存储器模块还被配置为：在将所述数据从存储器的所述第一子集转移到存储器的所述第二子集之后，禁用用于所述增强型存储器模块的所述主机处理系统存储器命令块。9.根据权利要求1所述的增强型存储器模块，其中所述数据包括：用于由机器学习模型处理的数据；以及机器学习模型参数。10.根据权利要求1所述的增强型存储器模块，其中所述增强型存储器模块包括双列直插式存储器模块(DIMM)。11.根据权利要求1所述的增强型存储器模块，其中所述增强型存储器模块还被配置为：
解除分配存储器的所述第一子集和存储器的所述第二子集；以及将所述一个或多个双模式存储器元件中的存储器的第三子集分配为主机处理系统可寻址存储器，并且将所述一个或多个双模式存储器元件中的存储器的第四子集分配为计算核心可寻址存储器，其中存储器的所述第三子集不同于所述第一子集，并且其中存储器的所述第四子集不同于所述第二子集。12.一种用于利用包括计算核心的增强型存储器模块处理数据的方法，包括：通过将所述增强型存储器模块的存储器的第一子集分配为主机处理系统可寻址存储器并且将所述增强型存储器模块的存储器的第二子集分配为计算核心可寻址存储器，来对所述增强型存储器模块进行初始化；在所述增强型存储器模块处，接收来自主机处理系统的数据；利用所述增强型存储器模块上的所述计算核心处理所述数据，以生成经处理数据；以及经由存储器的所述第一子集，将所述经处理数据提供给所述主机处理系统。13.根据权利要求12所述的方法，还包括：将所接收的所述数据存储在存储器的所述第一子集中；在利用所述计算核心处理所述数据之前，将所接收的所述数据从存储器的所述第一子集转移到存储器的所述第二子集；以及在利用所述计算核心处理所述数据之后，将所述经处理数据从存储器的所述第二子集转移到存储器的所述第一子集。14.根据权利要求12所述的方法，其中存储器的所述第一子集和存储器的所述第二子集与一个或多个双模式存储器元件相关联。15.根据权利要求12所述的方法，其中对所述增...

【专利技术属性】
技术研发人员：J，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：