可重组式推理平台制造技术

本发明专利技术提供一种以系统级封装配置实现的可重组式推理平台，该可重组式推理平台中的系统包含处理器芯片、存储推理引擎的一组可执行模型的第一存储器芯片、以及存储被选取可执行模型的权重的第二存储器芯片。处理器芯片具有运行处理器核心、加速器核心与暴露于芯片对芯片接合表面上的处理器

【技术实现步骤摘要】
可重组式推理平台


[0001]本专利技术有关于使用人工智能(artificial intelligence)模型进行推理(inference)操作的运算平台、以及使用机器学习(machine learning)产生的模型；且更具体有关于适合用于边缘装置(edge devices)中的这类平台。

技术介绍

[0002]执行使用机器学习发展的运算模型(包含人工智能模型)的系统涉及使用大量系数阵列以执行大量的跨越多个输入阵列的算术运算(arithmetic operations)。系数通常称为权重(weight)。在执行这些模型的平台中，芯片外(off
‑
chip)存储器存取可能会限制功率与性能。由于用于这些模型中的系数阵列的规模，芯片上(on
‑
chip)存储器可能不足，尤其是在使用多个模型的系统中。
[0003]有需要提供用以进行推理操作的平台，以解决这些问题。
[0004]公开内容
[0005]本专利技术描述适合以系统级封装(system in package；SiP)配置实现的可重组式推理平台。此处描述的可重组式推理平台可包含：处理器芯片、适用于存储多个权重阵列(arrays of weights)的第一存储器芯片和适用于存储多组可执行模型(executable model)的第二存储器芯片。平台可实现为单一封装中的多芯片模块。封装可安装于电路板或其他类型基板上，且连接至感测器与可产生执行模型所消耗的数据且可消耗执行模型所产生的数据的其他元件。
[0006]在可重组式推理平台的实施方式中，处理器芯片可包含运行(runtime)处理器核心、加速器核心与暴露于处理器芯片的芯片对芯片(chip
‑
to
‑
chip)接合表面上的处理器
‑
存储器接口(processor
‑
memory interface)。在平台的实施方式中，第一存储器芯片可包含非易失性高容量存储器，例如三维与非门(NAND)快闪存储器。第一存储器芯片可存储推理引擎(inference engine)的一组可执行模型，其中每一可执行模型包含用于执行模型的一组权重，且在一些情况下还包含用于推理引擎的计算图(computation graph)。第二存储器芯片至少可存储被选取可执行模型的该组权重。第二存储器芯片可包含非易失性随机存取存储器，例如相变化(phase change)存储器。第二存储器芯片可包含存储器
‑
处理器接口(memory
‑
processor interface)，存储器
‑
处理器接口暴露于第二存储器芯片的表面上且互补于处理器芯片上的处理器
‑
存储器接口。提供介于处理器
‑
存储器接口与存储器
‑
处理器接口之间的多个直接垂直连接结构，例如通孔对通孔(via
‑
to
‑
via)连接结构，其可使数据(data)以低电力、高流通量(throughput)和低传输延迟(latency transfer)传递于芯片之间，以支持被选取模型的执行。
[0007]在此处所述的示例中，处理器芯片与第二存储器芯片堆叠且设置于转接板(interposer)上。第一存储器芯片电设置于转接板上，转接板包含互连线路(interconnection wiring)，互连线路形成至少一部分的第一存储器芯片与第二存储器芯片之间的数据路径。除了处理器
‑
存储器接口，处理器芯片还可包含输入/输出接口，且数据
路径可包含从转接板的互连线路至处理器芯片的输入/输出接口的连接结构。
[0008]在此处所述的示例中，处理器芯片可存取指令存储器，指令存储器可被包含于处理器芯片上或在芯片外存储(off
‑
chip storage)装置中可存取的，用以存储指令以进行运行程序。运行程序可包含从存储于第一存储器芯片中的一组可执行模型中选取可执行模型、载入(loading)用于被选取模型的计算图(包含配置处理器芯片上的加速器核心)、使被选取模型的一组权重转移至第二存储器芯片、以及执行被选取模型。此外，运行程序可包含改变模型以回应于场(field)中的控制事件。从而，运行程序可包含使被选取模型改变为一组可执行模型中的相异模型、载入用于相异模型的计算图(包含配置加速器核心)、使相异模型的一组权重转移至第二存储器芯片、以及执行相异模型。
[0009]本专利技术描述可重组式推理方法的示例，其包含：提供处理器芯片，处理器芯片包含运行处理器核心、加速器核心、芯片上存储器(on
‑
chip memory)和暴露于处理器芯片的芯片对芯片接合表面上的处理器
‑
存储器接口；在第一存储器芯片中存储用于以机器学习实现的模型的推理引擎的一组可执行模型，第一存储器芯片可被处理器芯片存取，每一模型包含用于执行模型的一组权重；回应于控制事件，从存储于第一存储器芯片中的一组可执行模型中选取可执行模型；载入用于被选取模型的计算图，包含配置加速器核心；使被选取可执行模型的一组权重从第一存储器芯片转移至第二存储器芯片，其中第二存储器芯片包含存储器
‑
处理器接口，存储器
‑
处理器接口设置于第二存储器芯片的表面上且互补于处理器
‑
存储器接口；以及使用介于处理器
‑
存储器接口与存储器
‑
处理器接口之间的多个直接垂直连接结构来执行被选取可执行模型。
[0010]通过以下图式、实施方式与随附的权利要求书将能理解本专利技术的其他方面与益处。
附图说明
[0011]图1绘示包含如此处所述的可重组式推理平台的多芯片模块；
[0012]图2绘示包含如此处所述的可重组式推理平台的多芯片模块的另一实施例；
[0013]图3绘示包含如此处所述的可重组式推理平台的多芯片模块的又一实施例；
[0014]图4绘示如此处所述的可重组式推理平台的简化的功能方块图；及
[0015]图5为可通过此处所述的可重组式推理平台执行的运行程序的流程图。
[0016]附图标记说明
[0017]101，201，302，401：处理器芯片
[0018]102，202，301，402：第二存储器芯片
[0019]103，203，303，403：第一存储器芯片
[0020]110，210，310：转接板
[0021]111，211，311，350：互连线路
[0022]112，212，240，312，352，362：接口
[0023]113，122，213，222，241，313，361：输入/输出接口
[0024]120，220，320：多芯片模块
[0025]121，221：外部接触结构
[0026]131，231，332：本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种可重组式推理平台，其特征在于，包含：一处理器芯片，包含一运行处理器核心、一加速器核心、一芯片上存储器(on
‑
chip memory)和暴露于该处理器芯片的一芯片对芯片接合表面上的一处理器
‑
存储器接口；一第一存储器芯片，可被该处理器芯片存取以存储一推理引擎的一组可执行模型，该组可执行模型中的每一可执行模型包含用于执行该可执行模型的一组权重；一第二存储器芯片，存储一被选取可执行模型的该组权重，该第二存储器芯片包含一存储器
‑
处理器接口，该存储器
‑
处理器接口暴露于该第二存储器芯片的一表面上且互补于该处理器
‑
存储器接口；以及多个直接垂直连接结构，介于该处理器
‑
存储器接口与该存储器
‑
处理器接口之间。2.根据权利要求1所述的可重组式推理平台，其特征在于，这些直接垂直连接结构包含多个通孔对通孔连接结构。3.根据权利要求1所述的可重组式推理平台，其特征在于，该运行处理器核心存取一指令存储器，该指令存储器存储多个可执行指令以进行一程序，该程序包含：从存储于该第一存储器芯片中的该组可执行模型中选取一可执行模型、载入用于该被选取可执行模型的一计算图、使该被选取可执行模型的该组权重转移至该第二存储器芯片、及执行该被选取可执行模型，其中载入用于该被选取可执行模型的该计算图包含配置该加速器核心。4.根据权利要求1所述的可重组式推理平台，其特征在...

【专利技术属性】
技术研发人员：龙翔澜，
申请(专利权)人：旺宏电子股份有限公司，
类型：发明
国别省市：