用于人工智能计算的异构集成结构制造技术

提供了三维(3D)半导体存储器结构以及形成3D半导体存储器结构的方法。3D半导体存储器结构包括芯片，该芯片包括存储器和硅通孔(TSV)。3D半导体存储器结构还包括布置在上述芯片上并面对面耦接到上述芯片的硬件加速器。该3D半导体存储器结构还包括衬底，该衬底被布置在该(3D)半导体存储器结构和该硬件加速器之下并且附接至该TSV和该存储器芯片和该硬件加速器的外部输入和输出。加速器的外部输入和输出。加速器的外部输入和输出。

【技术实现步骤摘要】
【国外来华专利技术】用于人工智能计算的异构集成结构

技术介绍

[0001]本专利技术总体上涉及机器学习，并且更具体地涉及一种用于人工智能的异构集成结构。
[0002]人工智能工作负荷的日益流行正在推动对具有到存储器的高带宽互连性的专用加速器的需要。随着这些加速器继续改进，整个系统性能将受到损害，除非外部带宽能够足够快地向计算引擎提供数据。
[0003]因此，在加速器芯片与存储器芯片之间需要高带宽通信。使用所谓的2.5D集成(其中，芯片通过焊料互连连接至Si中介板)的传统集成方法难以缩放并且成本高。Si中介件解决方案的可扩展性受到每个芯片上的引脚数量和可以放置在Si中介件上的芯片数量的限制。此外，如果采用高带宽存储器(HBM)来实现高容量存储器，则HBM PHY接口必须位于加速器芯片附近。这些竞争性但同样重要的要求产生空间配置挑战以及必须克服的集成挑战。所以，需要一种克服上述问题的用于存储器和加速器之间的高带宽通信的解决方案。

技术实现思路

[0004]根据本专利技术的方面，提供了一种三维(3D)半导体存储器结构。3D半导体存储器结构包括芯片，该芯片包括存储器和硅通孔(TSV)。3D半导体存储器结构还包括布置在上述芯片上并面对面耦接到上述芯片的硬件加速器。该3D半导体存储器结构还包括衬底，该衬底被布置在该(3D)半导体存储器结构和该硬件加速器之下并且附接至该TSV和该存储器芯片和该硬件加速器的外部输入和输出。
[0005]根据本专利技术的另方面，提供了一种用于形成三维(3D)半导体存储器结构的方法。该方法包括接收包括存储器和硅通孔(TSV)的芯片。该方法还包括将硬件加速器布置在上述芯片上并且面对面耦接至上述芯片。该方法还包括：将衬底布置在(3D)半导体存储器结构和硬件加速器之下，并且附接到TSV和存储器芯片和硬件加速器的外部输入和输出。
[0006]根据本专利技术的又另方面，提供了一种三维(3D)半导体存储器结构。3D半导体存储器结构包括存储器芯片，该存储器芯片包括存储器和硅通孔(TSV)。3D半导体存储器结构还包括布置在芯片上并耦接到芯片的硬件加速器。该3D半导体存储器结构还包括模拟芯片，该模拟芯片被布置在该芯片与该硬件加速器之间并且面对面耦接至该硬件加速器。该3D半导体存储器结构另外包括衬底，该衬底被布置在该(3D)半导体存储器结构、该硬件加速器和该模拟芯片下方，并且附接至该TSV和该存储器芯片和该硬件加速器的外部输入和输出。
[0007]根据本专利技术的又另方面，提供了一种用于形成三维(3D)半导体存储器结构的方法。该方法包括接收包括存储器和硅通孔(TSV)的存储器芯片。该方法还包括将硬件加速器布置在存储器芯片上并耦接到存储器芯片。存储器还包括将模拟芯片布置在晶片和硬件加速器之间并且面对面耦接至硬件加速器。存储器还包括将衬底布置在(3D)半导体存储器结构、硬件加速器和模拟芯片下方，并附接到TSV和存储器芯片和硬件加速器的外部输入和输出。
[0008]这些和其他特征和优点将从其说明性实施例的以下具体实施方式中变得清楚，该
具体实施方式将结合附图来阅读。
附图说明
[0009]参考以下附图，以下描述将提供优选实施例的细节，其中：
[0010]图1是示出根据本专利技术的实施例的用于人工智能计算的示例性异构集成结构的示图；
[0011]图2是描述根据本专利技术实施例的形成图1的异构集成结构的示例性方法的流程图；
[0012]图3是示出了根据本专利技术的实施例的用于使用高带宽存储器(HBM)的人工智能计算的示例性异构集成结构的示图；
[0013]图4是示出了根据本专利技术的实施例的形成图3的异构集成结构的示例性方法的流程图；
[0014]图5是示出了根据本专利技术的实施例的具有连接至主加速器裸片(die)的模拟裸片的示例性异构集成结构的示图；
[0015]图6是示出了根据本专利技术的实施例的具有连接至主加速器裸片的模拟裸片的另一示例性异构集成结构600的示图；以及
[0016]图7
‑
8是示出了根据本专利技术实施例形成图5和6的异构集成结构的示例性方法的流程图。
具体实施方式
[0017]本专利技术涉及一种用于人工智能的异构集成结构。
[0018]在实施例中，本专利技术提供了一种能够在克服其挑战的同时利用三维(3D)安排的益处的新结构。
[0019]在实施例中，本专利技术提供了一种堆叠在存储器顶部上的加速器。将加速器放置在存储器的顶部上使得能够有效地冷却加速器。
[0020]在实施例中，通过MemPower芯片(例如，耦接至TSV的扩展帧(例如，包括电力和非电力TSV)的存储器)的硅通孔(TSV)(例如，遍及或在外围处)实现信号和电力递送，从而不影响具有存在于其上的计算核心(例如，加速器的)的上面区域。通过将加速器布置在所得结构的顶部，其提供了直接冷却加速器的机会，并且可以避免先进热技术及其相关联的成本和缺陷。
[0021]在实施例中，由于更短的垂直连接，相对于内插器安排(例如，在加速器与存储器之间在相对长的距离上具有横向连接的安排)，在更低的功率下可以在计算核与存储器之间实现极高的带宽。
[0022]在实施例中，通过将较高功率的计算芯片(例如，加速器芯片)放置在顶部、邻近散热器(未示出)来避免和/或以其他方式缓解潜在的热问题。
[0023]在实施例中，本专利技术将计算所需的技术与存储器和输入/输出(I/O)解耦接。
[0024]在实施例中，可以添加补充存储器以提供到MemPower芯片的存储器部分的高带宽连接。
[0025]图1是示出根据本专利技术的实施例的用于人工智能计算的示例性异构集成结构100的示图。
[0026]结构100包括加速器芯片110(以下称为“加速器”)和MemPower芯片120。在结构100中，加速器110布置在顶部，以便有效地冷却加速器110，并且避免需要先进的冷却技术来冷却加速器110。MemPower芯片120包括实现为存储器芯片121的存储器部分，并且还包括用于电源硅通孔123(TSV)的扩展框架122。加速器110面对面(F2F)布置在MemPower芯片120上并连接到MemPower芯片120。
[0027]MemPower芯片120还包括存储器BEOL层间电介质(ILD)124、存储器厚线BEOL布线125、以及存储器细线BEOL布线126。
[0028]在实施例中，将MemPower芯片120减薄(例如，名义上为50
‑
100um)，将TSV123加盖，并且焊料凸块130经由焊盘131附接至TSV123(在背侧上)以及附接至封装衬底150上的虚置焊盘151以用于一致性/共面性。
[0029]TSV 123将电源从封装衬底150上的层压物运送至存储器芯片121并且经由BEOL重分布层(RDL)127运送至加速器110。
[0030]可以形成TSV 123直到MemPower芯片120的最后但一个厚的BEOL级。这种布置对现有存储器设本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种三维(3D)半导体存储器结构，包括：存储器芯片，其包括存储器和硅通孔(TSV)；硬件加速器，其被布置在所述芯片上并且被耦接至所述芯片；以及衬底，所述衬底被布置在所述(3D)半导体存储器结构和所述硬件加速器之下并且附接到所述TSV以及所述存储器芯片和所述硬件加速器的外部输入和输出。2.根据权利要求1所述的结构，其中，所述硬件加速器面对面地耦接至所述存储器芯片。3.根据权利要求2所述的结构，其中，所述TSV被布置在所述存储器芯片的外围。4.根据权利要求2所述的结构，其中，所述存储器芯片和所述硬件加速器耦接以形成中间结构，所述衬底附接至所述中间结构。5.根据权利要求2所述的结构，其中，所述衬底是包括预焊接的层压物的封装衬底。6.根据权利要求2所述的结构，其中，所述存储器芯片包括静态随机存取存储器。7.根据权利要求2所述的结构，还包括补充高带宽存储器(HBM)，所述补充高带宽存储器耦接到所述衬底并且被配置为执行存储器操作。8.根据权利要求7所述的结构，其中，所述补充的HBM使用预焊接的层压物耦接至所述衬底。9.根据权利要求8所述的结构，其中，所述存储器芯片进一步包括用于控制所述存储器操作的存储器控制器。10.根据权利要求8所述的结构，其中，所述存储器芯片进一步包括HBM PHY和HBM存储器控制器，所述HBMPHY和HBM存储器控制器支持所述补充的HBM并且使用线后段(BEOL)金属线直接电耦接至所述补充的HBM。11.根据权利要求10所述的结构，其中，所述HBM PHY和所述HBM存储器控制器被设置在所述晶片的BEOL的层间电介质层中。12.根据权利要求2所述的结构，其中，所述TSV穿过所述存储器芯片的外围区域。13.根据权利要求1所述的结构，包括模拟...

【专利技术属性】
技术研发人员：M法鲁克，A库马尔，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：