本发明专利技术公开了基于强化学习的集成电路中的路由连接，具体提供了用于使用机器学习(ML)来确定各种类型的电路的端子之间的连接的一般解决方案。提供了一种ML方法，其使用诸如深度RL之类的强化学习(RL)来确定和优化使用游戏过程的电路连接的路由。在一个示例中，一种确定路由连接的方法包括：(1)接收具有已知端子组的电路设计，(2)在路由环境中为端子组建立端子位置，(3)由RL代理采用独立于电路的网的数量的模型确定已知端子组之间网的路由。还公开了使用RL创建用于路由网的模型的方法、采用游戏来训练RL代理以确定路由连接的方法以及用于路由电路的连接的RL代理。及用于路由电路的连接的RL代理。及用于路由电路的连接的RL代理。
【技术实现步骤摘要】
基于强化学习的集成电路中的路由连接
[0001]相关申请的交叉引用
[0002]本申请要求于2020年5月4日由Mark Ren等人提交的题目为“一种基于深度强化学习的亚10nm鳍式场效应晶体管(FinFET)技术的标准单元路由方法”的美国临时申请序号No.63/019,892的权益，其与本申请共同转让并且通过引用全文并入本文。
[0003]本申请总体上涉及电路，并且更具体地，涉及集成电路的端子之间的路由连接。
技术介绍
[0004]集成电路(IC)是出于共同目的以某种方式连接在一起的电气元件的集合。IC通常被称为“芯片”并且可以在常见的家用设备(如电视机、计算机和车库开门器)的电路板上找到。IC的电气元件(例如晶体管、电阻器、电容器等)连接在一起以根据若干设计步骤执行共同目的。
[0005]设计步骤(也被称为设计流程)通常包括系统规范、系统级设计、功能和逻辑设计、电路设计、物理设计、以及物理验证和签名。物理设计包括规划不同电气元件的布局，安放电气元件，以及确定电气元件的端子之间的连接的路由。物理验证工具用于检查物理设计。设计规则作为输入被提供给物理验证工具，并用于执行设计规则检查(DRC)以实现设计中的可靠性。在物理验证和签名之后，制造、封装和测试IC。然后准备使用成品。
技术实现思路
[0006]在一个方面，本公开提供了一种使用强化学习来创建用于路由电路的网的模型的方法。在一个示例中，所述模型包括：(1)创建第一图像和第二图像，所述第一图像表示使用网在路由环境中连接电路的一组端子，所述第二图像表示用于所述连接的路由环境中的阻塞，其中所述第一图像和所述第二图像具有多个路由层，并且针对所述电路的所述至少一些网而创建，(2)使用神经网络(NN)，基于所述至少一些网的所述第一图像和第二图像，为所述至少一些网创建特征空间图像，以及(3)创建策略函数，该策略函数提供基于至少一些网的特征空间图像选择用于连接端子组的路由动作的概率，其中所述策略函数的参数与所述电路的所述网的数量无关。
[0007]在另一方面，本公开提供了一种采用游戏训练RL代理以确定电路的路由连接的方法。在一个示例中，该方法包括：(1)由RL代理观察路由环境中电路的端子位置之间的当前路由状态，(2)从所述RL代理向所述路由环境提供改变所述端子位置之间的当前路由状态的路由动作，其中所述RL代理基于与所述电路的所述网的数量的用于路由网的模型来提供所述路由动作，(3)由所述路由环境评估所述路由动作，以及(4)基于所述评估从所述路由环境向所述RL代理提供一个或更多个奖赏。
[0008]在又一方面，本公开提供了一种用于采用用于RL代理的游戏过程确定电路的端子之间的路由连接的方法。在一个示例中，确定路由连接的方法包括：(1)接收具有已知端子
组的电路设计，(2)在路由环境中为端子组建立端子位置，以及(3)由所述RL代理采用与所述电路的所述网的数量无关的模型来确定所述已知端子组之间的网的路由。
[0009]在附加的方面，本公开提供了一种用于电路的路由连接的RL代理。在一个示例中，所述RL代理包括：(1)函数近似器，其基于用于采取不同路由动作的概率，生成用于连接所述电路的网的端子组的路由动作，以及将所述路由动作发送到路由环境，以及(2)学习处理器，其从所述路由环境接收游戏图像并从中提供与所述电路的网的数量无关的用于所述函数近似器的参数。
附图说明
[0010]现在结合附图参考以下描述，在附图中：
[0011]图1示出了根据本公开的原理构造的电路路由系统的示例的框图；
[0012]图2示出了根据本公开的原理的用于路由电路的网的RL代理的模型的架构的示例的示图；
[0013]图3示出了RL代理在三维空间的路由环境中路由两个网的动作序列，并且提供了为RL代理的学习处理器创建三层图像的示例；
[0014]图4示出了根据本公开的原理的用于路由电路的网的RL代理的模型的另一个架构的示例的图；
[0015]图5示出了根据本公开的原理的使用强化学习来创建用于路由电路的网的模型的方法的示例的流程图；
[0016]图6示出了根据本公开的原理的采用游戏训练RL代理以确定电路的路由连接的方法的示例的流程图；
[0017]图7示出了根据本公开的原理的采用游戏过程确定电路的端子组与RL代理之间的路由连接的方法的示例的流程图；以及
[0018]图8示出了计算系统的示例的框图，在该计算系统中可以实现在此所公开的系统、方法或装置的至少一部分。
具体实施方式
[0019]由于IC的复杂度持续增加，所以需要一种用于确定IC的端子(如标准单元的端子)之间的连接的自动化方法。标准单元是数字超大规模集成(VLSI)设计的构建块。例如，GPU由数百到数百万个这些标准单元(cell)制成。对于每个技术节点，通常需要诸如针对自动测试生成(ATG)和VLSI的设计组来设计数千个标准单元，这可能花费10
‑
15个设计者8
‑
12个月来手动地设计它们。提供设计的困难之一涉及显著影响芯片的性能和成本的单元面积。因此，设计团队工作以尽可能最小化单元面积。IC的端子之间的路由连接可以极大地影响IC的物理尺寸。由于比早期技术节点更严格的可用空间和设计规则，在更小的技术节点(例如10nm或更小)上路由(routing)可能是困难的。例如，在FinFET技术节点(诸如7nm和5nm)上的标准单元内路由是具有挑战性的，其中每个路由层仅可以路由一个方向(水平或垂直)。
[0020]目前存在用于确定连接路由的不同自动化方法，如利用数学优化技术和分析路由模型的方法。然而，这些当前方法可能受到所有设计规则可被表达为整数编程模型的线性
约束的假设的限制。另外，一些当前方法需要在开始求解过程之前预先计算次优路由候选者。
[0021]与现有方法的限制相比，本公开提供了确定电路的端子之间的连接的一般解决方案。本文中公开了一种基于机器学习(ML)的方法，其使用诸如深度RL之类的强化学习(RL)来确定电路的连接的路由。所公开的ML方法利用RL来优化使用游戏过程的电路连接的路由。在该方法中，训练代理来完成用于路由环境内的电路的路由连接的任务。代理向路由环境发送路由动作，并且作为回报，从路由环境接收观察和奖赏(reward)。该奖赏提供关于完成路由环境内的路由任务的路由动作的成功的测量。
[0022]例如，所公开的方法收集并跟踪电路中路由连接的游戏过程。该游戏可被玩多次并记录RL代理在玩该游戏时所收集的奖赏。游戏的路由动作由策略网络控制，该策略网络可以是神经网络(NN)，其中NN的参数控制该策略。策略可以涉及选择路由动作的概率，其中如果对于某个路由动作存在高概率，则将可能选择该路由动作。
[0023]在玩游戏之后，可以针对给定参数的集合确定给予RL代理的平均奖赏数量。因此，可确定具有作为输入的参数和作为输出的平均奖赏的待优化的策略。因此，游戏可以在跟踪参数和所得本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种使用强化学习来创建用于路由电路的网的模型的方法，包括：创建第一图像和第二图像，所述第一图像表示在使用网的路由环境中连接电路的端子组，所述第二图像表示用于所述连接的在所述路由环境中的阻塞，其中所述第一图像和所述第二图像具有多个路由层，并且针对所述电路的所述网中的至少一些网而创建；使用神经网络NN，基于所述网中的至少一些网的所述第一图像和所述第二图像，为所述网中的至少一些网创建特征空间图像；以及创建策略函数，所述策略函数提供用于基于所述网中的至少一些网的所述特征空间图像来选择用于连接所述端子组的路由动作的概率，其中所述策略函数的参数与所述电路的所述网的数量无关。2.根据权利要求1所述的方法，其中所述网中的至少一些网的所述特征空间图像由高度和宽度限定。3.根据权利要求2所述的方法，其中多个特征空间图像的高度或宽度是不同的。4.根据权利要求1所述的方法，还包括：基于所述网中的至少一些网的所述特征空间图像的池化来创建价值函数，所述价值函数为所述端子组的当前路由状态提供价值预测器。5.根据权利要求4所述的方法，其中所述创建价值函数包括：将由所述池化生成的向量应用到所述NN的全连接层FC和非线性层ReLu以为所述价值预测器提供单个价值。6.根据权利要求4所述的方法，其中所述创建价值函数基于所有所述网的所述特征空间图像的池化。7.根据权利要求1所述的方法，其中所述创建策略函数包括：将所述网中的至少一些网的所述特征空间图像应用于所述NN的全连接层FC和非线性层ReLu以创建具有输出的阵列，将所述网中的至少一些网的所有输出组合以生成组合输出，以及将所述组合输出提供给所述NN的softmax层以创建用于选择路由动作的所述概率。8.根据权利要求1所述的方法，其中所述创建所述第一图像和所述第二图像是针对所有网，所述创建所述特征空间图像是针对所有网，以及所述创建所述策略函数基于所有网的所述特征空间图像。9.根据权利要求1所述的方法，其中所述路由层至少包括端子层、垂直层和水平层。10.根据权利要求1所述的方法，其中所述路由层中的至少一个是多方向路由层。11.根据权利要求1所述的方法，其中所述路由环境是三维网格。12.根据权利要求1所述的方法，其中所述网的初始数量为两个。13.根据权利要求1所述的方法，其中所述策略函数的所述参数另外与所述电路的大小无关。14.根据权利要求1所述的方法，其中所述NN是图形神经网络GNN。15.根据权利要求1所述的方法，其中所述NN是卷积神经网络CNN。16.一种采用游戏训练强化学习RL代理以确定电路的路由连接的方法，包括：由所述RL代理观察路由环境中电路的端子位置之间的当前路由状态；从所述RL代理向所述路由环境提供改变所述端子位置之间的当前路由状态的路由动作，其中所述RL代理基于与所述电路的所述网的数量无关的用于路由网的模型来提供所述路由动作；由所述路由环境评估所述路由动作；以及
基于所述评估从所述路由环境向所述RL代理提供一个或更多个奖赏。17.根据权利要求16所述的方法，其中用于所述模型的所述网的数量是两个。18.根据权利要求17所述的方法，其中所述方法被重复多次，并且所述网的所述数量和所述电路的大小在所述多次期间逐步增加，以创建用于所述训练方法的附加模型。19.根据权利要求16所述的方法，其中所述模型提供基于所述网的特征空间图像选择用于连接所述端子位置的路由动作的概率，并且基于所述网的特征空间图像的池化提供所述端子位置的当前路由状态的价值预测器。20.根据权利要求16...
【专利技术属性】
技术研发人员：任昊星，M，
申请(专利权)人：辉达公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。