【技术实现步骤摘要】
基于深度强化学习的轨道分配方法
[0001]本专利技术涉及集成电路计算机辅助设计
，尤其是基于深度强化学习的轨道分配方法。
技术介绍
[0002]在超大规模集成(Very Large Scale Integration,VLSI)电路设计中，布线问题是其中一个非常重要的环节。这个环节主要有两个工作构成：总体布线和详细布线。但是，总体布线往往会忽略很多具体的如引脚连接，局部线网的连接等问题，使得总体布线和详细布线之间存在较大的失配问题，得到的布线方案的可布线性很差。同时随着技术的不断发展，芯片的集成度要求不断提高，布线的复杂化大幅度提高可能会引起拥塞加剧，阻碍了VLSI的发展。因此轨道分配作为一个连接总体布线和详细布线的枢纽而被引入VLSI电路设计之中。现有的轨道分配算法主要有基于加权二分匹配的启发式算法和基于协商的轨道分配算法。基于加权二分匹配的启发式算法极易将不匹配的单独的导线忽略，从而导致导线的遗漏问题，以及再分配误差的增加。基于协商的轨道分配算法在第一阶段是基于贪心算法来实现的，不能保证最后解是最佳的，容易得出局
【技术保护点】
【技术特征摘要】
1.基于深度强化学习的轨道分配方法，可提高超大规模集成电路设计布线阶段的轨道分配质量，其特征在于：所述方法采用双深度Q网络(Double Deep Q
‑
Network,DDQN)算法统筹所有布线层、所有导线以及所有轨道的状态，该算法引入奖赏函数，将动作和状态相互映射，通过计算导线在不同状态下的重叠成本和障碍成本来评估重叠成本和障碍成本是增加或是减少，以此来区分是反馈正向奖赏或是负向奖赏，从而持续提升策略神经网络选取动作的合理性，同时利用策略神经网络和ε
‑
greedy算法共同选取动作，利用目标神经网络来更新Q值，以防止算法陷入局部最优。2.根据权利要求1所述的基于深度强化学习的轨道分配方法，其特征在于：所述轨道分配方法包括以下规则：规则A1、全局单元格(G
‑
cell)：在总体布线阶段，把整个布线区域划分不同的便于布线的单元格,记为全局单元格；规则A2、线段(Iroute)：直接连接两个G
‑
cell单元格中心点的导线直线段视为iroute，其中的iroutes包括在全局线网以及局部线网中提取的所有iroutes；规则A3、布线层：在布线问题中，每个芯片有九个布线层用来完成轨道的分配问题；规则A4、布线带(Panel)：在布线问题中，将每层布线层分割成大小相同的panel；在轨道布线中，将每个panel按照iroute的自身大小和最小间距划分成大小相同的轨道，完成轨道的分配工作，具体为：设所有线网的个数为k，即包含全局线网和局部线网的全部集合N＝{N1,N2,
…
,N
k
}。每个线网均包含有多组引脚和多组iroutes；设所有panels的集合为P，其中无论该层在布线方向上是水平还是竖直的，均由一个布线层中的行或列的所有单元格l的集合组成；并在每个panel p上进行轨道设计，因此每个panel p都映射了一个轨道的集合T(p)＝{t1,t2,
…
,t
n
}，轨道分配问题的主要工作就是将iroutes分配到轨道t上，因此每个轨道t也映射了一个iroutes的集合I(p)＝{ir1,ir2,
…
,ir
n
}；轨道分配中，障碍物是立体的，在将障碍物进行分层的时候，一个障碍物可能占用一个轨道的部分或者完全占用一个轨道甚至占用多个轨道；轨道分配工作所用的轨道分配算法，其目的是将I(p)中的所有iroutes都成功分配到T(p)的其中一个轨道上。3.根据权利要求2所述的基于深度强化学习的轨道分配方法，其特征在于：轨道分配的评价指标包括以下内容：指标A1、导线的重叠成本：每个iroute具有一定的长度，如果两个iroutes分配在同一个轨道上，且之间相互重叠，则iroute与iroute间发生的重叠称作线段重叠，其产生的成本称为重叠成本；指标A2、导线的障碍成本：若一个iroute被分配到一条轨道上，恰好和一个或者几个障碍物区间有部分或全部重叠，则iroute的障碍成本是和每个相关的障碍物之间的重叠长度的总和；由上述定义可知，如果分配了两条iroutes到相同的轨道并且它们相互重叠，这两条iroutes的状态被视为重叠状态；对于每个轨道，如果没有重叠的iroute，则轨道的重叠成本为零，如果存在重叠的iroutes，那么轨道的重叠成本则通过计算重叠的iroutes长度来度量；如果一个轨道上有多条重叠的iroutes，那么这条轨道的重叠成本则是这条轨道上所有重叠的iroutes的长度
之和；当一条轨道上存在障碍，但与分配到这条轨道上的iroute没有重叠部分时，这条轨道的障碍成本为零；当一条轨道上存在障碍，且与分配到该轨道的区间上的iroute与障碍物存在重叠时，此时的iroute与障碍重叠的长度，就是这条轨道的障碍成本；一个panel中包含多条轨道，一个panel的重叠成本即为所有轨道的重叠成本的总和，一个panel的障碍成本即为所有轨道的重叠成本的总和；同理，由于一个布线层对应了大小相等的多个panel，所以一个布线层的重叠成本即为所有panel的重叠成本的总和，一个布线层的障碍成本即为所有panel的障碍成本的和；而所有布线层重叠成本的总和以及障碍成本的总和即为轨道分配方案最终的重叠成本和障碍成本。4.根据权利要求3所述的基于深度强化学习的轨道分配方法，其特征在于：导线iroute的重叠判断的方法如下：设定有iroute i1以及iroute i2。如果该panel为水平，则仅需记录i1的起点坐标为x1,终点坐标为x1′
,i2的起点坐标为x2，终点坐标为x2′
。如果该panel为竖直方向，则仅需记录i1的起点坐标为y1，终点坐标为y1′
，仅需记录i2的起点坐标为y2，终点坐标为y2′
，该记录方式以OC计算公式定义为OC＝min(x1′
，x2′
)
‑
max(x1，x2)OC＝min(y1′
，y2′
)
‑
max(y1，y2)
ꢀꢀ
公式一；按照公式一，如果此时求出来的两个不同的iroutes之间的重叠成本大于0，则此时求得的重叠成本即为两个不同的iroutes之间的重叠成本，如果此时求得的两个不同的iroutes之间的重叠成本小于0，则这两个不同的iroutes之间的重叠成本即为0；对多条不同的iroutes的重叠成本计算，按照公式一进行两两配对计算；同样的，当计算障碍成本时，若已经将立体的障碍物进行切割，定位到了具体的轨道，则可以使用公式一来判断iroute是否与障碍物重叠。5.根据权利要求4所述的基于深度强化学习的轨道分配方法，其特征在于：在进行导线iroute提取时，采用的方法为：从全局线网和局部线网中提取iroutes，即全局iroute提取是从一个全局单元格G
‑
cell的中心到另一个全局单元格G
‑
cell的中心之间的直线段，局部iroute提取是通过构造水平或垂直斯坦纳树获得；所述斯坦纳树的构建和选择方法为：分别为每个局部线网构建一棵单个水平的主干斯坦纳树和一棵单个竖直的主干斯坦纳树；首先构建垂直主干(水平主干)，然后用水平(竖直)线段直接将所有该局部线网的引脚连接到主干。水平的主干斯坦纳树(竖直的主干斯坦纳树)的x坐标(y坐标)则是有所有引脚的x坐标的中位数，水平的斯坦纳树(竖直的斯坦纳树)的主干的顶部和底部(左部和右部)的坐标分别为y坐标(x坐标)的最大值和最小值，完成一棵水平的斯坦纳树和一棵竖直的斯坦纳树的构建；构建完成之后，通过计算并比较长度，选择树长较短的斯坦纳树，并把该树的主干提取为iroute。6.根据权利要求5所述的基于深度强化学习的轨道分配方法，其特征在于：所述深度强化学习包括以下规则：规则B1、智能体(Agent).即运行RL的实体，算法的目标是探究智能体在环境中怎样执行动作以获得最大的累计奖赏；规则B2、状态(State).即RL中智能体所处的环境以及此时智能体所处的状态；规则B3、
动作(Action).即智能体采取的不同动作行为；规则B4、策略(Policy).策略是指智能体则是在某状态下，所要做出的...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。