基于深度强化学习的X结构Steiner最小树构造方法技术

本发明专利技术提出基于深度强化学习的X结构Steiner最小树构造方法，首先设计了一种布线拓扑初始化策略,即采用prim算法构建一棵最小生成树以确定引脚的拓扑结构；其次，提出了一种DRL算法下的XSMT问题处理策略，将对于XSMT问题中出现的45

【技术实现步骤摘要】
基于深度强化学习的X结构Steiner最小树构造方法


[0001]本专利技术涉及集成电路计算机辅助设计
，尤其是基于深度强化学习的X结构Steiner最小树构造方法。

技术介绍

[0002]对于超大规模集成电路(Very Large Scale Integration，VLSI)，一个重要的步骤就是对各个晶体管之间进行总体布线，传统的布线方法往往只具有曼哈顿结构，但是单纯的曼哈顿结构通常会浪费许多的布线资源，同时优化空间也会受到限制。因此在此基础上诞生了X结构斯坦纳最小树(X
‑
Architecture Steiner Minimal Tree，XSMT)。XSMT问题通过寻找引脚间的Steiner点来完成最小树的布线，但随着引脚数的增多，布线问题也愈发复杂，传统的解决方法已无法满足更加庞大的需求，因此XSMT问题已经成为一个十分具有挑战性的难题。
[0003]深度强化学习(Deep Reinforcement Learning,DRL)将深度学习的感知能力和强化学习的决策能力相结合，优势互补，可以直接从高维原始本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度强化学习的X结构Steiner最小树构造方法，用于超大规模集成电路中的各个晶体管之间的总体布线，基于X结构斯坦纳最小树XSMT问题来完成最小树的布线，其特征在于：所述方法使用深度强化学习DRL，通过其在训练时奖励函数的所有先前成功的以及不成功的网络布线的尝试，为布线的动态演进状态产生最佳动作，以完成XSMT问题的目标；所述方法包括以下步骤；步骤S1、数据预处理与初始化阶段：初始化引脚实际坐标，并将引脚实际坐标映射为网格坐标；步骤S2、布线拓扑初始化阶段：对引脚使用初始化策略，生成在用于后续步骤的结构固定的拓扑结构；步骤S3、基于深度强化学习的动作选择阶段：按XSMT设计基于DQN算法的布线方式选择策略；步骤S4、布线拓扑精炼阶段：通过优化互连线的连接，对布线拓扑优化以选择出最优布线拓扑。2.根据权利要求1所述的基于深度强化学习的X结构Steiner最小树构造方法，其特征在于：所述XSMT问题中，对两引脚间布线动作分为以下类别：动作1、首先通过水平边连接起点引脚和伪Steiner点，然后通过竖直边连接伪Steiner点和终点引脚；动作2、首先通过竖直边连接起点引脚和伪Steiner点，然后通过水平边连接伪Steiner点和终点引脚；动作3、首先通过水平边或竖直边连接起点引脚和伪Steiner点，然后通过45
°
边或135
°
边连接伪Steiner点和终点引脚；动作4、首先通过45
°
边或135
°
边连接起点引脚和伪Steiner点，然后通过水平边或竖直边连接伪Steiner点和终点引脚。3.根据权利要求1所述的基于深度强化学习的X结构Steiner最小树构造方法，其特征在于：在步骤S1的数据预处理与初始化中，数据输入的格式为引脚数与各引脚的实际坐标；当输入的各引脚间没有顺序时，首先将引脚坐标值分别按x坐标及y坐标排序，得到排序后的引脚序号；然后根据序号将引脚的实际坐标映射为网格坐标，得到两组引脚的坐标对；在XSMT中，n个引脚具有n
‑
1个Steiner点，通过两个引脚间的Steiner点可以确定两个引脚之间的布线方式，布线图中每条边的结构描述为：[第一个引脚坐标，第二个引脚坐标，两个引脚之间的连接方式]。4.根据权利要求1所述的基于深度强化学习的X结构Steiner最小树构造方法，其特征在于：在步骤S2的布线拓扑初始化中，采用prim算法构建最小生成树以确定引脚的拓扑结构，即：在使用DQN算法进行训练前，先确定一组引脚的完全图，将多引脚问题转化为多个两引脚问题，并采用Prim最小生成树算法确定完全图进行初始化。5.根据权利要求1所述的基于深度强化学习的X结构Steiner最小树构造方法，其特征在于：步骤S3基于深度强化学习的动作选择阶段中，当通过训练来获得XSMT问题的布线结果时，训练所用的网络结构定义为：定义每个网络为两层，第一层拥有输入张量、输出张量，输入张量即为状态空间的大小，输出张量即全连接层的神经元个数；第二层拥有输入张量、输出张量，输出张量即动作空间大小；初始化权重且用二值分布来随机生成参数的值后，所
述网络得到当前状态下进行的动作选择的价值。6.根据权利要求5所述的基于深度强化学习的X结构Steiner最小树构造方法，其特征在于：步骤S3的DQN算法体系中：DQN算法动作选择部分采用epsilon
‑
greedy算法，其选择各个状态下具有最大动作价值的动作以使所得策略更佳，同时为了避免某些状态下的动作不被选取，设置一个随机因子来保证小部分情况下有一定几率采取随机方法来选取动作，以最终使得各种状态都有机会被访问到；DQN算法经验回放部分用于存储学习数据，目标网络负责达到规定学习次数即进行更新，评估网络负责每学习一次便更新一次；在学习过程中，网络的更新逻辑为从经验回放部分中随机抽取一定数量的数据，并将数据打包处理，根据得到的所有状态的动作价值，选取所有状态下的最大动作价值作为学习的预期价值。7.根据权利要求6所述的基于深度强化学习的X结构Steiner最小树构造方法，其特征在于：DQN算法的训练过程中，每次训练的环境都是独立且完全一致的，每开始一次新的训练，就重置一次环境，但每次训练的网络记忆留存；DQN算法的训练过程包括进行预测和进行学习；所述的进行预测，根据当前选择的动作得到执行这个动作后的结果，也就是下一步状态的特征值矩阵，并返回动作执行的奖励；所述的进行学习，假设在某一次训练后，经验回放部...

【专利技术属性】
技术研发人员：刘耿耿，林振坤，郭文忠，
申请(专利权)人：福州大学，
类型：发明
国别省市：