【技术实现步骤摘要】
本专利技术实施例涉及版图元件布局，尤其涉及一种基于混合策略强化学习的版图元件自动化布局方法和装置。
技术介绍
1、版图设计包含元件布局、布线、匹配、隔离等多个过程，均需要人工参与，因此版图自动化对于加快电路设计迭代、提高设计效率具有重要意义，是集成电路领域的研究热点之一。
2、在版图布局工作中，工程师需要根据原理图的连接关系，把各个元件合理的排布在版图上，使得芯片面积尽可能小且布线长度尽可能短。在元件内部或边缘通常有多个管脚，管脚之间的相互连接构成线网，线长是根据线网进行计算的。元件除了位置需要确定外，旋转方式也是要确定的，不同的旋转方式也会导致布线长度发生改变。随着集成电路规模的不断增大，元件数量不断增多，布局过程也变得更加繁琐，耗时高，并且人工版图布局虽然可以利用先前高质量版图设计的经验，但会存在一定的固化性，一些新颖的或更有效的布局方式难以被探索挖掘。
3、当前版图自动化的主要实现方式有两种，基于数值求解的版图自动化和基于机器学习的版图自动化。前者发展时间相对较长，将版图布局问题转换对应的数学物理模型，通过求解方程实现元件的自动布局；后者发展时间相对较短，通过将布局问题转化为机器学习优化问题以实现版图自动化。google公司提出了基于强化学习的芯片布局方法，将芯片放置问题视为序列马尔科夫决策过程，获得具有最大奖励的布局策略；上海交通大学也先后提出了基于强化学习的版图自动化布局、布线方法。强化学习在实现版图自动化任务上展现出强大的发展潜力。
4、目前基于强化学习的版图元件布局自动化方法仅考
技术实现思路
1、本专利技术提供一种基于混合策略强化学习的版图元件自动化布局方法和装置，通过混合策略强化学习方法实现端到端的包括位置放置、旋转方式等版图元件自动化合法布局，加速版图设计流程。
2、第一方面，本专利技术提供一种基于混合策略强化学习的版图元件自动化布局方法，包括：
3、s1、对版图元件数据进行预处理，构建数据集；
4、s2、根据待布局目标元件的尺寸信息和旋转信息，构建混合策略强化学习模型，所述混合策略强化学习模型包括位置策略模型和旋转策略模型；
5、s3、通过数据集对所述混合策略强化学习模型进行训练和验证，以得到用于版图元件自动化布局的目标混合策略强化学习模型。
6、可选的，所述s2包括：
7、将版图元件自动化布局建模为序列马尔科夫决策过程；
8、根据待布局的目标元件尺寸和旋转信息设计强化学习环境；
9、根据所述强化学习环境，构建基于混合策略的强化学习模型。
10、可选的，将版图元件自动化布局建模为序列马尔科夫决策过程，包括：智能体根据当前状态和当前策略输出位置放置和旋转方向的动作，并获取来自环境的奖励反馈；
11、其中，序列马尔科夫决策过程中的智能体具有混合策略π(a位置t，a旋转t|st)，st为t时刻的状态，表示智能体从环境中观测的所有信息。
12、可选的，根据待布局目标元件的尺寸信息和旋转信息设计强化学习环境，包括：
13、每个目标元件在放置前，根据目标元件的尺寸信息和旋转信息，对目标版图中不合法的位置放置以及不合法的旋转操作进行遮盖操作；
14、利用评价指标构建奖励反馈。
15、可选的，构建基于混合策略的强化学习模型，包括：
16、采用卷积神经网络和图神经网络分别作为版图观测信息和线网关系的信息表征，并结合全连接神经网络实现位置策略网络、旋转策略网络与价值网络的构建；
17、通过构造损失函数分别对位置策略网络、旋转策略网络与价值网络进行梯度更新，直至满足奖励反馈的优化目标。
18、第二方面，本专利技术还提供一种基于混合策略强化学习的版图元件自动化布局装置，包括：
19、数据集构建模块，用于对版图元件数据进行预处理，构建数据集；
20、模型构建模块，用于根据待布局目标元件的尺寸信息和旋转信息，构建混合策略强化学习模型，所述混合策略强化学习模型包括位置策略模型和旋转策略模型；
21、模型训练和验证模块，用于通过数据集对所述混合策略强化学习模型进行训练和验证，以得到用于版图元件自动化布局的目标混合策略强化学习模型。
22、可选的，所述模型构建模块，具体用于：
23、将版图元件自动化布局建模为序列马尔科夫决策过程；
24、根据待布局的目标元件尺寸和旋转信息设计强化学习环境；
25、根据所述强化学习环境，构建基于混合策略的强化学习模型。
26、本专利技术的有益效果：
27、本专利技术利用强化学习，构建了一种混合策略强化学习的版图元件自动化布局模型，该混合策略在满足布局规则的基础上实现了对元件的位置摆放、旋转方式等自动化布局，获取符合评价指标的布局方式。本专利技术可以实现混合策略的端到端版图元件自动化布局，节省人力成本，提高芯片的设计效率。
本文档来自技高网...【技术保护点】
1.一种基于混合策略强化学习的版图元件自动化布局方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述S2包括：
3.根据权利要求2所述的方法，其特征在于，将版图元件自动化布局建模为序列马尔科夫决策过程，包括：智能体根据当前状态和当前策略输出位置放置和旋转方向的动作，并获取来自环境的奖励反馈；
4.根据权利要求2所述的方法，其特征在于，根据待布局目标元件的尺寸信息和旋转信息设计强化学习环境，包括：
5.根据权利要求2所述的方法，其特征在于，构建基于混合策略的强化学习模型，包括：
6.一种基于混合策略强化学习的版图元件自动化布局装置，其特征在于，包括：
7.根据权利要求6所述的装置，其特征在于，所述模型构建模块，具体用于：
【技术特征摘要】
1.一种基于混合策略强化学习的版图元件自动化布局方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述s2包括：
3.根据权利要求2所述的方法，其特征在于，将版图元件自动化布局建模为序列马尔科夫决策过程，包括：智能体根据当前状态和当前策略输出位置放置和旋转方向的动作，并获取来自环境的奖励反馈；
4.根据权...
【专利技术属性】
技术研发人员：刘智丰，吴歈，
申请(专利权)人：苏州芯联成软件有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。