一种基于图强化学习的FPGA互联资源测试算法制造技术

本发明专利技术属于FPGA测试技术，具体涉及一种基于图强化学习的FPGA互联资源测试算法。本发明专利技术改进了现有基于强化学习和深度强化学习的FPGA互联资源测试方法的缺点，即神经网络不具迁移性的缺点。本发明专利技术借助图神经网络提取互联资源图的隐藏特征，再利用深度强化学习优化配置策略，在本发明专利技术中，将其称为图强化学习。本发明专利技术方法具备迁移性与通用性，已训练收敛的神经网络可以应用到任何FPGA芯片的互联资源测试配置向量的生成中，同时对于所有FPGA芯片都可采用该方法。本发明专利技术对FPGA互联资源的测试成本较低，不需要专家人工找寻测试配置，同时已收敛的神经网络可以快速应用到任何FPGA芯片的互联资源测试中，并且生成FPGA测试配置的过程完全是自动化的。完全是自动化的。完全是自动化的。

【技术实现步骤摘要】
一种基于图强化学习的FPGA互联资源测试算法


[0001]本专利技术属于FPGA测试技术，具体涉及一种基于图强化学习的FPGA互联资源测试算法。

技术介绍

[0002]现场可编程逻辑门阵列(Field Programmable Gate Array，以下简称FPGA)，作为数字集成电路的重要一员，因FPGA有丰富的逻辑资源、快速而灵活的可编程能力，以及完善的自动化集成开发环境，被广泛应用于集成电路设计开发的多个环节中。然而，随着FPGA集成度的不断增加，内部结构也越加复杂，为达到灵活的可编程能力所需构建的互联资源网络也更加庞大，互联资源的面积在整个芯片中的比重不断增加，互联资源的故障发生率也随之提高。工程界对FPGA内部互联资源测试技术的需求变得愈加急迫，高效的布线算法是FPGA互联资源测试中关键的一环。
[0003]根据FPGA内部包含的不同资源，相应地有针对不同资源的测试理论和方案，包括对可编程输入输出单元(Input Output Block，以下简称IOB)、可编程逻辑块(Configurable Logic Block，以下简称CLB)、块存储单元(Block RAM，以下简称BRAM)等逻辑资源的测试，以及对互联资源(Interconnect Resource，以下简称IR)的测试。相对于逻辑资源，互联资源在千万门以上的FPGA中所占比重已经超过了90％，因而出现故障的频率也逐渐增加，配置和测试难度也更大。
[0004]目前FPGA互联资源的测试面临四大挑战，即测试方法应该是通用和可迁移的、与FPGA的阵列大小无关、可重用且利于配置的自动产生、以及测试时间尽量短。
[0005]文献(A Routability Aware Algorithm for Both Global and Local Interconnect Resource Test and Diagnosis of Xilinx SRAM
‑
FPGAs)利用图论中二部图着色的理论方法，实现了同时对局部和全局互联资源的测试，总体测试覆盖率大幅增加，但存在配置理论和实现步骤复杂、局部互联资源的覆盖效果不佳、测试方案在不同芯片间的迁移性不强等缺点。文献(Ruan A,Shi A,Qin L,et al.A Reinforcement Learning
‑
Based Markov
‑
Decision Process(MDP)Implementation for SRAM FPGAs[J])利用强化学习算法实现了FPGA互联资源的高覆盖率测试，但是强化学习算法的处理能力并不足以应对阵列规模大的FPGA芯片。文献(一种FPGA互联资源的优化配置生成方法与流程[P]，CN108241322B)利用深度强化学习算法实现了针对大规模FPGA互联资源的测试，值得一提的是，文献中用卷积神经网络(Convolutional Neural Network，以下简称CNN)提取互联资源图对应邻接矩阵的特征，再结合深度强化学习(Deep Reinforcement Learning，以下简称DRL)，训练出了一个神经网络模型，能够在特定的互联资源图中找出最优的测试配置。但是邻接矩阵属于非欧几里得数据结构，CNN并不擅长处理非欧数据结构的数据，这将导致训练的网络不能迁移到其他型号FPGA芯片的测试中。同一FPGA芯片互联资源图的具有不同邻接矩阵，在不同邻接矩阵的情况下，得到的神经网络都可能无法正常工作。因此，该文献中的神经网络模型几乎不具有迁移性。
[0006]传统互联资源测试的布线生成方法主要针对特定的芯片结构特征，依赖于专家知识，主要是靠手动布线配置，这种测试方法测试效率低，配置工作量大、覆盖率不高，且不具备通用性，测试时间过长，往往无法满足现今的超大规模芯片的测试要求。近几年也涌现一些借助机器学习算法实现通用FPGA测试方法，从方法学上具有通用性，但是在该方法中神经网络的迁移性很差，即针对不同的FPGA芯片都需要重新训练网络。由于神经网络的训练过程十分消耗时间和计算资源，神经网络的训练成本也十分高昂，因此，尽量避免频繁对神经网络进行训练。

技术实现思路

[0007]这些布线生成方法的局限性正是本专利技术解决的主要问题，即本专利技术提出了一种基于图强化学习的针对FPGA互联资源测试的布线算法，该算法具有迁移性、通用性、高效性。图强化学习中智能体采用GNN+DRL的神经网络结构，即结合图神经网络(Graph Neural Network，以下简称GNN)和深度强化学习(Deep Reinforcement Learning，以下简称DRL)，借助图神经网络提取图(Graph)的特征，再利用深度强化学习优化配置策略，在本专利技术中，将其称为图强化学习(Graph Reinforcement Learning，以下简称GRL)。图神经网络是专门为提取非欧几里得数据结构的特征而提出的一种神经网络，目前出现的图神经网络算法包括GCN(Graph Convolutional Network，以下简称GCN)、GAT(Graph Attention Network，以下简称GAT)、GraphSAGE(Graph Sample and Aggregate Network，以下简称GraphSAGE)等。图神经网络并不是关注邻接矩阵的局部信息，而是关注邻接矩阵表示的拓扑关系中的局部信息，即相邻节点之间的局部关系，这样的神经网络才真正着眼于提取互联资源图的拓扑特征，不再针对单一互联资源图，使得整个网络模型在图上具有很强的迁移性。
[0008]本专利技术的目的在于针对现有FPGA互联资源测试技术的缺陷，提供一种用于生成FPGA互联资源测试配置电路的布线算法，在该算法中，涉及的图强化学习神经网络并不需要重复训练，即可用于其他型号FPGA芯片互联资源测试配置的生成中。本专利技术相对与其他FPGA互联资源测试配置生成方法的优势明显，不需要为每个型号FPGA芯片的测试配置耗费大量的人力物力，只要神经网络训练好后，可以将该网络应用到不同型号FPGA芯片的测试配置生成中。因此，本专利技术兼顾迁移性、通用性、自动化。具有迁移性的布线算法可以大幅降低测试成本，缩短测试周期，在工程上具有重大意义。
[0009]为达到上述目的，本专利技术采用的技术方案为：
[0010]1)将互联资源表示为互联资源图。
[0011]2)根据FPGA互联资源测试的具体方法，在互联资源图上，确定激励发生器的输出所在节点，以及响应回收器的输入所在节点。针对FPGA互联资源测试的布线算法需要在互联资源图上，寻找高效覆盖的被测线路，即用尽量少的配置覆盖图中尽量多的边。
[0012]3)构建图强化学习中智能体的网络结构，用于估计动作值函数q(s，a)。
[0013]4)构建布线环境，布线环境用于和智能体交互，并实现互联资源的布线。布线环境的设计主要包括环境状态、环境规则、环境动作集和奖励规则。
[0014]5)在训练过程中优化更新图强化学习神经网本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图强化学习的FPGA互联资源测试算法，其特征在于，包括下述步骤：1)将FPGA互联资源抽象为互联资源图：在互联资源图中，节点(node)表示FPGA互联资源中的物理连线(Physical wire)，边(edge)表示FPGA互联资源中的可编程互联点(Programmable Interconnection Point，以下简称PIP)，同时每个节点有节点属性(Node attributes)，每条边都有边属性(Edge attributes)；2)在互联资源图上，确定激励发生器的输出所在节点，以及响应回收器的输入所在节点；3)构建图强化学习中智能体的神经网络结构，用于估计动作值函数q(s，a)；4)构建布线环境，布线环境用于和智能体交互，并实现互联资源的布线；5)在训练过程中，优化更新图强化学习神经网络参数，直到网络收敛；6)在应用过程中，直接使用训练过程中已经收敛的网络参数，在互联资源图中找出最优测试布线。2.如权利要求1所述的基于图强化学习的FPGA互联资源测试算法，其特征在于，所述步骤3)中，图强化学习智能体的神经网络结构包括图神经网络和深度强化学习网络，图神经网络包括但不限于GCN(Graph Convolutional Network，简称GCN)、GAT(Graph Attention Network，简称GAT)、GraphSAGE(Graph Sample and Aggregate Network，简称GraphSAGE)等，深度强化学习网络包括但不限于DQN(Deep Q
‑
Network，简称DQN)、A3C(Asynchronous Advantage Actor
‑
Critic，简称A3C)、PPO(Proximal Poli...

【专利技术属性】
技术研发人员：阮爱武，杨胜江，范樱宝，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：