一种基于增强学习的FPGA互联资源配置生成方法技术

本发明专利技术属于FPGA技术领域，提供一种基于增强学习的FPGA互联资源配置生成方法；首先建立基于增强学习的FPGA的互联资源模型，初始化状态转移矩阵和回报函数；再将状态转移矩阵和回报函数联合，根据互联资源模型，采用增强学习训练方法训练出策略；然后再设置布线起始状态点，根据策略完成配置走线，并根据配置走线更新状态转移矩阵；最后重复更新状态转移矩阵直到覆盖率收敛，汇总所有配置走线，转化为配置代码，最终输出互联资源配置。本发明专利技术采用增强学习理论，在互联资源测试覆盖率达到100％的前提下，有效减少测试配置次数，实现FPGA包括Global和Local互联资源的自动配置，且测试效率高、适用性好。

FPGA interconnect resource allocation generation method based on Reinforcement Learning

The invention belongs to the technical field of FPGA, provides a reinforcement learning FPGA generation method based on Internet resource allocation; firstly enhanced interconnection resources learning model based on FPGA, the initial state of the transfer matrix and return function; then the state transfer matrix and the return function, according to the Internet resource model, using reinforcement learning strategy training training method and then set the initial state; wiring, complete the configuration strategy according to walk the line, and walk the line according to the configuration update state transition matrix; finally repeated update state transition matrix until the coverage rate of convergence, the sum of all the configuration line into the configuration code, the final output of Internet resource allocation. The invention adopts reinforcement learning theory, the Internet resource testing coverage rate reached 100% under the premise, effectively reduce the number of test configurations, can realize the automatic configuration of FPGA including Global and Local interconnection resources, and high testing efficiency and good applicability.

【技术实现步骤摘要】
一种基于增强学习的FPGA互联资源配置生成方法
本专利技术属于FPGA
，具体涉及一种基于增强学习的FPGA互联资源配置生成方法。
技术介绍
随着半导体技术的飞速发展，使得现场可编程门阵列(FieldProgrammableGateArray,以下简称FPGA)的集成度越来越高，内部可编程资源规模越来越大，功能越来越多。伴随而来的问题是电路结构越来越复杂，产生故障的可能性越来越高，对测试技术的要求也越来越高。SRAM型FPGA芯片的可编程逻辑资源大部分是由互联资源(InterconnectResource,以下简称IR)和可编程逻辑块(ConfigurableLogicBlock，以下简称CLB)组成，所以FPGA芯片测试实际上是对芯片内IR和CLB的故障测试；而随着FPGA的发展，IR在FPGA内部的比重越来越大，相比于其他资源，IR发生故障的概率要大得多。FPGA中IR种类繁多，一款芯片中也有着多种不同的IR。根据IR在芯片中的位置和作用，可将其分为两大类：全局线(GlobalWire,以下简称Global)和局部线(LocalWire，以下简称Local)。Global是整个FPGA内部可以起到连接作用的互连线，主要用于连接所有的开关矩阵和CLB单元。Local主要是指在CLB内部的不同slice之间进行信号传输的一类线。而因为Local相比于Global的不规律性，对其进行完整测试一直是很难解决的问题。传统的测试方法是基于FPGA的结构特性和可编程性，对其进行手工布局布线，从而完成测试配置的生成；效率低，只能针对特定结构的芯片且没有实现自动配置，已不再适用。文献《一种基于贪心策略的FPGA局部互联测试方法[P].专利技术专利，CN102116840A,2011-07-06》和文献《ModelingofFPGALocal/GlobalInterconnectResourceandDerivationofMinimalTestConfigurations》中公开测试方法仅适用于一小部分Local的测试，不能对Global测试。文献《互联结构模型化方法和互联资源配置向量自动生成方法.专利技术专利，CN103412253B，2016.01.20》中公开方法适用于Global和Local的测试，但其配置次数较多。基于此，本专利技术提供一种基于增强学习的FPGA互联资源配置生成方法。
技术实现思路
本专利技术的目的在于提供一种基于人工智能领域增强学习的FPGA互联资源配置生成方法；采用增强学习理论，在互联资源测试覆盖率达到100％的前提下，有效减少测试配置次数，实现FPGA包括Global和Local互联资源的自动配置。为实现上述目的，本专利技术采取的技术方案为：一种基于增强学习的FPGA互联资源配置生成方法，包括以下步骤：步骤1：建立基于增强学习的FPGA的互联资源模型FPGA中每个芯片开关盒(SM)结构相同且呈阵列排列，将芯片开关盒中每一个端点定义为一个状态s，采用SM坐标模型识别各SM中同一端点，得到FPGA系统状态集合：其中，N为状态总数；将任一芯片开关盒中所有状态按其所连接金属互联线类型进行layer分层，各layer之间仅通过PIP(PointtoPoint)建立连接；基于layer参数以及后续状态是否离开SM，定义动作集合：其中，M为任一芯片开关盒中可选动作总数；a1,a2,a3,...,aM分别表示到达layer1、layer2、layer3…layerM层时所使用的动作；aother表示到达其他SM所使用的动作；步骤2：随机初始化状态转移矩阵；步骤3：初始化回报函数；步骤4：将状态转移矩阵和回报函数联合，根据基于增强学习的FPGA的互联资源模型，采用增强学习训练方法训练出策略π；步骤5：设置布线起始状态点s(0)，根据策略π完成配置走线：其中，s(t)表示在t时刻的状态、属于状态合集a(t)表示在t时刻所做的动作、属于动作集合t＝0,1,2,...,T-1、T表示配置走线总时刻数；步骤6：更新状态转移矩阵，更新规则如下：1)根据配置走线将其转换成T个经验知识和训练例<s(t),a(t),s(t+1)>，判定若等于1，则跳至2)；否则，按照原始转移概率比重动态更新剩余状态转移概率：其中，i,j＝1,2,3,...,N，t＝0,1,2,...,T-1；2)更新步骤7：跳至步骤4，重复更新状态转移矩阵直到覆盖率收敛；步骤8：汇总所有配置走线，转化为配置代码，最终输出互联资源配置。进一步的，步骤3中，所述回报函数初始化采用如下任一方法：1)基于状态动作对的回报函数：回报函数R为状态s和动作a的函数、表示为R(s,a)，对于除目标状态的任意当前某状态s，执行动作a得到回报：R(s,a)＝-u、u为一正常数，若当前状态s为目标状态，R(s,a)＝-v、v为一非负常数且u＞v；2)基于状态动作对的回报函数：回报函数R为状态s和动作a的函数、表示为R(s,a)，令所有能够到达目标状态的状态动作对的回报函数R(s,a)＝+u、u为一正常数，其余状态动作对的回报函数R(s,a)＝-v、v为一非负常数；3)基于状态的回报函数：回报函数R仅是状态s的函数，和动作a无关、表示为R(s)，令目标状态的回报函数R(s)＝+u、u为一正常数，即若到达该状态就收获+u的回报，其余状态的目标函数R(s)＝-v、v为一非负常数。本专利技术的有益效果在于：1、本专利技术能够自动生成测试配置，测试效率高；2、本专利技术适用于Global和Local的测试，对互联资源的测试覆盖率高；3、本专利技术采用增强学习模型，在满足高覆盖率的同时有效的降低了测试配置次数；4、本专利技术能够用于SRAM型FPGA的测试，适用性高。附图说明图1为本专利技术基于增强学习的FPGA互联资源配置生成方法流程示意图。图2为本专利技术中FPGA芯片开关盒内部互联结构示意图。图3为本专利技术中状态转移模型图。图4为本专利技术中状态转移概率矩阵。具体实施方式下面结合附图和实施例对本专利技术进行详细说明。本实施例提供一种基于增强学习的FPGA互联资源配置生成方法，如图1所示，包括以下步骤：步骤1：建立基于增强学习的FPGA的互联资源模型FPGA中每个芯片开关盒(SM)结构相同且呈阵列排列，将芯片开关盒中每一个端点定义为一个状态s，采用SM坐标模型识别各SM中同一端点，得到FPGA系统状态集合：其中，N为状态总数；将任一芯片开关盒中所有状态按其所连接金属互联线类型进行layer分层，即同一类的状态统称为一层layer，各layer之间仅通过PIP(PointtoPoint)建立连接，如图2所示；基于layer参数以及后续状态是否离开SM，定义动作集合：其中，M为任一芯片开关盒中可选动作总数；a1,a2,a3,...,aM分别表示到达layer1、layer2、layer3…layerM层时所使用的动作，即使用动作a1达到layer1层、使用a2到达layer2层，使用动作a3达到layer3层，以此类推；aother表示到达其他SM所使用的动作；如图3所示；本实施例中，在型号为Virtex-2的FPGA中，若状态点s的可选动作中有To_Double(a1)动作，那么当状态s执行动作To_Double本文档来自技高网...

【技术保护点】
一种基于增强学习的FPGA互联资源配置生成方法，包括以下步骤：步骤1：建立基于增强学习的FPGA的互联资源模型FPGA中每个芯片开关盒(SM)结构相同且呈阵列排列，将芯片开关盒中每一个端点定义为一个状态s，采用SM坐标模型识别各SM中同一端点，得到FPGA系统状态集合：

【技术特征摘要】
1.一种基于增强学习的FPGA互联资源配置生成方法，包括以下步骤：步骤1：建立基于增强学习的FPGA的互联资源模型FPGA中每个芯片开关盒(SM)结构相同且呈阵列排列，将芯片开关盒中每一个端点定义为一个状态s，采用SM坐标模型识别各SM中同一端点，得到FPGA系统状态集合：其中，N为状态总数；将任一芯片开关盒中所有状态按其所连接金属互联线类型进行layer分层，各layer之间仅通过PIP(PointtoPoint)建立连接；基于layer参数以及后续状态是否离开SM，定义动作集合：其中，M为任一芯片开关盒中可选动作总数；a1,a2,a3,...,aM分别表示到达layer1、layer2、layer3…layerM层时所使用的动作；aother表示到达其他SM所使用的动作；步骤2：随机初始化状态转移矩阵；步骤3：初始化回报函数；步骤4：将状态转移矩阵和回报函数联合，根据基于增强学习的FPGA的互联资源模型，采用增强学习训练方法训练出策略π；步骤5：设置布线起始状态点s(0)，根据策略π完成配置走线：其中，s(t)表示在t时刻的状态、属于状态合集a(t)表示在t时刻所做的动作、属于动作集合t＝0,1,2,...,T-1、T表示配置走线总时刻数；步骤6：更新状态转移矩阵，更新规则如下：1)根据配置走线将其转换成T个经验知识和训练例&l...

【专利技术属性】
技术研发人员：阮爱武，赵一帆，许世阳，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川,51