一种无死锁路由方法、装置、存储介质及电子设备制造方法及图纸

本说明书公开了一种无死锁路由方法、装置、存储介质及电子设备。所述方法包括：获取各路由节点，并确定各路由节点之间的连接信息；根据连接信息，确定各路由节点在每种接收状态下采取不同输出行为时的初始收益信息；确定目标节点对应的奖励值，并根据路由算法对应的流量转向规则确定各路由节点在每种接收状态下采取不同输出行为时的奖励值；将初始收益信息输入预设的强化学习模型，以通过强化学习模型，根据奖励值对初始收益信息进行更新，得到不同源节点和目标节点的路由组合对应的目标收益信息；根据目标收益信息，生成各路由组合对应的路由表，并根据路由表执行路由任务。并根据路由表执行路由任务。并根据路由表执行路由任务。

【技术实现步骤摘要】
一种无死锁路由方法、装置、存储介质及电子设备


[0001]本说明书涉及计算机
，尤其涉及一种无死锁路由方法、装置、存储介质及电子设备。

技术介绍

[0002]随着集成电路技术的发展，基于先进封装技术的大规模晶上系统成为工业界以及学术界的研究热点。晶上系统通过晶上互连网络实现多工艺节点、异质异构芯粒通信。对于晶上互连网络而言，一个至关重要的问题是避免网络死锁。网络死锁会导致交换节点间数据包之间的依赖和占用关系形成环路，每个数据包都无法进一步的传向目的节点，最终导致网络崩溃。
[0003]然而，传统的路由方法仅适用于规则型的网络拓扑结构，并且无法均衡负载，在网络数据注入率较高的情况会面临严重阻塞问题。
[0004]因此，如何在解决网络死锁的前提下，提高路由方法的适用性，保证负载均衡，是一个亟待解决的问题。

技术实现思路

[0005]本说明书提供一种无死锁路由方法、装置、存储介质及电子设备，以部分的解决现有技术存在的上述问题。
[0006]本说明书采用下述技术方案：本说明书提供了一种无死锁路由方法，包括：获取各路由节点，并确定各路由节点之间的连接信息；根据所述连接信息，确定各路由节点在每种接收状态下采取不同输出行为时的初始收益信息，所述接收状态用于表征流量输入路由节点的方向，所述输出行为用于表征路由节点输出流量的方向；根据预设的路由算法确定流量转向规则，并根据所述流量转向规则确定各路由节点在每种接收状态下采取不同输出行为时的奖励值；将所述初始收益信息输入预设的强化学习模型，以通过所述强化学习模型，根据所述奖励值对所述初始收益信息进行更新，得到不同源节点和目标节点的路由组合对应的目标收益信息；根据所述目标收益信息，生成各路由组合对应的路由表，并根据所述路由表执行路由任务。
[0007]可选地，根据所述连接信息，确定各路由节点在每种接收状态下采取不同输出行为时的初始收益信息，具体包括：针对每个路由节点，若该路由节点与其他节点之间存在连接关系，则将该路由节点向所述其他节点进行流量输出的输出行为所对应的收益值设置为第一收益值，否则设置为第二收益值，其中，所述第一收益值为正值，所述第二收益值为负值，所述第二收益值的
绝对值大于所述第一收益值。
[0008]可选地，根据所述流量转向规则确定各路由节点在每种接收状态下采取不同输出行为时的奖励值，具体包括：针对每个路由节点，根据该路由节点对应的各接收状态以及各接收状态下的输出行为确定该路由节点对应的各流量转向；针对每种流量转向，判断该流量转向是否为所述流量转向规则所禁止的转向；若是，则将该流量转向对应输出行为的奖励值设置为第一奖励值，否则设置为第二奖励值，以及，将输入目标节点的输出行为所对应的奖励值设置为第三奖励值。
[0009]可选地，所述第一奖励值和所述第二奖励值为负值，所述第三奖励值为正值，所述第一奖励值的绝对值大于所述第二奖励值的绝对值，所述第二收益值的绝对值大于所述第一奖励值的绝对值。
[0010]可选地，所述方法还包括：针对每种流量转向，若该流量转向对应的接收状态和输出行为对应同一方向，则将该流量转向对应的输出行为设置为第四奖励值，其中，所述第四奖励值的绝对值小于所述第一奖励值的绝对值，大于所述第二奖励值的绝对值。
[0011]可选地，将所述初始收益信息输入预设的强化学习模型，以通过所述强化学习模型，根据所述奖励值对所述初始收益信息进行更新，得到不同源节点和目标节点的路由组合对应的目标收益信息，具体包括：初始化源节点以及源节点对应的接收状态，作为当前状态；使用贪心算法在有效行为集合中选择所述源节点在所述当前状态下采取的输出行为，作为当前行为；根据所述奖励值，更新所述当前状态下采取所述当前行为时的收益值；根据所述当前状态和所述当前行为，确定下一路由节点对应的接收状态，并根据所述初始收益信息，确定所述下一路由节点对应的接收状态下采取不同输出行为时的收益值；将所述当前状态更新为所述下一路由节点对应的接收状态并更新当前状态下采取当前行为时的收益值，直至当前状态对应的路由节点为目标节点，则根据更新后的收益值确定所述源节点和所述目标节点对应路由组合的目标收益信息。
[0012]可选地，在根据所述路由表执行路由任务之前，所述方法还包括：根据所述路由表，生成通道依赖图CDG；根据所述通道依赖图，判断所述路由表是否存在死锁。
[0013]本说明书提供了一种无死锁路由装置，包括：获取模块，获取各路由节点，并确定各路由节点之间的连接信息；第一确定模块，根据所述连接信息，确定各路由节点在每种接收状态下采取不同输出行为时的初始收益信息，所述接收状态用于表征流量输入路由节点的方向，所述输出行为用于表征路由节点输出流量的方向；第二确定模块，根据预设的路由算法确定流量转向规则，并根据所述流量转向规则确定各路由节点在每种接收状态下采取不同输出行为时的奖励值；更新模块，将所述初始收益信息输入预设的强化学习模型，以通过所述强化学习
模型，根据所述奖励值对所述初始收益信息进行更新，得到不同源节点和目标节点的路由组合对应的目标收益信息；路由模块，根据所述目标收益信息，生成各路由组合对应的路由表，并根据所述路由表执行路由任务。
[0014]本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述无死锁路由方法。
[0015]本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述无死锁路由方法。
[0016]本说明书采用的上述至少一个技术方案能够达到以下有益效果：在本说明书提供的无死锁路由方法中，获取各路由节点，并确定各路由节点之间的连接信息；根据连接信息，确定各路由节点在每种接收状态下采取不同输出行为时的初始收益信息；根据预设的路由算法确定各路由节点在每种接收状态下采取不同输出行为时的奖励值；将初始收益信息输入预设的强化学习模型，以通过强化学习模型，根据奖励值对初始收益信息进行更新，得到不同源节点和目标节点的路由组合对应的目标收益信息；根据目标收益信息，生成各路由组合对应的路由表，并根据路由表执行路由任务。
[0017]从上述方法可以看出，本方案一方面路可以通过算法来有效的避免网络锁死的情况，另一方面，初始收益信息是由连接信息进行确定的，这样可以使最终生成的路由表不仅适用于规则型网络拓扑，也适用于部分路由节点之间不存在连接的不规则型网络拓扑，通过将强化学习与路由算法进行结合来更新不同路由组合的收益信息，从而根据更新后的收益信息选择最优的路由路径来执行后续路由任务，并且，基于强化学习的路径选择过程具有随机性，在这种随机性条件下所生成的最终路由路径保证了实际路由过程中的负载均衡，防止出现阻塞问题，提高了路由可靠性。
附图说明
[0018]此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无死锁路由方法，其特征在于，包括：获取各路由节点，并确定各路由节点之间的连接信息；根据所述连接信息，确定各路由节点在每种接收状态下采取不同输出行为时的初始收益信息，所述接收状态用于表征流量输入路由节点的方向，所述输出行为用于表征路由节点输出流量的方向；根据预设的路由算法确定流量转向规则，并根据所述流量转向规则确定各路由节点在每种接收状态下采取不同输出行为时的奖励值；将所述初始收益信息输入预设的强化学习模型，以通过所述强化学习模型，根据所述奖励值对所述初始收益信息进行更新，得到不同源节点和目标节点的路由组合对应的目标收益信息；根据所述目标收益信息，生成各路由组合对应的路由表，并根据所述路由表执行路由任务。2.如权利要求1所述的方法，其特征在于，根据所述连接信息，确定各路由节点在每种接收状态下采取不同输出行为时的初始收益信息，具体包括：针对每个路由节点，若该路由节点与其他节点之间存在连接关系，则将该路由节点向所述其他节点进行流量输出的输出行为所对应的收益值设置为第一收益值，否则设置为第二收益值，其中，所述第一收益值为正值，所述第二收益值为负值，所述第二收益值的绝对值大于所述第一收益值。3.如权利要求2所述的方法，其特征在于，根据所述流量转向规则确定各路由节点在每种接收状态下采取不同输出行为时的奖励值，具体包括：针对每个路由节点，根据该路由节点对应的各接收状态以及各接收状态下的输出行为确定该路由节点对应的各流量转向；针对每种流量转向，判断该流量转向是否为所述流量转向规则所禁止的转向；若是，则将该流量转向对应输出行为的奖励值设置为第一奖励值，否则设置为第二奖励值，以及，将输入目标节点的输出行为所对应的奖励值设置为第三奖励值。4.如权利要求3所述的方法，其特征在于，所述第一奖励值和所述第二奖励值为负值，所述第三奖励值为正值，所述第一奖励值的绝对值大于所述第二奖励值的绝对值，所述第二收益值的绝对值大于所述第一奖励值的绝对值。5.如权利要求3所述的方法，其特征在于，所述方法还包括：针对每种流量转向，若该流量转向对应的接收状态和输出行为对应同一方向，则将该流量转向对应的输出行为设置为第四奖励值，其中，所述第四奖励值的绝对值小于所述第一奖励值的绝对值，大于所述第二奖励值的绝对值。6.如权利要求1所述的方...

【专利技术属性】
技术研发人员：万智泉，叶德好，
申请(专利权)人：之江实验室，
类型：发明
国别省市：