路由器存储模型的蒸馏提取方法、装置和存储介质制造方法及图纸

本发明专利技术提供一种路由器存储模型的蒸馏提取方法、装置和存储介质，所述方法包括：智简网络中的路由器获得多个需求类型对应的模型流行度表；基于模型流行度表中各需求类型对应的模型流行度的排序存储预定数量的模型，并记录存储模型针对各需求类型的置信度或满意度指标；利用非极大值抑制算法选取各需求类型对应的存储模型中置信度或满意度指标最优的模型作为该需求类型的最佳模型；获取用户的需求类型，基于与用户的需求类型对应的最佳模型进行蒸馏提取，获得用户专属模型，并向该用户发送用户专属模型。本发明专利技术能够针对用户具体需求提供一种最佳模型来提高智简网络的性能。供一种最佳模型来提高智简网络的性能。供一种最佳模型来提高智简网络的性能。

【技术实现步骤摘要】
路由器存储模型的蒸馏提取方法、装置和存储介质


[0001]本专利技术涉及语义通信
，尤其涉及一种路由器存储模型的蒸馏提取方法和装置。

技术介绍

[0002]相比于主要通过资源堆叠来提升网络能力的传统网络设计理念，智简网络能够实现语义信息的表征与传递。鉴于智简网络中存在部分智能节点，因此智简网络可通过高度融合神经网络与节点，将网络节点间传统的数据共享变为神经网络模型共享，同时，节点功能由传统的存储数据变为存储神经网络模型，在此基础上智简网络根据网络内部和外部需求进行模型自主学习和更新，实现基于网络原生智能的认知与学习，形成具有群体智能的高度自治网络。其中，外部需求主要包括如用户端发起的需求；内部需求则主要是智简网络自身内部演进的需求，例如网络中转发模型的数据越来越多，而硬件资源有限，可能需要对模型进行轻量化等更新操作。智简网络的特点在于网络传输信息量少，在同等网络传输速率下能够拥有更高的网络吞吐量。这得益于智简网络能够充分利用智能节点的运算处理能力，不再直接传输信息本身，而是传输信息的语义特征，以及进行语义解码的深度学习模型，将解码恢复传输信息的工作交由接收端的深度学习模型进行处理。智简网络传播的核心是传播模型，不是传播内容。在智简网络中，节点能存储模型并根据需求适时地分享自身存储模型。
[0003]智简路由器，即处于智简网络中的路由器，是智简网络中数据或模型沟通的桥梁节点，在转发数据或模型的同时，能够读取相关的信息，保留能提升自身模型性能的数据或模型，增加自己的知识库，扩展存储的数据集，再对模型通过增量学习、迁移学习、联邦学习等方式进行训练，提升自身模型性能，进而提升周围节点模型性能，降低网络模型传输损耗。
[0004]但当前智简网络仅提出了基于传播模型的语义通信方式，尚未提出满足用户需求的具体实施方案，如果将路由器自身存储的模型直接反馈给用户，不仅缺乏模型针对性而且影响智简网络的性能，因此如何针对用户具体需求提供一种最佳模型来提高智简网络的性能，从而加快用户请求处理的速度、确保信息传递的准确性以及提高最佳模型与用户具体需求的匹配度，是一个有待解决的问题。

技术实现思路

[0005]鉴于此，本专利技术实施例提供了一种路由器存储模型的蒸馏提取方法和装置，以针对用户的具体需求提供最佳的用户专属模型，由此来提高智简网络中模型的性能表现。
[0006]本专利技术的一个方面提供了一种路由器存储模型的蒸馏提取方法，该方法包括以下步骤：
[0007]智简网络中的路由器获得多个需求类型对应的模型流行度表；
[0008]基于模型流行度表中各需求类型对应的模型流行度的排序存储预定数量的模型
作为候选模型，并记录候选模型针对各需求类型的置信度或满意度指标；
[0009]利用非极大值抑制算法分别对各需求类型对应的候选模型进行置信度或满意度指标排序，将各需求类型对应的候选模型中置信度或满意度指标最优的模型作为该需求类型的最佳模型；
[0010]获取用户的需求类型，基于与用户的需求类型对应的最佳模型进行蒸馏提取，获得用户专属模型，并向用户发送该用户专属模型。
[0011]在本专利技术的一些实施例中，所述方法还包括：智简网络中的路由器根据网络节点的需求历史获得需求流行度表；
[0012]基于模型流行度表中各需求类型对应的模型流行度的排序存储预定数量的模型作为候选模型，并记录候选模型针对各需求类型的置信度或满意度指标，包括：
[0013]基于需求流行度表中各需求类型的流行度排序选择设定数量的需求类型；
[0014]基于模型流行度表中所选择的每一需求类型对应的各模型的流行度排序选择预定数量的模型作为相应需求类型对应的候选模型进行存储；
[0015]记录候选模型针对各需求类型的置信度或满意度指标。
[0016]在本专利技术的一些实施例中，路由器存储的候选模型的预定数量是基于路由器硬件存储资源设定的；
[0017]需求类型包括：数据集需求、时延需求和恢复精度需求。
[0018]在本专利技术的一些实施例中，候选模型针对各需求类型的置信度或满意度指标包括模型性能针对各需求类型的置信度或满意度得分以及模型大小针对各需求类型的置信度或满意度得分；
[0019]利用非极大值抑制算法分别对各需求类型对应的候选模型进行置信度或满意度指标排序，包括：
[0020]基于资源限制，对模型性能针对各需求类型的置信度或满意度得分以及模型大小针对各需求类型的置信度或满意度得分进行加权求和，得到各需求类型对应的候选模型置信度或满意度得分；
[0021]利用非极大值抑制算法分别对各需求类型对应的候选模型置信度或满意度得分进行排序。
[0022]在本专利技术的一些实施例中，智简网络中的路由器获得多个需求类型对应的模型流行度表是根据以下方式获得的：
[0023]智简网络中的路由器根据其关联的网络节点的各需求类型对应的模型传输历史获得多个需求类型对应的模型流行度表；
[0024]智简网络中的路由器从通信范围内的路由器获得多个需求类型对应的模型流行度表；或者
[0025]智简网络中的路由器基于其关联的网络节点的各需求类型对应的模型传输历史以及通信范围内的路由器广播的模型流行度表获得多个需求类型对应的模型流行度表。
[0026]在本专利技术的一些实施例中，在用户的需求类型包括两种或多种需求类型的情况下，基于与用户的需求类型对应的最佳模型进行蒸馏提取，获得用户专属模型，包括：
[0027]在两种或多种需求类型中包含具有相同属性的不同需求类型的情况下，路由器同时蒸馏相同属性的不同需求类型对应的各自的最佳模型，提取得到多个模型，将得到的多
个模型再次蒸馏为一个满足相同属性的不同需求类型的模型，并将再次蒸馏得到的模型作为用户专属模型；
[0028]在两种或多种需求类型中包含具有不同属性的不同需求类型的情况下，路由器通过蒸馏不同属性的不同需求类型对应的各自的最佳模型得到不同属性的不同需求类型对应的多个用户专属模型。
[0029]在本专利技术的一些实施例中，所述用户的需求类型和所述用户专属模型在智简网络中的路由器之间进行广播。
[0030]在本专利技术的一些实施例中，获取用户的需求类型，基于与用户的需求类型对应的最佳模型进行蒸馏提取，获得用户专属模型，包括：
[0031]获取用户的需求类型，基于与用户的需求类型对应的最佳模型单独进行蒸馏提取，得到一个用户专属模型；或者
[0032]获取用户的需求类型，基于与用户的需求类型对应的最佳模型以及至少一个次优模型同时进行蒸馏提取，得到一个用户专属模型。
[0033]本专利技术的另一方面提供了一种路由器存储模型的蒸馏提取装置，该装置包括：处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现上述任一实施例所述方法的步骤。
[0034]本专利技术的另一方面提供了一种计算机可读存储介质，其本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种路由器存储模型的蒸馏提取方法，其特征在于，该方法包括以下步骤：智简网络中的路由器获得多个需求类型对应的模型流行度表；基于模型流行度表中各需求类型对应的模型流行度的排序存储预定数量的模型作为候选模型，并记录所述候选模型针对各需求类型的置信度或满意度指标；利用非极大值抑制算法分别对各需求类型对应的候选模型进行置信度或满意度指标排序，将各需求类型对应的候选模型中置信度或满意度指标最优的模型作为该需求类型的最佳模型；获取用户的需求类型，基于与用户的需求类型对应的最佳模型进行蒸馏提取，获得用户专属模型，并向用户发送所述用户专属模型。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：智简网络中的路由器根据网络节点的需求历史获得需求流行度表；所述基于模型流行度表中各需求类型对应的模型流行度的排序存储预定数量的模型作为候选模型，并记录所述候选模型针对各需求类型的置信度或满意度指标，包括：基于所述需求流行度表中各需求类型的流行度排序选择设定数量的需求类型；基于模型流行度表中所选择的每一需求类型对应的各模型的流行度排序选择预定数量的模型作为相应需求类型对应的候选模型进行存储；记录所述候选模型针对各需求类型的置信度或满意度指标。3.根据权利要求1所述的方法，其特征在于，路由器存储的候选模型的预定数量是基于路由器硬件存储资源设定的；所述需求类型包括：数据集需求、时延需求和恢复精度需求。4.根据权利要求1所述的方法，其特征在于，所述候选模型针对各需求类型的置信度或满意度指标包括模型性能针对各需求类型的置信度或满意度得分以及模型大小针对各需求类型的置信度或满意度得分；所述利用非极大值抑制算法分别对各需求类型对应的候选模型进行置信度或满意度指标排序，包括：基于资源限制，对模型性能针对各需求类型的置信度或满意度得分以及模型大小针对各需求类型的置信度或满意度得分进行加权求和，得到各需求类型对应的候选模型置信度或满意度得分；利用非极大值抑制算法分别对各需求类型对应的候选模型置信度或满意度得分进行排序。5.根据权利要求1所述的方法，其特征在于，智简网络中的路由器获得多个需求类型对应的模型流...

【专利技术属性】
技术研发人员：董辰，刘洋，姚亮，任洁，
申请(专利权)人：北京智芯微电子科技有限公司国网思极紫光青岛微电子科技有限公司，
类型：发明
国别省市：