本公开实施例提供一种离线模型部署方法和装置、网络设备、分析器，所述方法包括：将本设备的状态信息发送至分析器，以使所述分析器基于本设备的状态信息对本设备的AI推理芯片上部署的当前离线模型进行训练，得到目标离线模型；获取所述分析器发送的所述目标离线模型的模型文件的存储位置和文件名；基于所述模型文件的存储位置和文件名对所述模型文件进行下载；通知本设备上的目标AI应用将下载的模型文件下刷到所述AI推理芯片，以使所述AI推理芯片对所述当前离线模型进行更新。片对所述当前离线模型进行更新。片对所述当前离线模型进行更新。
【技术实现步骤摘要】
离线模型部署方法和装置、网络设备、分析器
[0001]本公开涉及人工智能
，尤其涉及离线模型部署方法和装置、网络设备、分析器。
技术介绍
[0002]目前，很多边缘节点（例如网络设备）上都会安装AI推理芯片，AI推理芯片可以部署离线模型，从而对输入的数据进行推理计算。一些离线模型需要周期性地通过经验回放的方式进行重新训练。然而，重新训练的离线模型需要通过软件栈来生成可以在AI推理芯片上的模型文件，而软件栈所依赖的数据包比较大，难以在边缘节点上部署；并且，AI推理芯片往往仅具有AI推理功能，而不具有AI训练功能。因此，难以在边缘节点上对离线模型进行重新训练，从而导致这些需要周期性地进行重新训练的离线模型在边缘节点上的应用受到限制。
技术实现思路
[0003]第一方面，本公开实施例提供一种离线模型部署方法，应用于网络设备，所述方法包括：将本设备的状态信息发送至分析器，以使所述分析器基于本设备的状态信息对本设备的AI推理芯片上部署的当前离线模型进行训练，得到目标离线模型；获取所述分析器发送的所述目标离线模型的模型文件的存储位置和文件名；基于所述模型文件的存储位置和文件名对所述模型文件进行下载；通知本设备上的目标AI应用将下载的模型文件下刷到所述AI推理芯片，以使所述AI推理芯片对所述当前离线模型进行更新。
[0004]在一些实施例中，所述通知本设备上的目标AI应用将下载的模型文件下刷到所述AI推理芯片，包括：将本设备上运行的AI应用中应用名与所述模型文件的文件名相对应的AI应用确定为目标AI应用；通知所述目标AI应用将下载的模型文件下刷到所述AI推理芯片。
[0005]在一些实施例中，本设备与所述分析器通过第一接口相连接，所述模型文件的存储位置和文件名由所述分析器调用所述第一接口发送到本设备；和/或本设备与所述分析器通过第二接口相连接，本设备通过调用所述第二接口对所述模型文件进行下载。
[0006]在一些实施例中，所述目标AI应用基于以下方式将下载的模型文件下刷到所述AI推理芯片：获取所述当前离线模型的任务执行状态，所述当前离线模型的任务执行状态用于表征所述当前离线模型是否正在执行推理任务；若所述当前离线模型的任务执行状态表征所述当前离线模型正在执行推理任务，
在所述推理任务执行完成之后，暂停所述当前离线模型执行新的推理任务，并将下载的模型文件下刷到所述AI推理芯片。
[0007]在一些实施例中，所述基于所述模型文件的存储位置和文件名对所述模型文件进行下载，包括：基于所述模型文件的存储位置和文件名将所述模型文件下载到本设备中的第一存储地址；所述第一存储地址预先映射到所述AI推理芯片中的第二存储地址；所述目标AI应用基于以下方式将下载的模型文件下刷到所述AI推理芯片：基于所述第一存储地址与所述第二存储地址之间的映射关系，从所述第一存储地址获取下载的模型文件，并将下载的模型文件下刷到所述第二存储地址。
[0008]在一些实施例中，所述将本设备的状态信息发送至分析器，包括：获取所述分析器对所述状态信息的订阅请求；基于所述分析器对所述状态信息的订阅请求将本设备的状态信息发送至分析器。
[0009]在一些实施例中，本设备在当前时刻的状态信息基于所述当前离线模型对本设备在上一时刻的状态信息的推理计算结果得到。
[0010]第二方面，本公开实施例提供一种离线模型部署方法，应用于分析器，所述方法包括：接收网络设备发送的所述网络设备的状态信息；基于所述网络设备的状态信息对所述网络设备的AI推理芯片上部署的当前离线模型进行训练，得到目标离线模型；将所述目标离线模型的模型文件的存储位置和文件名发送至所述网络设备，以使所述网络设备基于所述模型文件的存储位置和文件名对所述模型文件进行下载，下载的模型文件用于对所述当前离线模型进行更新。
[0011]第三方面，本公开实施例提供一种离线模型部署装置，应用于网络设备，所述装置包括：第一发送模块，用于将本设备的状态信息发送至分析器，以使所述分析器基于本设备的状态信息对本设备的AI推理芯片上部署的当前离线模型进行训练，得到目标离线模型；获取模块，用于获取所述分析器发送的所述目标离线模型的模型文件的存储位置和文件名；下载模块，用于基于所述模型文件的存储位置和文件名对所述模型文件进行下载；通知模块，用于通知本设备上的目标AI应用将下载的模型文件下刷到所述AI推理芯片，以使所述AI推理芯片对所述当前离线模型进行更新。
[0012]第四方面，本公开实施例提供一种离线模型部署装置，应用于分析器，所述装置包括：接收模块，用于接收网络设备发送的所述网络设备的状态信息；训练模块，用于基于所述网络设备的状态信息对所述网络设备的AI推理芯片上部署的当前离线模型进行训练，得到目标离线模型；第二发送模块，用于将所述目标离线模型的模型文件的存储位置和文件名发送至
所述网络设备，以使所述网络设备基于所述模型文件的存储位置和文件名对所述模型文件进行下载，下载的模型文件用于对所述当前离线模型进行更新。
[0013]第五方面，本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一实施例所述的方法。
[0014]第六方面，本公开实施例提供一种网络设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现任一实施例所述的应用于网络设备的方法。
[0015]第七方面，本公开实施例提供一种分析器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现任一实施例所述的应用于分析器的方法。
[0016]在本公开实施例中，通过将网络设备的状态信息发送给分析器，从而能够在分析器中对当前离线模型进行训练，训练出的目标离线模型可以部署到AI推理芯片上，并更新当前离线模型。这样，就完成了旧模型（当前离线模型）到新模型（目标离线模型）的切换，使得能够周期性地通过经验回放的方式对AI推理芯片上部署的当前离线模型进行重新训练，从而能够将强化学习网络等需要周期性地进行重新训练的离线模型也能够应用于网络设备中，实现边缘智能。在万物皆可AI的智能时代，具有重要意义，将极大地提高网络设备的性能。
[0017]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。
附图说明
[0018]此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
[0019]图1是一些实施例的网络设备的应用场景的示意图。
[0020]图2是使用Pytorch模型文件制作离线模型的流程图。
[0021]图3是一些实施例的强化学习网络的原理示意图。
[0022]图4是本公开实施例的离线模型部署方法的流程图。
[0023]图5是云边协同方案的实现框图。
[0024]图6是网络设备在线模型升级过程的实现框图。
[本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种离线模型部署方法，其特征在于，应用于网络设备，所述方法包括：将本设备的状态信息发送至分析器，以使所述分析器基于本设备的状态信息对本设备的AI推理芯片上部署的当前离线模型进行训练，得到目标离线模型；获取所述分析器发送的所述目标离线模型的模型文件的存储位置和文件名；基于所述模型文件的存储位置和文件名对所述模型文件进行下载；通知本设备上的目标AI应用将下载的模型文件下刷到所述AI推理芯片，以使所述AI推理芯片对所述当前离线模型进行更新。2.根据权利要求1所述的方法，其特征在于，所述通知本设备上的目标AI应用将下载的模型文件下刷到所述AI推理芯片，包括：将本设备上运行的AI应用中应用名与所述模型文件的文件名相对应的AI应用确定为目标AI应用；通知所述目标AI应用将下载的模型文件下刷到所述AI推理芯片。3.根据权利要求1所述的方法，其特征在于，本设备与所述分析器通过第一接口相连接，所述模型文件的存储位置和文件名由所述分析器调用所述第一接口发送到本设备；和/或本设备与所述分析器通过第二接口相连接，本设备通过调用所述第二接口对所述模型文件进行下载。4.根据权利要求1所述的方法，其特征在于，所述目标AI应用基于以下方式将下载的模型文件下刷到所述AI推理芯片：获取所述当前离线模型的任务执行状态，所述当前离线模型的任务执行状态用于表征所述当前离线模型是否正在执行推理任务；若所述当前离线模型的任务执行状态表征所述当前离线模型正在执行推理任务，在所述推理任务执行完成之后，暂停所述当前离线模型执行新的推理任务，并将下载的模型文件下刷到所述AI推理芯片。5.根据权利要求1所述的方法，其特征在于，所述基于所述模型文件的存储位置和文件名对所述模型文件进行下载，包括：基于所述模型文件的存储位置和文件名将所述模型文件下载到本设备中的第一存储地址；所述第一存储地址预先映射到所述AI推理芯片中的第二存储地址；所述目标AI应用基于以下方式将下载的模型文件下刷到所述AI推理芯片：基于所述第一存储地址与所述第二存储地址之间的映射关系，从所述第一存储地址获取下载的模型文件，并将下载的模型文件下刷到所述第二存储地址。6.根据权利要求1所述的方法，其特征在于，所述将本设备的状态信息发送至分析器，包括：获取所述分析器对所述状态信息的订阅请求；基于所述分析器对所述状态信息的订阅请...
【专利技术属性】
技术研发人员：王明辉，
申请(专利权)人：新华三技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。