一种层级式神经网络模型部署方法及相关装置制造方法及图纸

本申请公开了一种层级式神经网络模型部署方法及相关装置，方法包括：在云端中心服务器上采用全局训练数据集和实时微调数据集对不同的初始场景模型进行训练和微调，得到多种优化场景模型；接收到边缘服务器的模型请求信息后，根据优化场景模型生成模型文件分发至边缘服务器，模型请求信息包括场景标识和设备信息；通过边缘服务器对模型文件中的适用场景模型进行一致性校验，并在校验通过后，根据智能设备信息将适用场景模型部署至端侧智能设备的异构芯片上

【技术实现步骤摘要】
一种层级式神经网络模型部署方法及相关装置


[0001]本申请涉及神经网络
，尤其涉及一种层级式神经网络模型部署方法及相关装置
。

技术介绍

[0002]在算法模型应用中，场景的时间空间的区别普遍存在，比如光照
、
环境
、
角度等因素，使得不同智能设备采集的数据特征存在不同程度的区别，导致算法模型部署在不同区域时，模型性能表现不稳定
。
为了使模型能够更好的适配场景，目前常用的方式是针对模型部署场景进行数据采集并用于进行优化训练，使模型学习场景特有的特征，以提高模型在该场景下的性能表现
。
当模型部署后，发现端侧智能设备部署的模型性能下降不能满足场景性能要求时，即需要通过该端侧设备采集到的数据，对模型进行重新训练和部署
。
[0003]现有技术在当场景非常多的时候，每一个独立的算法模型微调所带来的工作量也会极其繁重，而且占用大量的计算资源
。
而且，模型一旦完成部署就不能及时更新，无法有效维持精确度
。

技术实现思路

[0004]本申请提供了一种层级式神经网络模型部署方法及相关装置，用于解决现有优化模型在多种应用场景下的微调计算量较大，且部署后难以及时更新，无法确保模型的准确度的技术问题
。
[0005]有鉴于此，本申请第一方面提供了一种层级式神经网络模型部署方法，包括：
[0006]在云端中心服务器上采用全局训练数据集和实时微调数据集对不同的初始场景模型进行训练和微调，得到多种优化场景模型；
[0007]接收到边缘服务器的模型请求信息后，根据所述优化场景模型生成模型文件分发至所述边缘服务器，所述模型请求信息包括场景标识和设备信息；
[0008]通过所述边缘服务器对所述模型文件中的适用场景模型进行一致性校验，并在校验通过后，根据智能设备信息将所述适用场景模型部署至端侧智能设备的异构芯片上
。
[0009]优选地，所述在云端中心服务器上采用全局训练数据集和实时微调数据集对不同的初始场景模型进行训练和微调，得到多种优化场景模型，包括：
[0010]在云端中心服务器上采用全局训练数据集对初始场景模型进行通用场景应用训练，得到多种通用场景模型；
[0011]通过所述云端中心服务器采集端侧智能设备上的不同场景数据集，得到实时微调数据集；
[0012]采用所述实时微调数据集对所述通用场景模型进行微调，得到多种优化场景模型
。
[0013]优选地，所述接收到边缘服务器的模型请求信息后，根据所述优化场景模型生成模型文件分发至所述边缘服务器，所述模型请求信息包括场景标识和设备信息，包括：
[0014]接收到到边缘服务器的模型请求信息后，根据所述模型请求信息在多种所述优化场景模型中为各个所述边缘服务器选取适用场景模型，所述模型请求信息包括场景标识和设备信息；
[0015]将所述适用场景模型生成模型文件后分发至各个所述边缘服务器，所述模型文件包括所述适用场景模型的大小和格式
。
[0016]优选地，所述通过所述边缘服务器对所述模型文件中的适用场景模型进行一致性校验，并在校验通过后，根据智能设备信息将所述适用场景模型部署至端侧智能设备的异构芯片上，包括：
[0017]通过所述边缘服务器获取端侧智能设备的智能设备信息，所述智能设备信息包括设备类型
、
操作系统和芯片类型；
[0018]对所述模型文件中的适用场景模型进行一致性校验，并在校验通过后，根据所述智能设备信息将所述适用场景模型部署至所述端侧智能设备的异构芯片上
。
[0019]本申请第二方面提供了一种层级式神经网络模型部署装置，包括：
[0020]模型训练单元，用于在云端中心服务器上采用全局训练数据集和实时微调数据集对不同的初始场景模型进行训练和微调，得到多种优化场景模型；
[0021]模型发送单元，用于接收到边缘服务器的模型请求信息后，根据所述优化场景模型生成模型文件分发至所述边缘服务器，所述模型请求信息包括场景标识和设备信息；
[0022]模型部署单元，用于通过所述边缘服务器对所述模型文件中的适用场景模型进行一致性校验，并在校验通过后，根据智能设备信息将所述适用场景模型部署至端侧智能设备的异构芯片上
。
[0023]优选地，所述模型训练单元，具体用于：
[0024]在云端中心服务器上采用全局训练数据集对初始场景模型进行通用场景应用训练，得到多种通用场景模型；
[0025]通过所述云端中心服务器采集端侧智能设备上的不同场景数据集，得到实时微调数据集；
[0026]采用所述实时微调数据集对所述通用场景模型进行微调，得到多种优化场景模型
。
[0027]优选地，所述模型发送单元，具体用于：
[0028]接收到到边缘服务器的模型请求信息后，根据所述模型请求信息在多种所述优化场景模型中为各个所述边缘服务器选取适用场景模型，所述模型请求信息包括场景标识和设备信息；
[0029]将所述适用场景模型生成模型文件后分发至各个所述边缘服务器，所述模型文件包括所述适用场景模型的大小和格式
。
[0030]优选地，所述模型部署单元，具体用于：
[0031]通过所述边缘服务器获取端侧智能设备的智能设备信息，所述智能设备信息包括设备类型
、
操作系统和芯片类型；
[0032]对所述模型文件中的适用场景模型进行一致性校验，并在校验通过后，根据所述智能设备信息将所述适用场景模型部署至所述端侧智能设备的异构芯片上
。
[0033]本申请第三方面提供了一种层级式神经网络模型部署设备，所述设备包括处理器
以及存储器；
[0034]所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
[0035]所述处理器用于根据所述程序代码中的指令执行第一方面所述的层级式神经网络模型部署方法
。
[0036]本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行第一方面所述的层级式神经网络模型部署方法
。
[0037]从以上技术方案可以看出，本申请实施例具有以下优点：
[0038]本申请中，提供了一种层级式神经网络模型部署方法，包括：在云端中心服务器上采用全局训练数据集和实时微调数据集对不同的初始场景模型进行训练和微调，得到多种优化场景模型；接收到边缘服务器的模型请求信息后，根据优化场景模型生成模型文件分发至边缘服务器，模型请求信息包括场景标识和设备信息；通过边缘服务器对模型文件中的适用场景模型进行一致性校验，并在校验通过后，根据智能设备信息将适用场景模型部署至端侧智能设备的异构芯片上
。
[0039]本申请提供的层级式神经网络模型部署方法，通过层级式架构对不同场景的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种层级式神经网络模型部署方法，其特征在于，包括：在云端中心服务器上采用全局训练数据集和实时微调数据集对不同的初始场景模型进行训练和微调，得到多种优化场景模型；接收到边缘服务器的模型请求信息后，根据所述优化场景模型生成模型文件分发至所述边缘服务器，所述模型请求信息包括场景标识和设备信息；通过所述边缘服务器对所述模型文件中的适用场景模型进行一致性校验，并在校验通过后，根据智能设备信息将所述适用场景模型部署至端侧智能设备的异构芯片上
。2.
根据权利要求1所述的层级式神经网络模型部署方法，其特征在于，所述在云端中心服务器上采用全局训练数据集和实时微调数据集对不同的初始场景模型进行训练和微调，得到多种优化场景模型，包括：在云端中心服务器上采用全局训练数据集对初始场景模型进行通用场景应用训练，得到多种通用场景模型；通过所述云端中心服务器采集端侧智能设备上的不同场景数据集，得到实时微调数据集；采用所述实时微调数据集对所述通用场景模型进行微调，得到多种优化场景模型
。3.
根据权利要求1所述的层级式神经网络模型部署方法，其特征在于，所述接收到边缘服务器的模型请求信息后，根据所述优化场景模型生成模型文件分发至所述边缘服务器，所述模型请求信息包括场景标识和设备信息，包括：接收到到边缘服务器的模型请求信息后，根据所述模型请求信息在多种所述优化场景模型中为各个所述边缘服务器选取适用场景模型，所述模型请求信息包括场景标识和设备信息；将所述适用场景模型生成模型文件后分发至各个所述边缘服务器，所述模型文件包括所述适用场景模型的大小和格式
。4.
根据权利要求1所述的层级式神经网络模型部署方法，其特征在于，所述通过所述边缘服务器对所述模型文件中的适用场景模型进行一致性校验，并在校验通过后，根据智能设备信息将所述适用场景模型部署至端侧智能设备的异构芯片上，包括：通过所述边缘服务器获取端侧智能设备的智能设备信息，所述智能设备信息包括设备类型
、
操作系统和芯片类型；对所述模型文件中的适用场景模型进行一致性校验，并在校验通过后，根据所述智能设备信息将所述适用场景模型部署至所述端侧智能设备的异构芯片上
。5.
一种层级式神经网络模型部署装置，其特征在于，包括：模型训练单元，用于在云端中心服务...

【专利技术属性】
技术研发人员：张殷，蒋维，熊仕斌，王俊波，李国伟，唐琪，罗容波，范心明，李新，董镝，宋安琪，陈贤熙，曾庆辉，刘少辉，刘昊，石俏，赖艳珊，王智娇，刘崧，李兰茵，李浩，姜沛东，林雅俐，
申请(专利权)人：广东电网有限责任公司佛山供电局，
类型：发明
国别省市：