一种向终端设备部署模型的方法、装置和设备制造方法及图纸

本说明书实施例公开了一种向终端设备部署模型的方法、装置和设备，所述方法可基于NAS训练出若干大小不同但功能一致的模型，然后基于不同终端设备的算力表征参数，从训练出的若干模型中筛选出与不同终端设备的算力匹配的模型，筛选出的模型在不同的终端设备上的预设运行参数一致，最后将与不同终端设备的算力匹配的模型部署至相应的终端设备。配的模型部署至相应的终端设备。配的模型部署至相应的终端设备。

【技术实现步骤摘要】
一种向终端设备部署模型的方法、装置和设备


[0001]本文件涉及计算机
，尤其涉及一种向终端设备部署模型的方法、装置和设备。

技术介绍

[0002]随着经济技术的发展，终端设备越来越普及且越来越多样化，比如手机，几乎人手一部且种类繁多。并且，随着智能操作系统的日渐成熟，使得在不同终端设备上部署AI模型(以下简称模型)成为可能。
[0003]目前，虽然绝大部分终端设备都具有模型运行和计算能力，但是不同终端设备的算力存在优劣之分，这导致模型在不同终端设备上的运行和计算能力存在不公平和歧视的问题，导致用户体验不一致，比如，同样的模型，在算力好的手机上运行速度快，用户体验较好，而在算力相对较差的手机上运行速度比较慢，甚至还会出现闪退，不仅用户体验很差，而且会导致用户需要办理的一些业务无法顺利进行。

技术实现思路

[0004]本说明书实施例提供了一种向终端设备部署模型的方法、装置和设备，以解决相关技术中将模型在部署在不同终端设备上存在不公平和歧视性问题，以及由此所带来的用户体验不一致的问题。
[0005]为解决上述技术问题，本说明书实施例是这样实现的：
[0006]第一方面，提出了一种向终端设备部署模型的方法，包括：
[0007]基于神经架构搜索NAS训练出大小不同的若干模型，所述若干模型的功能一致；
[0008]基于不同终端设备的算力表征参数，从所述若干模型中筛选出与不同终端设备的算力匹配的模型，其中，为不同终端设备筛选的模型在各自终端设备上的预设运行参数一致，所述预设运行参数包括运行时间和能量消耗中的至少一项；
[0009]将与不同终端设备的算力匹配的模型部署至相应的终端设备。
[0010]第二方面，提出了一种向终端设备部署模型的装置，包括：
[0011]模型训练模块，基于神经架构搜索NAS训练出大小不同的若干模型，所述若干模型的功能一致；
[0012]模型筛选模块，基于不同终端设备的算力表征参数，从所述若干模型中筛选出与不同终端设备的算力匹配的模型，其中，为不同终端设备筛选的模型在各自终端设备上的预设运行参数一致，所述预设运行参数包括运行时间和能量消耗中的至少一项；
[0013]模型部署模块，将与不同终端设备的算力匹配的模型部署至相应的终端设备。
[0014]第三方面，提出了一种电子设备，包括：
[0015]处理器；以及
[0016]被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：
[0017]基于神经架构搜索NAS训练出大小不同的若干模型，所述若干模型的功能一致；
[0018]基于不同终端设备的算力表征参数，从所述若干模型中筛选出与不同终端设备的算力匹配的模型，其中，为不同终端设备筛选的模型在各自终端设备上的预设运行参数一致，所述预设运行参数包括运行时间和能量消耗中的至少一项；
[0019]将与不同终端设备的算力匹配的模型部署至相应的终端设备。
[0020]第四方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：
[0021]基于神经架构搜索NAS训练出大小不同的若干模型，所述若干模型的功能一致；
[0022]基于不同终端设备的算力表征参数，从所述若干模型中筛选出与不同终端设备的算力匹配的模型，其中，为不同终端设备筛选的模型在各自终端设备上的预设运行参数一致，所述预设运行参数包括运行时间和能量消耗中的至少一项；
[0023]将与不同终端设备的算力匹配的模型部署至相应的终端设备。
[0024]本说明书实施例提供的以上至少一个技术方案，由于可以基于NAS训练出大小不同但功能一致的若干模型，然后基于不同终端设备的算力表征参数，从所述若干模型中筛选出与不同终端设备的算力匹配的模型并部署，并且筛选时保证为不同终端设备筛选的模型在各自终端设备上的预设运行参数(运行时间和能量消耗中的至少一项)保持一致，因此可以消灭相关技术中将同一模型部署在不同终端设备上带来的不公平和歧视性问题，从而使得不同终端设备的用户在使用模型办理业务时获得无差别的、公平的良好使用体验。
附图说明
[0025]此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：
[0026]图1是本说明书实施例提供的一种向终端设备部署模型的方法的流程示意图。
[0027]图2是本说明书实施例提供的一种向终端设备部署模型的方法的效果示意图。
[0028]图3是本说明书实施例提供的one
‑
shot NAS的训练过程示意图。
[0029]图4是本说明书实施例提供的one
‑
shot NAS的训练结果示意图。
[0030]图5是本说明书实施例提供的one
‑
shot NAS训练过程中的参数共享原理示意图。
[0031]图6是本说明书实施例提供one
‑
shot NAS中的子网络A和子网络B的结构示意图。
[0032]图7是本说明书一个实施例提供的一种电子设备的结构示意图。
[0033]图8是本说明书一实施例提供的一种向终端设备部署模型的装置的结构示意图。
具体实施方式
[0034]为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本文件保护的范围。
[0035]为了解决相关技术中将模型在部署在不同终端设备上存在不公平和歧视的问题，
以及由此所带来的用户体验不一致的问题，本说明书实施例提出了一种向终端设备部署模型的方法和装置，该方法和装置可以由电子设备执行，或者由安装在电子设备中的软件或硬件设备执行。这里的电子设备可以包括但不限于服务器或另一终端设备，该另一终端设备可以包括但不限于个人电脑(personal computer，PC)、笔记本电脑等智能终端设备中的任一种，所述服务器包括但不限于：单台服务器、多台服务器、服务器集群以及云服务器中的任一种。
[0036]需要说明的是，本说明书实施例中所说的模型，可以是需要部署至终端设备以实现预设功能的任何AI模型，比如说，需要部署在手机上用于实现网络交易(包括网络转账)风险识别、二维码识别或人脸识别等功能中的任一功能的AI模型。对于用于实现不同功能的AI模型(应用于不同场景的AI模型)，其采用的训练数据(训练集)可能是不同的，比如说对于用于实现网络交易风险识别的AI模型，所采用的训练数据可以包括但不限于用户在网络本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种向终端设备部署模型的方法，包括：基于神经架构搜索NAS训练出大小不同的若干模型，所述若干模型的功能一致；基于不同终端设备的算力表征参数，从所述若干模型中筛选出与不同终端设备的算力匹配的模型，其中，为不同终端设备筛选的模型在各自终端设备上的预设运行参数一致，所述预设运行参数包括运行时间和能量消耗中的至少一项；将与不同终端设备的算力匹配的模型部署至相应的终端设备。2.根据权利要求1所述的方法，所述基于NAS训练出大小不同的若干模型，包括：基于one
‑
shot NAS训练出大小不同的若干模型。3.根据权利要求2所述的方法，所述基于one
‑
shot NAS训练出大小不同的若干模型，包括：构建超网络，其中，所述超网络中包含若干子网络，一个子网络为一个模型；循环执行指定步骤直到所述若干子网络收敛，得到大小不同的若干模型；其中，所述指定步骤包括：从所述超网络中采样多个子网络；基于训练集对所述多个子网络进行训练。4.根据权利要求3所述的方法，在基于训练集对采样得到的子网络进行训练过程中，对子网络中同一层的卷积核进行参数共享。5.根据权利要求4所述的方法，所述对子网络中同一层的卷积核进行参数共享，包括：从子网络中同一层的大尺寸的卷积核中获取小尺寸的卷积核，使得小尺寸的卷积核为大尺寸的卷积核的一部分。6.根据权利要求2
‑
5任一项所述的方法，所述从所述超网络中采样多个子网络，包括：基于预设采样规则从所述超网络中采样多个子网络，其中，所述预设采样规则是根据子网络中层的参数量和层的深度确定的，所述预设采样规则用于保证尺寸大的子网络被采样的概率大于尺寸小的子网络被采样的概率。7.根据权利要求6所述的方法，所述预设采样规则包括：基于均匀分布从所述超网络中初步采样n个子网络；对所述n个子网络中的任一子网络，分别基于该子网络各层的深度和各层中的参数量中的至少一项，确定该子网络的采样因子；按采样因子的大小对所述n个子网络进行降序排序；将排序在前的m个子网络作为最终采样的多个子网络。8.根据权利要求7所述的方法，所述基于该子网络各层的深度和各层中的参数量中的至少一项，确定该子网络的采样因子，包括：基于下述公式确定子网络的采样因子：λ
i
＝∑
i
α
j
·
p
ij
其中，λ
i
表示第i个子网络的采样因子，α
j
表示第i个子网络的第j个层的深度对收敛的影响，越靠近输出层α
j
越小，p
ij
表示第i个子网络的第j个层中的参数量。9.根据权利要求2
...

【专利技术属性】
技术研发人员：张长浩，申书恒，傅欣艺，王维强，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：