一种机器学习模型的部署方法、系统和可读存储介质技术方案

本申请公开了一种机器学习模型的部署方法、系统和可读存储介质，该机器学习模型的部署方法包括：从人工智能开放平台获取机器学习模型，基于机器学习模型的权重数据的分布情况对机器学习模型的权重数据进行压缩，得到压缩后的机器学习模型；将压缩后的机器学习模型发送至待部署的嵌入式设备，以使得嵌入式设备接收压缩后的机器学习模型，将压缩后的机器学习模型的权重数据转换成与压缩前的机器学习模型的权重数据的值域相同的浮点数，并对浮点数进行运算，以完成机器学习模型在嵌入式设备上的轻量级部署。通过上述方式，本申请能够提高机器学习模型的轻量级部署效率。机器学习模型的轻量级部署效率。机器学习模型的轻量级部署效率。

【技术实现步骤摘要】
一种机器学习模型的部署方法、系统和可读存储介质


[0001]本申请涉及模型部署
，具体涉及一种机器学习模型的部署方法、系统和可读存储介质。

技术介绍

[0002]目前通过将训练成熟的机器学习模型部署到嵌入式设备中，使得机器学习模型在嵌入式设备中实现应用，然而一般情况下机器学习模型的内存体积都较大，将机器学习模型部署到轻量级(即内存量较小)的嵌入式设备中的效率低，甚至可能无法部署到轻量级的嵌入式设备中，因此如何将机器学习模型高效地部署在轻量级的嵌入式设备成为了亟待解决的问题。

技术实现思路

[0003]本申请提供一种机器学习模型的部署方法、系统和可读存储介质，能够提高机器学习模型的轻量级部署效率。
[0004]为解决上述技术问题，本申请采用的技术方案是：提供一种机器学习模型的部署方法，应用于机器学习模型的部署系统中的压缩装置，该机器学习模型的部署方法包括：从人工智能开放平台获取机器学习模型，基于机器学习模型的权重数据的分布情况对机器学习模型的权重数据进行压缩，得到压缩后的机器学习模型；其中压缩后的机器学习模型的所有权重数据的比特数之和小于压缩前的机器学习模型的所有权重数据的比特数之和；将压缩后的机器学习模型发送至待部署的嵌入式设备，以使得嵌入式设备接收压缩后的机器学习模型，将压缩后的机器学习模型的权重数据转换成与压缩前的机器学习模型的权重数据的值域相同的浮点数，并对浮点数进行运算，以完成机器学习模型在嵌入式设备上的轻量级部署。
[0005]为解决上述技术问题，本申请采用的另一技术方案是：提供一种机器学习模型的部署方法，应用于机器学习模型的部署系统中的嵌入式设备，该机器学习模型的部署方法包括：从压缩装置接收压缩装置发送的压缩后的机器学习模型；其中，压缩装置用于从人工智能开放平台获取机器学习模型，基于机器学习模型的权重数据的分布情况对机器学习模型的权重数据进行压缩，得到压缩后的机器学习模型；其中压缩后的机器学习模型的所有权重数据的比特数之和小于压缩前的机器学习模型的所有权重数据的比特数之和；将压缩后的机器学习模型的权重数据转换成与压缩前的机器学习模型的权重数据的值域相同的浮点数，并对浮点数进行运算，以完成机器学习模型在嵌入式设备上的轻量级部署。
[0006]为解决上述技术问题，本申请采用的又一技术方案是：提供一种机器学习模型的部署系统，部署系统包括人工智能开放平台、压缩装置以及嵌入式设备，人工智能开放平台与压缩装置连接，人工智能开放平台与压缩装置连接，人工智能开放平台用于训练得到机器学习模型；压缩装置用于从人工智能开放平台获取机器学习模型，基于机器学习模型的权重数据的分布情况对机器学习模型的权重数据进行压缩，得到压缩后的机器学习模型；
其中压缩后的机器学习模型的所有权重数据的比特数之和小于压缩前的机器学习模型的所有权重数据的比特数之和；将压缩后的机器学习模型发送至待部署的嵌入式设备；嵌入式设备与压缩装置连接，嵌入式设备用于接收压缩后的机器学习模型，将压缩后的机器学习模型的权重数据转换成与压缩前的机器学习模型的权重数据的值域相同的浮点数，并对浮点数进行运算，以完成机器学习模型在嵌入式设备上的轻量级部署。
[0007]为解决上述技术问题，本申请采用的又一技术方案是：提供一种计算机可读存储介质，计算机可读存储介质用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述技术方案中的机器学习模型的部署方法。
[0008]通过上述方案，本申请的有益效果是：压缩装置从人工智能开放平台获取机器学习模型，基于机器学习模型的权重数据的分布情况对训练完成的机器学习模型进行压缩，以使得压缩后的机器学习模型的所有权重数据的比特数之和小于压缩前的机器学习模型的所有权重数据的比特数之和；然后通过嵌入式设备对接收到的压缩后的机器学习模型的权重数据进行运算，以实现机器学习模型在嵌入式设备上的轻量级部署；通过压缩装置对机器学习模型的大量的权重数据进行量化，能够在部署至嵌入式设备之前，减少权重数据占据的存储空间，实现对机器学习模型的压缩，从而解决由于机器学习模型的权重数据占据的存储空间较大，无法实现在轻量级嵌入式设备上的部署的问题，提高模型部署的效率，使得较大的机器学习模型能够在轻量级嵌入式设备中实现应用。
附图说明
[0009]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
[0010]图1是本申请提供的机器学习模型的部署方法一实施例的流程示意图；
[0011]图2是本申请提供的步骤12一实施例的流程示意图；
[0012]图3是本申请提供的步骤12另一实施例的流程示意图；
[0013]图4是本申请提供的步骤37的流程示意图；
[0014]图5是本申请提供的机器学习模型的部署方法另一实施例的流程示意图；
[0015]图6是本申请提供的机器学习模型的部署方法又一实施例的流程示意图；
[0016]图7是本申请提供的机器学习模型的部署系统一实施例的结构示意图；
[0017]图8是本申请提供的计算机可读存储介质一实施例的结构示意图。
具体实施方式
[0018]下面结合附图和实施例，对本申请作进一步的详细描述。特别指出的是，以下实施例仅用于说明本申请，但不对本申请的范围进行限定。同样的，以下实施例仅为本申请的部分实施例而非全部实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
[0019]在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相
同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
[0020]需要说明的是，本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0021]请参阅图1，图1是本申请提供的机器学习模型的部署方法一实施例的流程示意图，下面以人工智能平台、压缩装置及嵌入式设备的交互方式对本实施例中的机器学习模型的部署方法进行介绍，该方法包括：
[0022]步本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种机器学习模型的部署方法，其特征在于，应用于机器学习模型的部署系统中的压缩装置，包括：从人工智能开放平台获取机器学习模型，基于所述机器学习模型的权重数据的分布情况对所述机器学习模型的权重数据进行压缩，得到压缩后的机器学习模型；其中压缩后的机器学习模型的所有权重数据的比特数之和小于压缩前的机器学习模型的所有权重数据的比特数之和；将所述压缩后的机器学习模型发送至待部署的嵌入式设备，以使得所述嵌入式设备接收所述压缩后的机器学习模型，将所述压缩后的机器学习模型的权重数据转换成与压缩前的机器学习模型的权重数据的值域相同的浮点数，并对所述浮点数进行运算，以完成所述机器学习模型在所述嵌入式设备上的轻量级部署。2.根据权利要求1所述的机器学习模型的部署方法，其特征在于，所述基于所述机器学习模型的权重数据的分布情况对所述机器学习模型的权重数据进行压缩的步骤，包括：获取机器学习模型的多个权重数据；对所述多个权重数据进行等间隔划分，得到至少两个权重划分区间；统计每个所述权重划分区间中的权重数据的数量；对每个所述权重划分区间对应的权重数据的数量进行调整，得到所述权重划分区间对应的校准数量数据；基于每个所述权重划分区间对应的校准数量数据，对所述多个权重数据重新进行划分，得到至少两个权重量化区间，以使各个所述权重量化区间中的权重数据的数量均衡；对所述权重量化区间中的权重数据进行量化处理，以使量化后的所有权重数据的比特数之和小于量化前的所有权重数据的比特数之和。3.根据权利要求2所述的机器学习模型的部署方法，其特征在于，所述对每个所述权重划分区间对应的权重数据的数量进行调整，得到所述权重划分区间对应的校准数量数据的步骤，包括：对每个所述权重划分区间对应的权重数据的数量进行数值限制处理与归一化处理，得到所述校准数量数据；或者，对每个所述权重划分区间对应的权重数据的数量进行变换与归一化处理，得到所述校准数量数据；或者，对每个所述权重划分区间对应的权重数据的数量进行数值限制处理，得到第一权重数量数据；对所述第一权重数量数据进行变换与归一化处理，得到所述校准数量数据；或者，对每个所述权重划分区间对应的权重数据的数量进行变换，得到第二权重数量数据；对所述第二权重数量数据进行数值限制处理与归一化处理，得到所述校准数量数据。4.根据权利要求3所述的机器学习模型的部署方法，其特征在于，所述对每个所述权重划分区间对应的权重数据的数量进行数值限制处理的步骤，包括：依次从所有所述权重划分区间对应的权重数据的数量中取出一个权重数据的数量，得到当前数量；判断所述当前数量是否满足预设条件；若是，则不对所述当前数量进行调整；若否，则在所述当前数量落在第一数量范围时，将所述当前数量调整为预设最小数值；
在所述当前数量落在第二数量范围时，不对所述当前数量进行调整；在所述当前数量落在第三数量范围时，将所述当前数量调整为预设最大数值。5.根据权利要求3所述的机器学习模型的部署方法，其特征在于，所述对所述第一权重数量数据进行变换与归一化处理，得到所述校准数量数据的步骤，包括：从预设函数库中选出当前运算函数，并将所述第一权重数量数据输入所述当前运算函数，得到运算统计数据；对所述运算统计数据进行归一化处理，得到所述校准数量数据。6.根据权利要求2所述的机器学习模型的部署方法，其特征在于，所述基于每个所述权重划分区间对应的校准数量数据，对所述多个权重数据重新进行划分，得到至少两个权重量化区间的步骤，包括：对所述校准数量数据进行累加处理，得到累加数组，所述累加数组包括累加值；基于所述累加值、权重最小值、权重最大值以及所述权重划分区间的数量，对所述多个权重数据重新进行划分，得到所述至少两个权重量化区间...

【专利技术属性】
技术研发人员：殷俊，韩建强，陈波扬，吴立，周祥明，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：