模型部署方法、模型部署装置及终端设备制造方法及图纸

本申请适用于模型部署领域，提供了模型部署方法、模型部署装置及终端设备，其中，一种模型部署方法，包括：根据预设的待部署模型中的至少两个层所分别对应的属性信息，将所述待部署模型划分为至少两个待部署模块；根据各个所述待部署模块，生成部署文件，其中，所述部署文件包含分别针对各个待部署模块进行部署的部署信息；将所述部署文件发送至指定芯片，以指示所述指定芯片根据所述部署文件部署所述待部署模型。通过本申请实施例能够将算法模型高效部署至芯片中。

【技术实现步骤摘要】
模型部署方法、模型部署装置及终端设备
本申请属于模型部署
，尤其涉及模型部署方法、模型部署装置及终端设备。
技术介绍
随着人工智能的不断进步，发展出了各类机器学习模型等算法模型。而由于目前的各个算法模型所涉及的数据量往往较大，模型较为复杂，因此，将机器学习模型部署到芯片上以进行应用时的部署难度较大，部署过程较为复杂，部署时对芯片的计算资源消耗较大。可见，亟需一种能够将算法模型高效部署至芯片中的方法。
技术实现思路
有鉴于此，本申请实施例提供了模型部署方法、模型部署装置及终端设备，可以将算法模型高效部署至芯片中。本申请实施例的第一方面提供了一种模型部署方法，包括：根据预设的待部署模型中的至少两个层所分别对应的属性信息，将所述待部署模型划分为至少两个待部署模块；根据各个所述待部署模块，生成部署文件，其中，所述部署文件包含分别针对各个待部署模块进行部署的部署信息；将所述部署文件发送至指定芯片，以指示所述指定芯片根据所述部署文件部署所述待部署模型。本申请实施例的第二方面提供了一种本文档来自技高网...

【技术保护点】
1.一种模型部署方法，其特征在于，包括：/n根据预设的待部署模型中的至少两个层所分别对应的属性信息，将所述待部署模型划分为至少两个待部署模块；/n根据各个所述待部署模块，生成部署文件，其中，所述部署文件包含分别针对各个待部署模块进行部署的部署信息；/n将所述部署文件发送至指定芯片，以指示所述指定芯片根据所述部署文件部署所述待部署模型。/n

【技术特征摘要】
1.一种模型部署方法，其特征在于，包括：
根据预设的待部署模型中的至少两个层所分别对应的属性信息，将所述待部署模型划分为至少两个待部署模块；
根据各个所述待部署模块，生成部署文件，其中，所述部署文件包含分别针对各个待部署模块进行部署的部署信息；
将所述部署文件发送至指定芯片，以指示所述指定芯片根据所述部署文件部署所述待部署模型。


2.如权利要求1所述的模型部署方法，其特征在于，所述属性信息包括运算类型信息，所述运算类型信息指示相应的层用于执行线性运算或者用于执行非线性运算；所述部署文件的部署信息中，包括根据所述运算类型信息确定的各个待部署模块所分别对应的部署位置，任一所述待部署模块的部署位置为数字信号处理器或者神经网络处理器。


3.如权利要求1所述的模型部署方法，其特征在于，在将所述部署文件发送至指定芯片之后，还包括：
若接收到所述指定芯片返回的目标反馈信息，则根据所述目标反馈信息，将预设的测试数据传输至所述指定芯片，并指示所述指定芯片通过部署完成的所述待部署模型对所述测试数据进行处理，其中，所述目标反馈信息用于指示所述指定芯片完成对所述待部署模型的部署；
若获取到所述指示芯片针对所述测试数据所返回的处理结果，则根据所述处理结果，确定所述指定芯片上部署完成的所述待部署模型的部署精度，所述部署精度用于指示所述指定芯片上部署完成的所述待部署模型相对于所述待部署模型所对应的原始模型在预设模型框架中的精度差异。


4.如权利要求3所述的模型部署方法，其特征在于，所述待部署模型包括分类模型，所述测试数据中包括多个第一输入对象和每个第一输入对象所对应的标准分类结果，每一个所述第一输入对象所对应的标准分类结果中包括多个标准分类项和每个标准分类项所对应的标准置信度，并且针对每一个第一输入对象，所述第一输入对象的各个标准分类项所分别对应的排列号根据所述第一输入对象的各个标准分类项所分别对应的标准置信度的大小排序得到；
所述处理结果中包括各个所述第一输入对象所分别对应的输出分类结果，每一个所述第一输入对象所对应的输出分类结果中包括多个输出分类项和每个输出分类项所对应的输出置信度，并且针对每一个第一输入对象，所述第一输入对象的各个输出分类项所分别对应的排列号根据所述第一输入对象的各个输出分类项所分别对应的输出置信度的大小排序得到；
所述若获取到所述指示芯片针对所述测试数据所返回的处理结果，则根据所述处理结果，确定所述指定芯片上部署完成的所述待部署模型的部署精度，包括：
针对每一个第一输入对象，获取所述第一输入对象的输出分类结果中的目标输出分类项，并获取所述第一输入对象的标准分类结果中的目标标准分类项，其中，所述目标输出分类项的排列号与所述目标标准分类项的排列号相对应；
若所述目标输出分类项与所述目标标准分类项相同，则确定所述第一输入对象分类成功；
将分类成功的第一输入对象的个数与所述测试数据中包含的第一输入对象的个数的比值，作为所述待部署模型的第一部署后精度；
根据所述第一部署后精度与所述待部署模型的第一部署前精度的比值，确定所述待部署模型的部署精度，其中，所述第一部署前精度为通过所述待部署模型所对应的原始模型在预设模型框架中对所述测试数据进行分类的分类精度。


5.如权利要求3所述的模型部署方法，其特征在于，所述待部署模型包括检测模型，所述测试数据中包括多个第二输入对象和每个第二输入对象所对应的标准检测框，所述处理结果中包括各个所述第二输入对象所分别对应的输出检测框；
所述若获取到所述指示芯片针对所述测试数据所返回的处理结果，则根据所述处理结果，确定所述指定芯片上部署完成的所述待部署模型的部署精度，包括：
针对每一个第二输入对象，判断所述第二输入对象的输出检测框是否与所述第二输入对象的标准检测框重叠；
若所述第二输入对象的输出检测框与所述第二输入对象的标准检测框重叠，则计算所述第二输入对象的输出检测框与所述第二输入对象的标准检测框之间的重叠部分面积与总覆盖面积之间的比值，所述总覆盖面积为由所述输出检测框和所述标准检测框所构成的区域的面积；
若所述比值大于预设比值阈值，则确定所述第二输入对象检测成功；
将检测成功的第二输入对象的个数与所述测试数据中包含的第二输入对象的个数的比值，作为所述待部署模型的第二部署后精度；
根据所述第二部署后精度与所述待部署模型的第二部署前精度的比值，确定所述待部署模型的部署精度，其中，所述第二部署前精度为通过所述待部署模型所对应的原始模型在预设模型框架中对所述测试数据进行检测的检测精度。

<...

【专利技术属性】
技术研发人员：杨海辉，
申请(专利权)人：深圳云天励飞技术股份有限公司，
类型：发明
国别省市：广东;44