本发明专利技术实施例提供了一种模型部署方法、装置、整车控制器及计算机可读存储介质，包括：获取待部署神经网络模型；基于目标数据类型对待部署神经网络模型中的网络层进行调整，得到基于目标数据类型进行网络推理的目标神经网络模型；目标数据类型的指数位位数与单精度浮点类型的指数位位数相同，目标数据类型的尾数位位数小于单精度浮点类型的尾数位位数；将目标神经网络模型部署在目标终端。通过将待部署神经网络模型中网络层对应的数据类型调整为目标数据类型，得到目标数据模型，将目标数据模型部署在目标终端上之后，可以采用位数较少的目标数据类型进行模型推理，从而可以降低推理过程所消耗的运算资源，提高目标终端运行神经网络模型的效率。网络模型的效率。网络模型的效率。
【技术实现步骤摘要】
一种模型部署方法、装置、整车控制器及存储介质
[0001]本专利技术涉及人工智能
，特别涉及一种模型部署方法、装置、整车控制器及计算机可读存储介质。
技术介绍
[0002]随着科技的不断发展，终端设备为了实现更为智能化、复杂化的功能，越来越多的终端设备开始搭配神经网络模型，并通过神经网络模型为用户提供服务。
[0003]相关技术中，为了保证神经网络模型具有良好的效果，在设计神经网络模型时，通常在神经网络模型的运算过程中会采用精度较高的数据类型，例如单精度浮点类型，在训练神经网络的过程中，为了保证神经网络模型的训练效率，通常并不会过多考虑训练神经网络模式时的运算资源消耗量，会采用性能比较强悍的硬件作为神经网络模型的训练环境，从而训练得到所需的神经网络模型，再将训练好的神经网络模型部署在终端设备上。
[0004]在上述方案中，由于采取了精度较高的数据类型对神经网络模型进行训练，最终得到的神经网络模型在运行过程中需要消耗大量的运算资源，但终端设备需要考虑成本和功耗的平衡，通常不具备超高性能的运算能力，容易导致神经网络模型部署在终端设备上后运行速度较慢，甚至出现无法运行的情况。
技术实现思路
[0005]有鉴于此，本专利技术旨在提出一种模型部署方法、装置、整车控制器及计算机可读存储介质，以解决现有技术中终端设备运行神经网络模型速度较慢、效率较差的问题。
[0006]为达到上述目的，本专利技术的技术方案是这样实现的：
[0007]第一方面，本专利技术提供了一种模型部署方法，所述方法包括：
[0008]获取待部署神经网络模型；
[0009]基于目标数据类型对所述待部署神经网络模型中的网络层进行调整，得到基于所述目标数据类型进行网络推理的目标神经网络模型；其中，所述目标数据类型的指数位位数与单精度浮点类型的指数位位数相同，所述目标数据类型的尾数位位数小于所述单精度浮点类型的尾数位位数；
[0010]将所述目标神经网络模型部署在目标终端，以使得所述目标神经网络模型在所述目标终端中采用所述目标数据类型进行模型推理。
[0011]可选地，所述基于目标数据类型对所述待部署神经网络模型中的网络层进行调整，得到基于所述目标数据类型进行网络推理的目标神经网络模型，包括：
[0012]从所述待部署神经网络模型中确定卷积层和非卷积层；
[0013]将所述卷积层对应的数据类型调整为整型类型，将所述非卷积层对应的数据类型调整为目标数据类型，得到基于所述目标数据类型进行网络推理的目标神经网络模型。
[0014]可选地，所述将所述卷积层对应的数据类型调整为整型类型，将所述非卷积层对应的数据类型调整为目标数据类型，包括：
[0015]将所述卷积层的网络权重的数据类型调整为整型类型；
[0016]将所述非卷积层的网络权重的数据类型调整为目标数据类型。
[0017]可选地，所述将所述卷积层对应的数据类型调整为整型类型，将所述非卷积层对应的数据类型调整为目标数据类型，得到基于所述目标数据类型进行网络推理的目标神经网络模型，包括：
[0018]将所述待部署神经网络模型输入所述目标终端对应的编译器；
[0019]根据所述待部署神经网络模型中各个网络层与数据类型的对应关系，调整所述编译器的量化参数，并使所述编译器基于所述量化参数对所述待部署神经网络模型进行量化，得到基于所述目标数据类型进行网络推理的目标神经网络模型。
[0020]可选地，所述基于目标数据类型对所述待部署神经网络模型中的网络层进行调整，包括：
[0021]获取所述待部署神经网络模型中的网络层对应的网络权重；
[0022]在所述网络权重满足目标预设条件的情况下，基于目标数据类型对所述待部署神经网络模型中的网络层进行调整；
[0023]在所述网络权重不满足所述目标预设条件，且所述网络层对应的数据类型为单精度浮点类型的情况下，保持所述待部署神经网络模型中的网络层对应的数据类型为单精度浮点类型。
[0024]可选地，所述将所述目标神经网络模型部署在目标终端之后，所述方法还包括：
[0025]在所述目标神经网络模型的模型推理过程中，获取数据类型为单精度浮点类型的网络层的输出值；
[0026]根据所述数据类型为单精度浮点类型的网络层的下一层网络层对应的数据类型，对所述输出值进行类型转化，得到输入值；
[0027]将所述输入值输入所述下一层网络层。
[0028]可选地，所述根据所述数据类型为单精度浮点类型的网络层的下一层网络层对应的数据类型，对所述输出值进行类型转化，得到输入值，包括：
[0029]在所述下一层网络层对应的数据类型为目标数据类型的情况下，将所述输出值的数据类型转换为目标数据类型，得到输入值；
[0030]在所述下一层网络层对应的数据类型为整型类型的情况下，将所述输出值的数据类型转换为整型类型，得到输入值。
[0031]可选地，所述目标数据类型为BF16数据类型。
[0032]第二方面，本专利技术提供了一种模型部署装置，所述装置包括：
[0033]获取模块，用于获取待部署神经网络模型；
[0034]调整模块，用于基于目标数据类型对所述待部署神经网络模型中的网络层进行调整，得到基于所述目标数据类型进行网络推理的目标神经网络模型；其中，所述目标数据类型的指数位位数与单精度浮点类型的指数位位数相同，所述目标数据类型的尾数位位数小于所述单精度浮点类型的尾数位位数；
[0035]部署模块，用于将所述目标神经网络模型部署在目标终端，以使得所述目标神经网络模型在所述目标终端中采用所述目标数据类型进行模型推理。
[0036]可选地，所述调整模块包括：
[0037]确定子模块，用于从所述待部署神经网络模型中确定卷积层和非卷积层；
[0038]调整子模块，用于将所述卷积层对应的数据类型调整为整型类型，将所述非卷积层对应的数据类型调整为目标数据类型，得到基于所述目标数据类型进行网络推理的目标神经网络模型。
[0039]可选地，所述调整子模块包括：
[0040]卷积层调整子模块，用于将所述卷积层的网络权重的数据类型调整为整型类型；
[0041]非卷积层调整子模块，用于将所述非卷积层的网络权重的数据类型调整为目标数据类型。
[0042]可选地，所述调整子模块包括：
[0043]输入子模块，用于将所述待部署神经网络模型输入所述目标终端对应的编译器；
[0044]量化子模块，用于根据所述待部署神经网络模型中各个网络层与数据类型的对应关系，调整所述编译器的量化参数，并使所述编译器基于所述量化参数对所述待部署神经网络模型进行量化，得到基于所述目标数据类型进行网络推理的目标神经网络模型。
[0045]可选地，所述调整模块包括：
[0046]权重获取子模块，用于获取所述待部署神经网络模型中的网络层对应的网络权重；
[0047]本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种模型部署方法，其特征在于，所述方法包括：获取待部署神经网络模型；基于目标数据类型对所述待部署神经网络模型中的网络层进行调整，得到基于所述目标数据类型进行网络推理的目标神经网络模型；其中，所述目标数据类型的指数位位数与单精度浮点类型的指数位位数相同，所述目标数据类型的尾数位位数小于所述单精度浮点类型的尾数位位数；将所述目标神经网络模型部署在目标终端，以使得所述目标神经网络模型在所述目标终端中采用所述目标数据类型进行模型推理。2.根据权利要求1所述的模型部署方法，其特征在于，所述基于目标数据类型对所述待部署神经网络模型中的网络层进行调整，得到基于所述目标数据类型进行网络推理的目标神经网络模型，包括：从所述待部署神经网络模型中确定卷积层和非卷积层；将所述卷积层对应的数据类型调整为整型类型，将所述非卷积层对应的数据类型调整为目标数据类型，得到基于所述目标数据类型进行网络推理的目标神经网络模型。3.根据权利要求2所述的模型部署方法，其特征在于，所述将所述卷积层对应的数据类型调整为整型类型，将所述非卷积层对应的数据类型调整为目标数据类型，包括：将所述卷积层的网络权重的数据类型调整为整型类型；将所述非卷积层的网络权重的数据类型调整为目标数据类型。4.根据权利要求2所述的模型部署方法，其特征在于，所述将所述卷积层对应的数据类型调整为整型类型，将所述非卷积层对应的数据类型调整为目标数据类型，得到基于所述目标数据类型进行网络推理的目标神经网络模型，包括：将所述待部署神经网络模型输入所述目标终端对应的编译器；根据所述待部署神经网络模型中各个网络层与数据类型的对应关系，调整所述编译器的量化参数，并使所述编译器基于所述量化参数对所述待部署神经网络模型进行量化，得到基于所述目标数据类型进行网络推理的目标神经网络模型。5.根据权利要求1所述的模型部署方法，其特征在于，所述基于目标数据类型对所述待部署神经网络模型中的网络层进行调整，包括：获取所述待部署神经网络模型中的网络层对应的网络权重；在所述网络权重满足目标预设条件的情况下，基于目标数据类型对所述待部署神经网络模...
【专利技术属性】
技术研发人员：刘军，逄淑一，郭佳，陈磊，李睆，岳增强，张博森，
申请(专利权)人：毫末智行科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。