本发明专利技术涉及一种基于量化工具的模型量化方法、装置、设备及介质，其中方法包括：确定出待量化模型并获取待量化模型的参数，参数包括用于描述待量化模型的配置信息；基于配置信息判断待量化模型是否是预先设置的量化工具所支持的模型；若待量化模型是量化工具所支持的模型，则利用量化工具对待量化模型进行量化。本发明专利技术在进行大批量的模型量化过程中，可以自动地将模型与量化工具进行匹配，利用量化工具进行自动量化，无需人工对每一个模型进行配置匹配，大大降低了量化的工作量，减少人工成本。减少人工成本。减少人工成本。
【技术实现步骤摘要】
一种基于量化工具的模型量化方法、装置、设备及介质
[0001]本专利技术涉及深度学习
，具体涉及一种基于量化工具的模型量化方法、装置、设备及介质。
技术介绍
[0002]目前随着深度学习、自动驾驶技术的不断发展，汽车自动驾驶功能成为各大车企角逐的新方向。自动驾驶离不开深度学习，目前大多数的深度学习模型中权重多为浮点型，而自动驾驶功能要求车载芯片对车辆的各路传感器数据进行处理，对模型的大小，计算量有着较高的要求。因此对浮点模型进行量化成为了行业内的通用选择。这里所述的模型量化中，模型主要是指卷积神经网络模型，其主要是用于处理采用机器视觉技术采集到的图像或者视频等数据；量化是指将信号的连续取值近似为有限的多个离散值的过程，从而实现在芯片上的数据处理。
[0003]中国专利公开号为CN114861934A的专利申请，利用机器学习量化模型，在满足精度要求的同时，尽可能地提升量化后模型的性能。但是专利技术人发现，该专利仅针对单一模型进行了自动化的量化，而在汽车自动驾驶技术方面，往往需要采用大量的模型进行图像或者视频数据的处理，当量化大量的模型时，会耗费大量的时间和精力，提高车企的用人成本。因此，如何对大量模型进行量化是亟待解决的问题。
技术实现思路
[0004]本专利技术的目的之一在于提供一种基于量化工具的模型量化方法、装置、设备及介质，以解决现有技术中的对大量模型进行量化，需要耗费大量时间和精力增加成本的问题。
[0005]为了实现上述目的，本专利技术采用的技术方案如下：
[0006]第一方面，本专利技术提供了一种基于量化工具的模型量化方法，包括：确定出待量化模型并获取待量化模型的参数，所述参数包括用于描述所述待量化模型的配置信息；基于所述配置信息判断所述待量化模型是否是预先设置的量化工具所支持的模型；若所述待量化模型是所述量化工具所支持的模型，则利用所述量化工具对所述待量化模型进行量化。
[0007]根据本专利技术实施例，通过先确定出待量化模型并获取待量化模型的参数，然后自动基于参数里的配置信息判断待量化模型是否是预先设置的量化工具所支持的模型，若是，则利用量化工具进行量化。这样，在进行大批量的模型量化过程中，可以自动地将模型与量化工具进行匹配，利用量化工具进行自动量化，无需人工对每一个模型进行配置匹配，大大降低了量化的工作量，减少人工成本。
[0008]一种可选的实施方式中，所述配置信息包括所述待量化模型的版本信息和算子信息；所述基于所述配置信息判断所述待量化模型是否是预先设置的量化工具所支持的模型，包括：判断所述版本信息与所述量化工具所支持的模型版本是否一致，并判断所述算子信息对应的算子是否在所述量化工具所对应的芯片支持的算子列表中；若所述版本信息与所述量化工具所支持的模型版本一致，并且所述算子信息对应的算子在所述量化工具所对
应的芯片支持的算子列表中，则确定所述待量化模型是所述量化工具所支持的模型。
[0009]一种可选的实施方式中，所述获取待量化模型的参数，包括：确定所述量化工具所支持的模型数据结构；将所述待量化模型在训练环境中的模型数据以所述量化工具所支持的模型数据结构导出。
[0010]一种可选的实施方式中，还包括：获取所述量化工具的配置文件以及确定所述配置文件配置项的可调参数组和范围；其中，所述利用所述量化工具对所述待量化模型进行量化，包括：使用所述量化工具对所述待量化模块按照所述配置文件中的配置项进行量化。
[0011]一种可选的实施方式中，所述配置文件通过以下步骤生成：基于可变参数的类型生成多个可变参数组，其中，每个可变参数组对应一种模型量化策略；生成与每个可变参数组对应的配置文件。
[0012]一种可选的实施方式中，在利用所述量化工具对所述待量化模型进行量化之后，还包括：生成量化后的模型和在开发板上可执行的模型文件；计算所述量化后的模型中每个算子的计算量；计算所述开发板上芯片的理论上的单帧处理时间；将每个算子的计算量与所述开发板上芯片的理论算力进行对比，判断所述单帧处理时间是否满足性能需求；若满足所述性能需求，则确定所述量化后的模型通过理论性能测验。
[0013]一种可选的实施方式中，所述参数还包括验证集数据和所述待量化模型的精度要求数据；所述模型量化方法还包括：利用所述验证集数据在所述开发板上对所述量化后的模型进行动态性能测试，得到测试结果；判断所述测试结果是否满足所述精度要求数据；若所述测试结果满足所述精度要求数据，则确定所述量化后的模型通过动态性能测试。
[0014]第二方面，本专利技术提供了一种基于量化工具的模型量化装置，包括：第一获取模块，用于确定出待量化模型并获取待量化模型的参数，所述参数包括用于描述所述待量化模型的配置信息；判断模块，用于基于所述配置信息判断所述待量化模型是否是预先设置的量化工具所支持的模型；量化模块，用于若所述待量化模型是所述量化工具所支持的模型，则利用所述量化工具对所述待量化模型进行量化。
[0015]第三方面，本专利技术提供了一种计算机设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行上述的基于量化工具的模型量化方法。
[0016]第四方面，本专利技术提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使计算机执行上述的基于量化工具的模型量化方法。
[0017]本专利技术的有益效果：
[0018](1)在进行大批量的模型量化过程中，可以自动地将模型与量化工具进行匹配，利用量化工具进行自动量化，无需人工对每一个模型进行配置匹配，大大降低了量化的工作量，减少人工成本；
[0019](2)在获取待量化模型的参数时，先确定量化工具所支持的模型数据结构，然后再对待量化模型以该数据结构进行导出，这样，避免了模型数据结构与量化工具的不匹配的情况，提高了待量化模型与量化工具之间的匹配性，从而提高了匹配的效率。
附图说明
[0020]为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0021]图1是本专利技术实施例的一种基于量化工具的模型量化方法的流程图；
[0022]图2是本专利技术实施例的获取待量化模型的参数的示例图；
[0023]图3是本专利技术实施例的一种基于量化工具的模型量化方法的数据流图；
[0024]图4是本专利技术实施例的模型量化方法一种可选实施方式的示例图；
[0025]图5是本专利技术实施例的一种基于量化工具的模型量化装置的示意图；
[0026]图6是是本专利技术实施例的计算机设备的硬件结构示意图。
具体实施方式
[0027]以下将参照附图和优选实施例来说明本专利技术的实施方式，本领域技术人本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于量化工具的模型量化方法，其特征在于，包括：确定出待量化模型并获取待量化模型的参数，所述参数包括用于描述所述待量化模型的配置信息；基于所述配置信息判断所述待量化模型是否是预先设置的量化工具所支持的模型；若所述待量化模型是所述量化工具所支持的模型，则利用所述量化工具对所述待量化模型进行量化。2.根据权利要求1所述的模型量化方法，其特征在于，所述配置信息包括所述待量化模型的版本信息和算子信息；所述基于所述配置信息判断所述待量化模型是否是预先设置的量化工具所支持的模型，包括：判断所述版本信息与所述量化工具所支持的模型版本是否一致，并判断所述算子信息对应的算子是否在所述量化工具所对应的芯片支持的算子列表中；若所述版本信息与所述量化工具所支持的模型版本一致，并且所述算子信息对应的算子在所述量化工具所对应的芯片支持的算子列表中，则确定所述待量化模型是所述量化工具所支持的模型。3.根据权利要求1所述的模型量化方法，其特征在于，所述获取待量化模型的参数，包括：确定所述量化工具所支持的模型数据结构；将所述待量化模型在训练环境中的模型数据以所述量化工具所支持的模型数据结构导出。4.根据权利要求1所述的模型量化方法，其特征在于，还包括：获取所述量化工具的配置文件以及确定所述配置文件配置项的可调参数组和范围；其中，所述利用所述量化工具对所述待量化模型进行量化，包括：使用所述量化工具对所述待量化模块按照所述配置文件中的配置项进行量化。5.根据权利要求4所述的模型量化方法，其特征在于，所述配置文件通过以下步骤生成：基于可变参数的类型生成多个可变参数组，其中，每个可变参数组对应一种模型量化策略；生成与每个可变参数组对应的配置文件。6.根据权利要求1所述的模型量化方法，其特征在于，在...
【专利技术属性】
技术研发人员：雷宇航，张金奎，
申请(专利权)人：重庆长安汽车股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。