【技术实现步骤摘要】
模型量化方法、装置、电子设备和存储介质
[0001]本申请涉及人工智能
，具体为深度学习、图像处理、计算机视觉
，可应用于智慧城市等场景，具体涉及一种模型量化方法、装置、电子设备和存储介质。
技术介绍
[0002]随着科学技术的发展，AI(Artificial Intelligence，人工智能)能力应用也得到了大力发展，应用在人们的生活的方方面面。由于AI算法通常需要很高的计算能力，AI算法通常部署在服务器端。伴随着半导体技术的发展，AI技术迎来了新的局面，芯片算力不断大幅度提升，AI专有芯片使得端侧AI成为了可能，各芯片厂家纷纷推出各自的量化解决方案。
技术实现思路
[0003]本申请提供了一种模型量化方法、装置、电子设备和存储介质。具体方案如下：
[0004]根据本申请的一方面，提供了一种模型量化方法，包括：
[0005]获取客户端发送的模型量化请求，其中，所述模型量化请求中包括待处理模型及所述待处理模型对应的量化配置信息；
[0006]根据所述量化配置信息，确定所述...
【技术保护点】
【技术特征摘要】
1.一种模型量化方法，包括：获取客户端发送的模型量化请求，其中，所述模型量化请求中包括待处理模型及所述待处理模型对应的量化配置信息；根据所述量化配置信息，确定所述待处理模型对应的目标芯片类型；根据所述量化配置信息和所述目标芯片类型，对所述待处理模型进行量化，以获取所述目标芯片类型对应的量化后的模型。2.如权利要求1所述的方法，其中，所述根据所述量化配置信息和所述目标芯片类型，对所述待处理模型进行量化，以获取所述目标芯片类型对应的量化后的模型，包括：确定所述待处理模型的格式及所述目标芯片类型对应的目标模型格式；在所述待处理模型的格式与所述目标模型格式不匹配的情况下，对所述待处理模型进行格式转换，以获取所述目标模型格式的模型；根据所述量化配置信息，对所述目标模型格式的模型进行量化，以获取所述量化后的模型。3.如权利要求2所述的方法，其中，所述确定所述目标芯片类型对应的目标模型格式，包括：获取预设的各芯片类型与模型格式之间的对应关系；根据所述目标芯片类型，查询所述各芯片类型与模型格式之间的对应关系，以确定所述目标芯片类型对应的目标模型格式。4.如权利要求1所述的方法，其中，在所述根据所述量化配置信息和所述目标芯片类型，对所述待处理模型进行量化，以获取所述目标芯片类型对应的量化后的模型之后，还包括：获取在相同输入数据的情况下，所述待处理模型输出的第一预测结果和所述量化后的模型输出的第二预测结果；确定所述第一预测结果与所述第二预测结果之间的第一误差；在所述第一误差小于阈值的情况下，将所述量化后的模型发送给所述客户端。5.如权利要求4所述的方法，其中，所述方法还包括：在所述第一误差大于或等于所述阈值的情况下，对所述待处理模型重新量化；或者，在所述第一误差大于或等于所述阈值的情况下，生成提示信息，其中，所述提示信息用于提示输入新的量化配置信息；将所述提示信息发送给所述客户端。6.如权利要求1所述的方法，在所述根据所述量化配置信息和所述目标芯片类型，对所述待处理模型进行量化，以获取所述目标芯片类型对应的量化后的模型之后，还包括：获取在相同输入数据的情况下，所述待处理模型中各网络层的第一输出结果和所述量化后的模型中所述各网络层的第二输出结果；针对每个所述网络层，确定所述第一输出结果与所述第二输出结果之间的第二误差；将所述各网络层对应的第二误差发送给所述客户端，以使所述客户端以图形的形式展示所述各网络层对应的第二误差。7.如权利要求1所述的方法，其中，在所述根据所述量化配置信息和所述目标芯片类型，对所述待处理模型进行量化，以获取所述目标芯片类型对应的量化后的模型之前，还包
括：获取所述目标芯片类型对应的各量化项的候选取值；确定所述量化配置信息与所述各量化项的候选取值匹配。8.一种模型量化装置，包括：第一获取模块，用于获取客户端发送的模型量化请求，其中，所述模型量化请求中包括待处理模型及所述待处理模型对应的量化配置信息；第一确定模块，用于根据所述...
【专利技术属性】
技术研发人员：王常凯，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。