面向物联网设备提供视觉服务的后训练量化数据校准系统及方法技术方案

本发明专利技术公开面向物联网设备提供视觉服务的后训练量化数据校准系统及方法，所述数据校准系统包括神经网络模型预训练模块、第一数据校准模块、第一量化模块、第二数据校准模块和第二量化模块；所述第一数据校准模块从训练数据采集像素分布平滑的样本为校准数据；所述第一量化模块将校准数据输入预训练模型并依据量化位宽获得量化后权值W<subgt;Q</subgt;和激活值X<subgt;Q</subgt;；所述第二数据校准模块采用无放回的采样策略从校准数据中抽取batch‑size个样本校准量化模型；所述第二量化模块以块为基本单位计算量化损失Loss<supgt;i</supgt;，并基于校准样本优化模型权值舍入参数V和激活值比例因子scale<subgt;x</subgt;；本发明专利技术以减少量化神经网络模型的性能损失和校准数据使用量，确保其在物联网设备端提供高质量视觉服务。

【技术实现步骤摘要】

本专利技术属于神经网络模型的后训练量化，尤其涉及面向物联网设备提供视觉服务的后训练量化数据校准系统及方法。

技术介绍

1、根据国际数据公司预测，到2025年将有416亿台物联网设备接入互联网。然而，物联网设备的计算和存储资源有限，同时用户对应用的响应速度有较高要求，量化技术将云上训练的高性能全精度神经网络模型映射为int4等低比特，并将这些低比特模型部署到无处不在的物联网设备上，从而以较低的资源需求和快速响应提供高质量的视觉服务(例如，图像分类和物体检测)已成为主流，如图2和图3所示。

2、然而，由于缺乏对校准数据的详细分析，现有的大多数相关方法存在两个局限性：(i)低位模型性能低。(ii)需要大量校准数据，导致大量资源消耗。例如，qdrop方法将resnet-18从fp32量化为int8时，模型大小可减少75％，在imagenet数据集上的性能损失控制在2％以内。而量化位宽为w2a4时，性能下降高达5.8％。此外，现有的后训练量化方法使用较多的校准数据以提升性能，但延长了量化周期并增加资源消耗。此外，其效果呈现边际效用递减的趋势，即随着校准数本文档来自技高网...

【技术保护点】

1.面向物联网设备提供视觉服务的后训练量化数据校准系统，其特征在于，所述数据校准系统包括深度神经网络模型预训练模块、第一数据校准模块、第一量化模块、第二数据校准模块和第二量化模块；其中：

2.根据权利要求1所述面向物联网设备提供视觉服务的后训练量化数据校准系统，其特征在于：所述第一量化模块将校准数据输入预训练模型进行前向传播，依据预训练权值和量化位宽获得量化后的权值WQ和激活值XQ，包括：

3.根据权利要求1所述面向物联网设备提供视觉服务的后训练量化数据校准系统，其特征在于：所述第二量化模块以块为基本单位，依据量化前后的输出计算损失Lossi，并基于batch-s...

【技术特征摘要】

1.面向物联网设备提供视觉服务的后训练量化数据校准系统，其特征在于，所述数据校准系统包括深度神经网络模型预训练模块、第一数据校准模块、第一量化模块、第二数据校准模块和第二量化模块；其中：

2.根据权利要求1所述面向物联网设备提供视觉服务的后训练量化数据校准系统，其特征在于：所述第一量化模块将校准数据输入预训练模型进行前向传播，依据预训练权值和量化位宽获得量化后的权值wq和激活值xq，...

【专利技术属性】
技术研发人员：张俊娜，杨萍，袁培燕，赵晓焱，胡一飞，王泓尊，魏然，
申请(专利权)人：河南师范大学，
类型：发明
国别省市：