去雾模型的量化剪枝方法及系统技术方案

本发明专利技术公开一种去雾模型的量化剪枝方法及系统，其中方法包括：基于去雾模型的边界数据和原始参数数据，计算对应量化比特数下的量化参数数据，并对所述量化参数数据进行反量化计算，获得相应的反量化参数数据；基于所述反量化参数数据生成相应的去雾测试模型，利用含雾图像对所述去雾测试模型进行去雾效果测试，获得相应的测试结果；基于所得的测试结果，确定最佳量化比特数，并提取所述最佳量化比特数所对应的量化参数数据，基于所述量化参数数据对所述去雾模型进行量化剪枝。本发明专利技术能够在满足去雾效果的前提下，以最低比特数进行量化剪枝，有效节省硬件资源。有效节省硬件资源。有效节省硬件资源。

【技术实现步骤摘要】
去雾模型的量化剪枝方法及系统


[0001]本专利技术涉及深度学习领域，尤其涉及一种去雾模型的量化剪枝方法及系统。

技术介绍

[0002]现今往往基于卷积神经网络构建去雾模型，以对含雾图像进行处理，所生成的去雾图像能够较好的还原图像的轮廓和细节；去雾模型适用于无人驾驶等领域，在实际使用中，需将去雾模型部署至移动端或嵌入式端，目前基于FPGA进行去雾模型的硬件部署；随着技术发展，FPGA的集成度和性能得到极大地提升，但即便如此，对于深度学习这类算力需求较大的任务来说，仍显得捉襟见肘。

技术实现思路

[0003]本专利技术针对现有技术中的基于卷积神经网络的去雾模型进行硬件部署时，对硬件资源消耗较大缺点，提供了一种去雾模型的量化剪枝技术。
[0004]为了解决上述技术问题，本专利技术通过下述技术方案得以解决：一种去雾模型的量化剪枝方法，包括以下步骤：获取去雾模型的原始参数数据，并基于所述原始参数数据确定边界数据；获取含雾图像；获取预先配置若干个量化比特数；基于所述边界数据和所述原始参数数据，确定最佳量化比特数，并基于所述最佳量化比特数对所述去雾模型进行量化剪枝，具体步骤为：基于所述边界数据和所述原始参数数据，计算对应量化比特数下的量化参数数据，并对所述量化参数数据进行反量化计算，获得相应的反量化参数数据；所述量化参数数据用于进行量化剪枝，反量化参数数据用于模拟基于量化参数数据进行量化剪枝后的量化模型的去雾效果；基于所述反量化参数数据生成相应的去雾测试模型，利用所述含雾图像对所述去雾测试模型进行去雾效果测试，获得相应的测试结果，即，检验去雾测试模型对含雾图像的去雾处理，是否能达到预设的效果；基于所得的测试结果，确定最佳量化比特数，并提取所述最佳量化比特数所对应的量化参数数据，基于所述量化参数数据对所述去雾模型进行量化剪枝，本专利技术中最佳量化比特数为，满足去雾效果的最低量化比特数。
[0005]针对现有量化技术中固定比特数的方案，本专利技术通过设置若干个量化比特数，筛选出满足去雾效果的最低量化比特数，利用FPGA可基于任意比特数计算的特点，在模型部署时能够充分节省硬件资源。
[0006]针对量化过程中会损失精度，而反量化过程不会对精度造成影响的特点，通过对原始参数数据进行量化、反量化操作后，利用所得的反量化参数数据进行去雾效果的模拟，
从而在对去雾模型进行量化、剪枝、硬件部署前即可快速、准确的确定最佳量化比特数。
[0007]作为一种可实施方式，利用所述含雾图像对各去雾测试模型进行去雾效果测试，获得相应的测试结果的具体步骤为：预先将所述含雾图像输入所述去雾模型，获得相应的去雾参照图；将所述含雾图像输入相应的去雾测试模型，由所述去雾测试模型输出相应的去雾测试图；对所述去雾测试图进行图像质量评价，和/或基于所述去雾参照图对所述去雾测试图进行图像质量评价，获得相应的测试结果。
[0008]作为一种可实施方式，基于量化参数数据对去雾模型进行量化剪枝的具体步骤为：基于所述量化参数数据，对零值参数进行统计，获得零值分布数据和零率，所述零率用于指示零值参数的占比，零率=零值参数数量/参数总量；当所述零率高于预设的零率阈值时，基于所述量化参数数据和所述零值分布数据，对所述去雾模型进行量化并进行核级和通道级的结构化剪枝，输出所得量化模型；如无法进行核级或通道级的结构化剪枝，则基于所述量化参数数据对所述去雾模型进行量化，输出所得量化模型；在实际剪枝过程中，可基于分布数据判断是否能够进行结构化剪枝；否则，基于所述量化参数数据对所述去雾模型进行量化，输出所得量化模型。
[0009]现今常用的剪枝方式是迭代剪枝方式，此方式仅能实现单粒度下的剪枝，即该剪枝方式不能同时实现核级和通道级的结构化的同时剪枝，且此方式较为耗时。
[0010]此外，不同粒度下剪枝（如核级或通道级）之后，对剪枝后模型的硬件实现也是一个难点，因此，目前较为常见是通道级的结构化剪枝；本专利技术是针对基于卷积神经网络的去雾模型进行量化剪枝，通过对零率和零值分布数据的设计，根据零率判断参数冗余程度，基于零值分布数据判定哪些是分布在核级和通道级中，然后基于现有的模型重构技术，重构剪枝后的等价模型，实现核级（kernel）和通道级（channel）的结构化的同时剪枝，从而能够进一步节省硬件资源和提高硬件终端部署效率。
[0011]作为一种可实施方式，计算对应量化比特数下的量化参数数据，并对所述量化参数数据进行反量化计算，获得相应的反量化参数数据的具体步骤为：基于目标量化比特数确定最大量化值和最小量化值；基于所述边界数据、所述最大量化值和所述最小量化值进行计算，获得相应的尺度因子数据；基于所述边界数据、所述最大量化值和所述尺度因子数据进行计算，获得相应的零点数据；基于所述尺度因子数据和所述零点数据对原始参数数据进行量化平移，获得相应的量化参数数据；对所述量化参数数据进行反量化，获得相应的反量化参数数据；其中，所述原始参数数据、所述边界数据和所述反量化参数数据的数据类型均为单精度浮点型，所述零点数据和量化参数数据的数据类型为整数。
[0012]作为一种可实施方式：所述原始参数数据包括若干单元参数数据；所述边界数据若干边界对，所述边界对与所述单元参数数据一一对应，所述边界对包括第一边界和第二边界；获取所述单元参数数据和所述边界对的具体步骤为：以卷积层为划分节点，对去雾模型进行划分，获得若干个网络单元；获取各网络单元所对应的单精度浮点参数，获得相应的单元参数数据；基于各单元参数数据，确定相应的边界对。
[0013]去雾模型中提取特征的结构为卷积层，其他如池化层或者激活函数都是附属计算部分，而非核心部分，因此，本专利技术在量化时主要关注卷积部分，且由于每个卷积层的重要性不同，数据分布不同，其边界对必然也是不相同的，故本专利技术以卷积层为划分节点，对去雾模型进行划分。
[0014]进一步地，基于当前网络单元的单元参数数据，确定相应的边界对的具体步骤为：基于当前网络单元的单元参数数据，确定第一取值区间和第二取值区间，其中第一取值区间用于指示第一边界的取值范围，第二取值区间用于指示第二边界的取值范围；分别将第一取值区间和第二取值区间作为目标区间；基于所述目标区间划分若干个分布区间，基于所述分布区间和所述单元参数数据进行迭代计算，获得各分布区间内的单元参数数据所对应的量化差异度，所述分布区间均落于所述目标区间中，且各分布区间的起点相同；基于量化差异度最小时所对应的分布区间确定相应的边界值。
[0015]现有将单元参数数据的最大参数和最小参数作为边界对的方案，没有考虑离群值对量化结果的影响；如基于单元参数数据的分布区间进行一次迭代，以获得对称的边界对，虽然考虑了离群值对量化结果的影响，但对称的边界并不符合实际中非对称模型参数数据，本专利技术基于两个取值区间，进行两次迭代计算，以获得非对称的第一边界和第二边界，更贴合实际的模型参数分布，能够优化各量化比特数对应的量化剪枝效果，进一步降低满足去雾效果的最低比特数，进一步节省硬件资源。
[0016]进一步地，当本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种去雾模型的量化剪枝方法，其特征在于包括以下步骤：获取去雾模型的原始参数数据，并基于所述原始参数数据确定边界数据；获取含雾图像；获取预先配置若干个量化比特数；基于所述边界数据和所述原始参数数据，确定最佳量化比特数，并基于所述最佳量化比特数对所述去雾模型进行量化剪枝，具体步骤为：基于所述边界数据和所述原始参数数据，计算对应量化比特数下的量化参数数据，并对所述量化参数数据进行反量化计算，获得相应的反量化参数数据；基于所述反量化参数数据生成相应的去雾测试模型，利用所述含雾图像对所述去雾测试模型进行去雾效果测试，获得相应的测试结果；基于所得的测试结果，确定最佳量化比特数，并提取所述最佳量化比特数所对应的量化参数数据，基于所述量化参数数据对所述去雾模型进行量化剪枝。2.根据权利要求1所述的去雾模型的量化剪枝方法，其特征在于，利用所述含雾图像对各去雾测试模型进行去雾效果测试，获得相应的测试结果的具体步骤为：预先将所述含雾图像输入所述去雾模型，获得相应的去雾参照图；将所述含雾图像输入相应的去雾测试模型，由所述去雾测试模型输出相应的去雾测试图；对所述去雾测试图进行图像质量评价，和/或基于所述去雾参照图对所述去雾测试图进行图像质量评价，获得相应的测试结果。3.根据权利要求1所述的去雾模型的量化剪枝方法，其特征在于，基于量化参数数据对去雾模型进行量化剪枝的具体步骤为：基于所述量化参数数据，对零值参数进行统计，获得零值分布数据和零率，所述零率用于指示零值参数的占比；当所述零率高于预设的零率阈值时，基于所述量化参数数据和所述零值分布数据，对所述去雾模型进行量化并进行核级和通道级的结构化剪枝，输出所得量化模型；否则，基于所述量化参数数据对所述去雾模型进行量化，输出所得量化模型。4.根据权利要求1所述的去雾模型的量化剪枝方法，其特征在于，计算对应量化比特数下的量化参数数据，并对所述量化参数数据进行反量化计算，获得相应的反量化参数数据的具体步骤为：基于目标量化比特数确定最大量化值和最小量化值；基于所述边界数据、所述最大量化值和所述最小量化值进行计算，获得相应的尺度因子数据；基于所述边界数据、所述最大量化值和所述尺度因子数据进行计算，获得相应的零点数据；基于所述尺度因子数据和所述零点数据对原始参数数据进行量化平移，获得相应的量化参数数据；对所述量化参数数据进行反量化，获得相应的反量化参数数据；其中，所述原始参数数据、所述边界数据和所述反量化参数数据的数据类型均为单精度浮点型，所述零点数据和量化参数数据的数据类型为整数。
5.根据权利要求1至4任一所述的去雾模型的量化剪枝方法，其特征在于：所述原始参数数据包括若干单元参数数据；所述边界数据若干边界对，所述边界对与所述单元参数数据一一对应，所述边界对包括第一边界和第二边界；获取所述单元参数数据和所述边界对的具体步骤为：以卷积层为划分节点，对去雾模型进行划分，获得若干个网络单元；获取各网络单元所对应的单精度浮点参数，获得相应的单元参数数据；基于各单元参数数据，确定相应的边界对。6.根据权利要求5所述的去雾模型的量化剪枝方法，其特征在于，基于当前网络单元的单元参数数据，确定相应的边界对的具体步骤为：基于当前网络单元的单元参数数据，确定第一取值区间和第二取值区间，其中第一取值区间用于指示第一边界的取值范围，第二取值区间用于指示第二边界的取值范围；分别将第一取值区间和第二取值区间作为目标区间；基于所述目标区间划分若干个分布区间，基于所述分布区间和所述单元参数数据进行迭代计算，获得各分布区间内的单元参数数据所对应的量化差异度，所述分布区间均落于所述目标区间中，...

【专利技术属性】
技术研发人员：王官军，肖文勇，何利蓉，
申请(专利权)人：杭州雄迈集成电路技术股份有限公司，
类型：发明
国别省市：