深度神经网络的压缩方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了深度神经网络的压缩方法、装置、设备及存储介质。该方法包括：确定待压缩神经网络模型各卷积层中卷积核的重要度；根据最小重要度的卷积核对待压缩神经网络模型剪枝，得到神经网络模型；判断神经网络模型是否符合压缩终止条件；若所述神经网络模型符合压缩终止条件，则将所述神经网络模型作为目标深度神经网络；若所述神经网络模型不符合压缩终止条件，则重复将所述神经网络模型作为待压缩神经网络模型剪枝的操作。利用该方法，有效提高了深度神经网络模型在嵌入式平台上的运行效率，同时也精简了深度神经网络模型的存储空间，进而也提高了依赖深度神经网络模型的应用产品的用户体验。

【技术实现步骤摘要】
深度神经网络的压缩方法、装置、设备及存储介质
本专利技术涉及图像识别
，尤其涉及深度神经网络的压缩方法、装置、设备及存储介质。
技术介绍
目前，对于智能移动设备等依靠嵌入式平台的进行功能实现的设备，其上集成的一些具有预测性质的应用产品在进行功能实现时其底层技术中需要深度神经网络的参与(如直播软件中的姿态检测功能，需要依据构建的姿态检测神经网络进行人物姿态预测)。为保证预测结果的准确性，技术人员通常考虑建立一个较大规模的深度神经网络，由此，所建立的深度神经网络模型往往包含大量的冗余参数，使得深度神经网络其需要占有较大存储空间进行存储，以及很多依赖于深度神经网络实现的功能预测无法达到实时的要求，进而导致深度神经网络在嵌入式平台上存在运行效率不足的问题。为解决上述问题，考虑对深度神经网络进行优化压缩，但对于依赖嵌入式平台智能移动设备而言，其上通常没有图像处理单元能够直接对卷积操作进行优化，且由于深度神经网络，特别是卷积神经网络经过高度非线性特征空间转换，使得技术人员很难通过预测结果去追踪深度神经网络中的冗余参数，使得当前很难有效实现嵌入式平台上深度神经网络的优化压缩。
技术实现思路
有鉴本文档来自技高网...

【技术保护点】
1.一种深度神经网络的压缩方法，其特征在于，包括：确定待压缩神经网络模型各卷积层中卷积核的重要度；根据最小重要度的卷积核对待压缩神经网络模型剪枝，得到神经网络模型；判断神经网络模型是否符合压缩终止条件；若所述神经网络模型符合压缩终止条件，则将所述神经网络模型作为目标深度神经网络；若所述神经网络模型不符合压缩终止条件，则重复将所述神经网络模型作为待压缩神经网络模型剪枝的操作。

【技术特征摘要】
1.一种深度神经网络的压缩方法，其特征在于，包括：确定待压缩神经网络模型各卷积层中卷积核的重要度；根据最小重要度的卷积核对待压缩神经网络模型剪枝，得到神经网络模型；判断神经网络模型是否符合压缩终止条件；若所述神经网络模型符合压缩终止条件，则将所述神经网络模型作为目标深度神经网络；若所述神经网络模型不符合压缩终止条件，则重复将所述神经网络模型作为待压缩神经网络模型剪枝的操作。2.一种深度神经网络的压缩方法，其特征在于，包括：确定待压缩神经网络模型各卷积层中卷积核的重要度，并根据最小重要度对应的卷积核对待压缩神经网络模型剪枝，得到神经网络模型；判断剪枝次数是否小于当前剪枝周期次数阈值；若是，则重复将所述神经网络模型作为待压缩神经网络模型剪枝的操作；若否，则判断所述神经网络模型是否符合压缩终止条件；若所述神经网络模型不符合压缩终止条件，则进入下一剪枝周期，并将确定的下一剪枝周期次数阈值作为新的当前剪枝周期次数阈值，继续重复所述神经网络模型作为待压缩神经网络模型剪枝的操作；若所述神经网络模型符合压缩终止条件，则将神经网络模型作为目标深度神经网络。3.根据权利要求2所述的方法，其特征在于，所述下一剪枝周期次数阈值在进行压缩终止条件判定之前通过下述方式确定：基于给定的剪枝训练数据集，对完成当前剪枝周期后获得的神经网络模型进行设定微调次数的微调，获得微调神经网络模型；基于给定的验证数据集，确定上一微调神经网络模型的第一预测精度，以及确定所述微调神经网络模型的第二预测精度，其中，所述上一微调神经网络模型在完成上一剪枝周期后通过设定微调次数的微调获得；如果所述第一预测精度与所述第二预测精度的差值小于设定精度差值，则确定下一剪枝周期次数阈值为当前剪枝周期次数阈值加1；否则，确定下一剪枝周期次数阈值为所述当前剪枝周期次数阈值的一半。4.根据权利要求2所述的方法，其特征在于，所述下一剪枝周期次数阈值在进行压缩终止条件判定之前通过下述方式确定：基于给定的验证数据集，确定完成当前剪枝周期后所获得神经网络模型的第三预测精度；如果所述第三预测精度大于或等于设定精度值，则基于给定的剪枝训练数据集，对完成当前剪枝周期后所获得神经网络模型进行微调，并确定下一剪枝周期次数阈值为当前剪枝周期次数阈值加1；否则，基于随机函数获取一个随机值；当所述随机值大于设定常数时，基于给定的剪枝训练数据集，对完成当前剪枝周期后所获得神经网络模型进行微调，并确定下一剪枝周期次数阈值为所述当前剪枝周期次数阈值加1；当所述随机值小于或等于设定常数时，确定下一剪枝周期次数阈值为所述当前剪枝周期次数阈值减1，并将当前剪枝获得的神经网络模型还原为上一剪枝获得的神经网络模型。5.根据权利要求1至4任一所述的方法，其特征在于，所述确定待压缩神经网络模型各卷积层中卷积核的重要度，包括：获取所述待压缩神经网络模型各卷积层中每个卷积核的权重向量；基于给定的一组测试数据，确定所述待压缩神经网络模型的损失函数值；基于所述损失函数值、各所述卷积层中每个卷积核的权重向量及设定的影响量计算公式，确定各所述卷积层中每个卷积核的损失影响量；将各所述损失影响量归一化，得到的归一化影响量作为相应卷积核的重要度。6.根据权利要求5所述的方法，其特...

【专利技术属性】
技术研发人员：项伟，王毅峰，黄秋实，
申请(专利权)人：广州市百果园信息技术有限公司，
类型：发明
国别省市：广东,44