一种压缩存储卷积神经网络模型的方法及装置制造方法及图纸

本发明专利技术提供了一种压缩存储卷积神经网络模型的方法及装置，预先获取经过训练的卷积神经网络模型，包括：对卷积神经网络模型进行剪枝处理，并获取每一个卷积层对应的至少四个卷积权重参数和每一个全连接层对应的至少四个全连接权重参数；针对每一个卷积层，对卷积层对应的至少四个卷积权重参数进行聚类，获取至少一个卷积聚类权重参数和至少一个卷积权重索引；针对每一个全连接层，对全连接层对应的至少四个全连接权重参数进行聚类，获取聚类后的至少一个全连接聚类权重参数和至少一个全连接权重索引；利用二进码十进数BCD码对各个卷积权重索引和各个全连接权重索引进行压缩存储。本方案能够降低卷积神经网络模型占用的存储空间。

【技术实现步骤摘要】
一种压缩存储卷积神经网络模型的方法及装置
本专利技术涉及数据存储
，特别涉及一种压缩存储卷积神经网络模型的方法及装置。
技术介绍
在机器学习领域中，卷积神经网络是一种深度前馈人工神经网络，已成功地应用于图像识别。目前，从AlexNet网络结构开始，卷积神经网络都以ImageNet可视化数据库上的分类准确率作为性能评估的主要标准。这使得卷积神经网络架构的发展没有考虑模型复杂度和计算效率问题，从而导致卷积神经网络模型过大，占用智能手机、AR/VR设备、无人机等内存较小的智能设备过多的存储空间。
技术实现思路
本专利技术实施例提供了一种压缩存储卷积神经网络模型的方法及装置，能够降低卷积神经网络模型占用的存储空间。第一方面，本专利技术实施例提供了一种压缩存储卷积神经网络模型的方法，包括：预先获取经过训练的卷积神经网络模型；还包括：对所述卷积神经网络模型进行剪枝处理；获取剪枝处理后的所述卷积神经网络模型的每一个卷积层对应的至少四个卷积权重参数，和每一个全连接层对应的至少四个全连接权重参数；针对每一个所述卷积层，对所述卷积层对应的所述至少四个卷积权重参数进行聚类，获取聚类后的至少一个卷积聚类权重参数；针对每一个所述全连接层，对所述全连接层对应的所述至少四个全连接权重参数进行聚类，获取聚类后的至少一个全连接聚类权重参数；确定所述至少一个卷积聚类权重参数对应的至少一个卷积权重索引，和所述至少一个全连接聚类权重参数对应的至少一个全连接权重索引；利用二进码十进数BCD码压缩所述至少一个卷积权重索引和所述至少一个全连接权重索引；存储压缩后的所述至少一个卷积权重索引和所述至少一个全连接权重索引。优选地，所述对所述卷积层对应的所述至少四个卷积权重参数进行聚类，获取聚类后的至少一个卷积聚类权重参数，包括：S0：确定所述卷积层对应的所述至少四个卷积权重参数的参数量，是否大于预设的第一参数值，如果是，执行S1，否则，执行S2；S1：对所述至少四个卷积权重参数进行聚类，执行S4；S2：将所述卷积层对应的所述至少四个卷积权重参数划分为至少两个卷积等级，执行S3；S3：针对每一个所述卷积等级，对所述卷积等级的至少两个所述卷积权重参数进行聚类，执行S4；S4：获取聚类后的至少一个卷积聚类权重参数。优选地，所述对所述全连接层对应的所述至少四个全连接权重参数进行聚类，获取聚类后的至少一个全连接聚类权重参数，包括：D0：确定所述全连接层对应的所述至少全连接四个权重参数的参数量，是否大于预设的第二参数值，如果是，执行D1，否则，执行D2；D1：对所述至少四个全连接权重参数进行聚类，执行D4；D2：将所述全连接层对应的所述至少四个全连接权重参数划分为至少全连接两个等级，执行D3；D3：针对每一个所述全连接等级，对所述全连接等级的至少两个全连接所述权重参数进行聚类，执行D4；D4：获取聚类后的至少一个全连接聚类权重参数。优选地，所述利用二进码十进数BCD码压缩所述至少一个卷积权重索引和所述至少一个全连接权重索引，包括：将所述至少一个卷积聚类权重索引，转换为对应的卷积权重索引BCD码；将所述至少一个全连接聚类权重索引，转换为对应的全连接权重索引BCD码；则，所述存储压缩后的所述至少一个卷积权重索引和所述至少一个全连接权重索引，包括：存储所述卷积权重索引BCD码和所述全连接权重索引BCD码。优选地，所述对所述卷积神经网络模型进行剪枝处理，包括：利用Dropout方法或L1正则化方法，对所述卷积神经网络模型进行剪枝处理。第二方面，本专利技术实施例提供了一种压缩存储卷积神经网络模型的装置，包括：训练管理单元，用于预先获取经过训练的卷积神经网络模型；对所述卷积神经网络模型进行剪枝处理；权重获取单元，用于获取所述训练管理单元剪枝处理后的所述卷积神经网络模型的每一个卷积层对应的至少四个卷积权重参数，和每一个全连接层对应的至少四个全连接权重参数；聚类处理单元，用于针对每一个所述卷积层，对所述权重获取单元获取的所述卷积层对应的所述至少四个卷积权重参数进行聚类，获取聚类后的至少一个卷积聚类权重参数；针对每一个所述全连接层，对所述权重获取单元获取的所述全连接层对应的所述至少四个全连接权重参数进行聚类，获取聚类后的至少一个全连接聚类权重参数；确定所述至少一个卷积聚类权重参数对应的至少一个卷积权重索引，和所述至少一个全连接聚类权重参数对应的至少一个全连接权重索引；压缩存储单元，用于利用二进码十进数BCD码压缩所述聚类处理单元获取的所述至少一个卷积权重索引和所述至少一个全连接权重索引；存储压缩后的所述至少一个卷积权重索引和所述至少一个全连接权重索引。优选地，所述聚类处理单元，用于执行：S0：确定所述卷积层对应的所述至少四个卷积权重参数的参数量，是否大于预设的第一参数值，如果是，执行S1，否则，执行S2；S1：对所述至少四个卷积权重参数进行聚类，执行S4；S2：将所述卷积层对应的所述至少四个卷积权重参数划分为至少两个卷积等级，执行S3；S3：针对每一个所述卷积等级，对所述卷积等级的至少两个所述卷积权重参数进行聚类，执行S4；S4：获取聚类后的至少一个卷积聚类权重参数。优选地，所述聚类处理单元，用于执行：D0：确定所述全连接层对应的所述至少全连接四个权重参数的参数量，是否大于预设的第二参数值，如果是，执行D1，否则，执行D2；D1：对所述至少四个全连接权重参数进行聚类，执行D4；D2：将所述全连接层对应的所述至少四个全连接权重参数划分为至少全连接两个等级，执行D3；D3：针对每一个所述全连接等级，对所述全连接等级的至少两个全连接所述权重参数进行聚类，执行D4；D4：获取聚类后的至少一个全连接聚类权重参数。优选地，所述压缩存储单元，用于将所述至少一个卷积聚类权重索引，转换为对应的卷积权重索引BCD码；将所述至少一个全连接聚类权重索引，转换为对应的全连接权重索引BCD码；存储所述卷积权重索引BCD码和所述全连接权重索引BCD码。优选地，所述训练管理单元，用于利用Dropout方法或L1正则化方法，对所述卷积神经网络模型进行剪枝处理。在本专利技术实施例中，通过对经过训练的卷积神经网络模型进行剪枝，完成卷积神经网络模型的稀疏处理，可以减少卷积神经网络模型卷积层对应的聚集权重参数和全连接层对应的全连接权重参数的数量，节约运算时间，再通过权重量化，分别将每一个卷积层对应的卷积权重参数和每一个全连接层对应的卷积权重参数分别进行聚类，可以进一步缩减卷积神经网络模型的权重参数的数量，最后利用BCD码对聚类后的卷积聚类权重参数对应的卷积聚类权重索引，以及全连接聚类权重参数对应的全连接聚类权重索引进行压缩存储，即可减少量化后的权重索引存储空间，保证卷积神经网络模型损失和精度平衡的同时，提高卷积神经网络模型的压缩率，实现降低卷积神经网络模型占用的存储空间的目的。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术一实施例提供的一种压缩存储卷积神经网络模型的方法的流程图；图2是本专利技术一实施例提供的本文档来自技高网...

【技术保护点】
1.一种压缩存储卷积神经网络模型的方法，其特征在于，预先获取经过训练的卷积神经网络模型，还包括：对所述卷积神经网络模型进行剪枝处理；获取剪枝处理后的所述卷积神经网络模型的每一个卷积层对应的至少四个卷积权重参数，和每一个全连接层对应的至少四个全连接权重参数；针对每一个所述卷积层，对所述卷积层对应的所述至少四个卷积权重参数进行聚类，获取聚类后的至少一个卷积聚类权重参数；针对每一个所述全连接层，对所述全连接层对应的所述至少四个全连接权重参数进行聚类，获取聚类后的至少一个全连接聚类权重参数；确定所述至少一个卷积聚类权重参数对应的至少一个卷积权重索引，和所述至少一个全连接聚类权重参数对应的至少一个全连接权重索引；利用二进码十进数BCD码压缩所述至少一个卷积权重索引和所述至少一个全连接权重索引；存储压缩后的所述至少一个卷积权重索引和所述至少一个全连接权重索引。

【技术特征摘要】
1.一种压缩存储卷积神经网络模型的方法，其特征在于，预先获取经过训练的卷积神经网络模型，还包括：对所述卷积神经网络模型进行剪枝处理；获取剪枝处理后的所述卷积神经网络模型的每一个卷积层对应的至少四个卷积权重参数，和每一个全连接层对应的至少四个全连接权重参数；针对每一个所述卷积层，对所述卷积层对应的所述至少四个卷积权重参数进行聚类，获取聚类后的至少一个卷积聚类权重参数；针对每一个所述全连接层，对所述全连接层对应的所述至少四个全连接权重参数进行聚类，获取聚类后的至少一个全连接聚类权重参数；确定所述至少一个卷积聚类权重参数对应的至少一个卷积权重索引，和所述至少一个全连接聚类权重参数对应的至少一个全连接权重索引；利用二进码十进数BCD码压缩所述至少一个卷积权重索引和所述至少一个全连接权重索引；存储压缩后的所述至少一个卷积权重索引和所述至少一个全连接权重索引。2.根据权利要求1所述的方法，其特征在于，所述对所述卷积层对应的所述至少四个卷积权重参数进行聚类，获取聚类后的至少一个卷积聚类权重参数，包括：S0：确定所述卷积层对应的所述至少四个卷积权重参数的参数量，是否大于预设的第一参数值，如果是，执行S1，否则，执行S2；S1：对所述至少四个卷积权重参数进行聚类，执行S4；S2：将所述卷积层对应的所述至少四个卷积权重参数划分为至少两个卷积等级，执行S3；S3：针对每一个所述卷积等级，对所述卷积等级的至少两个所述卷积权重参数进行聚类，执行S4；S4：获取聚类后的至少一个卷积聚类权重参数。3.根据权利要求1所述的方法，其特征在于，所述对所述全连接层对应的所述至少四个全连接权重参数进行聚类，获取聚类后的至少一个全连接聚类权重参数，包括：D0：确定所述全连接层对应的所述至少全连接四个权重参数的参数量，是否大于预设的第二参数值，如果是，执行D1，否则，执行D2；D1：对所述至少四个全连接权重参数进行聚类，执行D4；D2：将所述全连接层对应的所述至少四个全连接权重参数划分为至少全连接两个等级，执行D3；D3：针对每一个所述全连接等级，对所述全连接等级的至少两个全连接所述权重参数进行聚类，执行D4；D4：获取聚类后的至少一个全连接聚类权重参数。4.根据权利要求1所述的方法，其特征在于，所述利用二进码十进数BCD码压缩所述至少一个卷积权重索引和所述至少一个全连接权重索引，包括：将所述至少一个卷积聚类权重索引，转换为对应的卷积权重索引BCD码；将所述至少一个全连接聚类权重索引，转换为对应的全连接权重索引BCD码；则，所述存储压缩后的所述至少一个卷积权重索引和所述至少一个全连接权重索引，包括：存储所述卷积权重索引BCD码和所述全连接权重索引BCD码。5.根据权利要求1至4中任一所述的方法，其特征在于，所述对所述卷积神经网络模型进行剪枝处...

【专利技术属性】
技术研发人员：段成德，于治楼，姜凯，高岩，
申请(专利权)人：济南浪潮高新科技投资发展有限公司，
类型：发明
国别省市：山东,37