卷积神经网络模型压缩方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及人工智能技术领域，公开了卷积神经网络模型压缩方法、装置、设备及存储介质。该方法包括：对应用程序中的原始卷积神经网络模型进行复制，得到N个备选模型M

【技术实现步骤摘要】
卷积神经网络模型压缩方法、装置、设备及存储介质
本专利技术涉及人工智能
，尤其涉及一种卷积神经网络模型压缩方法、装置、设备及存储介质。
技术介绍
在移动互联网时代，人们越来越依赖手机、平板电脑等移动设备来获取、使用和产生信息，特别是在4G和5G网络的普及后，人们在移动端对数字多媒体信息的需求也从纯文字逐渐进化到了图像和视频，越来越多的人使用移动端设备来处理图像和视频数据。而卷积神经网络模型(ConvolutionalNeuralNetwork,CNN)已经发展成为计算机视觉任务的最先进技术之一，为图像与视频在移动设备上的处理提供了便利。目前，实现模型轻量化的主要手段仍然是人工设计轻量化神经网络模型，这种方法依赖于研究人员的经验，且难以确定具体的压缩指标；而在训练过程中，亦需进行多次的模型迭代压缩，才能得到满足移动端性能的压缩模型。故现有卷积神经网络模型压缩方法存在无法自动适配移动终端的问题。
技术实现思路
本专利技术的主要目的在于解决现有卷积神经网络模型压缩方法存在无法自动适配移动终端的技术问题。本专利本文档来自技高网...

【技术保护点】
1.一种卷积神经网络模型压缩方法，所述卷积神经网络模型应用于移动终端的应用程序，其特征在于，所述卷积神经网络模型压缩方法包括以下步骤：/nS1、在移动终端部署应用程序或移动终端内部环境发生变化时，提取所述应用程序中用于数据处理的原始卷积神经网络模型；/nS2、对所述原始卷积神经网络模型进行复制，得到N个备选模型M

【技术特征摘要】
1.一种卷积神经网络模型压缩方法，所述卷积神经网络模型应用于移动终端的应用程序，其特征在于，所述卷积神经网络模型压缩方法包括以下步骤：
S1、在移动终端部署应用程序或移动终端内部环境发生变化时，提取所述应用程序中用于数据处理的原始卷积神经网络模型；
S2、对所述原始卷积神经网络模型进行复制，得到N个备选模型Mi，其中，N为所述原始卷积神经网络模型的卷积层数，i取1到N的正整数；
S3、依序对所述各备选模型Mi的任意两层卷积核进行压缩，并对压缩卷积核后的备选模型Mi进行训练，得到调整后的备选模型Mi；
S4、从所述调整后的备选模型Mi中，选择训练后性能损失最少的最优备选模型Mk，其中，1≤k≤i且为正整数；
S5、运行所述应用程序，以调用所述最优备选模型Mk进行数据处理，并获取所述移动终端的当前内部环境参数；
S6、判断当前内部环境参数是否满足预置的资源条件；
S7、若满足，则将最优备选模型Mk作为压缩后的卷积神经网络模型；若不满足，则执行S8；
S8、将所述最优备选模型Mk作为下一轮模型压缩的原始卷积神经网络模型，并执行S2-S7。


2.根据权利要求1所述的卷积神经网络模型压缩方法，其特征在于，所述依序对所述各备选模型Mi的任意两层卷积核进行压缩包括：
选取所述各备选模型Mi中的第i层卷积层，并对所述第i层卷积层中的各卷积核进行压缩；
选取所述各备选模型Mi中的第j层卷积层，并从所述第j层卷积层中选择一个或多个卷积核进行剔除，其中所述j取1到N的正整数，且j≠i。


3.根据权利要求1所述的卷积神经网络模型压缩方法，其特征在于，所述对所述第i层卷积层中的各卷积核进行压缩包括：
统计所述第i卷积层中各卷积核的预设训练参数，得到对应的参数矩阵；
计算所述各训练参数的参数绝对值，并根据所述参数绝对值的大小顺序，对所述各训练参数进行排列；
从所述各参数矩阵中选取一个或多个排序靠后的训练参数进行置零。


4.根据权利要求1所述的卷积神经网络模型压缩方法，其特征在于，所述从所述第j层卷积层中选择一个或多个卷积核进行剔除包括：
获取网络输出误差，并分别计算所述第j卷积层中各卷积核相对于所述网络输出误差的贡献值；
根据所述贡献值的大小顺序，对所述各卷积核进行排列，并从所述各卷积核中选取一个或多个排序靠后的卷积核进行剔除。


5.根据权利要求1-4中任一项所述的卷积神经网络模型压缩方法，其特征在于，所述对压缩卷积核后的备选模型Mi进行训练，得到调整后的备选模型Mi包括：
获取预置训练任务和对应的预训练网络层；
分别将所述压缩卷积核后的备选模型Mi中的输出层替换为所述预训练网络层...

【专利技术属性】
技术研发人员：刘杰，王健宗，瞿晓阳，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东;44