网络裁剪方法、装置及计算机可读存储介质制造方法及图纸

本发明专利技术公开了一种网络裁剪方法，包括：获取网络各层的输出数据；根据所述输出数据和主成分分析算法进行通道裁剪，获得保留通道；根据所述保留通道重新训练模型，获得新的模型。本发明专利技术还公开了一种网络裁剪装置、计算机可读存储介质。本发明专利技术能够获得网络各层的主成分通道，并根据主成分通道重新训练模型，一次性获得网络性能高的模型网络。

Network clipping method, device and computer readable storage medium

The present invention discloses a network cutting method, which includes: obtaining the output data of each layer of the network; cutting out the channel according to the output data and the principal component analysis algorithm, obtaining the reserved channel, retraining the model according to the reserved channel, and obtaining a new model. The invention also discloses a network cutting device and a computer readable storage medium. The invention can obtain the main component channel of each layer of the network, and remodel the model according to the principal component channel, and obtain the network with high network performance at one time.

【技术实现步骤摘要】
网络裁剪方法、装置及计算机可读存储介质
本专利技术涉及深度学习领域，尤其涉及一种网络裁剪方法、装置及计算机可读存储介质。
技术介绍
深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。深度模型在取得优越性能的同时往往伴随着极高的存储空间需求和计算复杂度，而现有的通用计算平台(如CPU或GPU等)很难实现高能效的神经网络计算。为了满足深度神经网络在不同的应用场景(如云端和终端)下的算力和能效需求，需要在算法层面运用量化、剪枝等方法进行模型压缩。目前一般通过设定参数阈值方式对网络直接对网络进行裁剪，这种方式无法确保裁剪后的网络性能好坏，需要进行多次裁剪或训练的迭代才能得到合适的网络。上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。
技术实现思路
本专利技术的主要目的在于提供一种网络裁剪方法、装置及计算机可读存储介质，旨在解决现有技术无法确保裁剪后的网络性能好坏，需要进行多次裁剪或训练的迭代才能得到合适的网络的问题。为实现上述目的，本专利技术提供一种主题网络裁剪方法，所述网络裁剪方法包括：获取网络各层的输出数据；根据所述输出数据和主成分分析算法进行通道裁剪，获得保留通道；根据所述保留通道重新训练模型，获得新的模型。优选地，所述根据所述输出数据和主成分分析算法进行通道裁剪，获得保留通道的步骤包括：根据所述输出数据确定数据集的协方差矩阵；对所述协方差矩阵进行特征分解，获得特征值的对角矩阵；根据所述对角矩阵和预设累积能量算法确定保留通道。优选地，所述根据所述对角矩阵和预设累积能量算法确定保留通道的步骤包括：将所述对角矩阵中的特征值根据数值大小进行排列；按照排列顺序对特征值进行逐个累加，并除以特征值总和，获得不同特征值累加数量对应的累积能量值；根据所述累积能量值和预设能量阈值确定保留通道数量；根据所述保留通道数量和通道的卷积权重值参数确定保留通道。优选地，所述将所述对角矩阵中的特征值根据数值大小进行排列的步骤包括：将所述对角矩阵中的特征值按照从大到小的顺序排列；所述根据所述累积能量值和预设能量阈值确定保留通道数量的步骤包括：确定累积能量值大于或等于所述预设能量阈值的最小特征值累加数量，并将所述最小特征值累加数量作为保留通道数量；所述根据所述保留通道数量和通道的卷积权重值参数确定保留通道的步骤包括：将通道根据卷积权重值参数大小进行排列；按照从大到小的顺序根据所述保留通道数量获得保留通道。优选地，所述对所述协方差矩阵进行特征分解，获得特征值的对角矩阵的步骤之后还包括：判断所述对角矩阵中最大特征值的能量值是否大于或等于所述预设能量阈值；当所述最大特征值的能量值大于或等于所述预设能量阈值时，以卷积权重值参数最大的通道作为保留通道。为实现上述目的，本专利技术还提供一种点网络裁剪装置，所述点网络裁剪装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的点网络裁剪程序，所述点网络裁剪程序被所述处理器执行时实现以下步骤：根据所述输出数据确定数据集的协方差矩阵；对所述协方差矩阵进行特征分解，获得特征值的对角矩阵；根据所述对角矩阵和预设累积能量算法确定保留通道。优选地，所述根据所述输出数据和主成分分析算法进行通道裁剪，获得保留通道的步骤包括：根据所述输出数据确定数据集的协方差矩阵；对所述协方差矩阵进行特征分解，获得特征值的对角矩阵；根据所述对角矩阵和预设累积能量算法确定保留通道。优选地，所述根据所述对角矩阵和预设累积能量算法确定保留通道的步骤包括：将所述对角矩阵中的特征值根据数值大小进行排列；按照排列顺序对特征值进行逐个累加，并除以特征值总和，获得不同特征值累加数量对应的累积能量值；根据所述累积能量值和预设能量阈值确定保留通道数量；根据所述保留通道数量和通道的卷积权重值参数确定保留通道。优选地，所述将所述对角矩阵中的特征值根据数值大小进行排列的步骤包括：将所述对角矩阵中的特征值按照从大到小的顺序排列；所述根据所述累积能量值和预设能量阈值确定保留通道数量的步骤包括：确定累积能量值大于或等于所述预设能量阈值的最小特征值累加数量，并将所述最小特征值累加数量作为保留通道数量；所述根据所述保留通道数量和通道的卷积权重值参数确定保留通道的步骤包括：将通道根据卷积权重值参数大小进行排列；按照从大到小的顺序根据所述保留通道数量获得保留通道。优选地，所述对所述协方差矩阵进行特征分解，获得特征值的对角矩阵的步骤之后还包括：判断所述对角矩阵中最大特征值的能量值是否大于或等于所述预设能量阈值；当所述最大特征值的能量值大于或等于所述预设能量阈值时，以卷积权重值参数最大的通道作为保留通道。此外，为实现上述目的，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有网络裁剪程序，所述网络裁剪程序被处理器执行时实现如上所述的网络裁剪方法的步骤。本专利技术提供一种网络裁剪方法，装置及计算机可读存储介质。在该方法中，获取网络各层的输出数据；根据所述输出数据和主成分分析算法进行通道裁剪，获得保留通道；根据所述保留通道重新训练模型，获得新的模型。通过上述方式，利用主成分分析算法基于数学统计来进行通道裁剪，可以获得网络各层的主成分通道，并根据主成分通道重新训练模型，一次性获得网络性能高的模型网络。附图说明图1是本专利技术实施例方案涉及的硬件运行环境的装置所属终端结构示意图；图2为本专利技术网络裁剪方法第一实施例和网络裁剪装置第一实施例的流程示意图；图3为本专利技术网络裁剪方法第二实施例和网络裁剪装置第二实施例的流程示意图；图4为本专利技术网络裁剪方法第三实施例和网络裁剪装置第三实施例的流程示意图；图5为本专利技术网络裁剪方法第四实施例和网络裁剪装置第四实施例的流程示意图；图6为本专利技术网络裁剪方法第五实施例的流程示意图。具体实施方式应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。现有的网络裁剪方法一般通过设定参数阈值方式对网络直接对网络进行裁剪，这种方式无法确保裁剪后的网络性能好坏，需要进行多次裁剪或训练的迭代才能得到合适的网络。为了解决上述技术问题，本专利技术提供一种网络裁剪方法，通过在该方法中，先获取网络各层的输出数据，再根据所述输出数据和主成分分析算法进行通道裁剪，获得保留通道，然后根据所述保留通道重新训练模型，获得新的模型。从而一次性获得网络性能高的模型网络。如图1所示，图1是本专利技术实施例方案涉及的硬件运行环境的终端结构示意图。本专利技术实施例终端可以是PC，也可以是智能手机、平板电脑、电子书阅读器、MP3(MovingPictureExpertsGroupAudioLayerIII，动态影像专家压缩标准音频层面3)播放器、MP4(MovingPictureExpertsGroupAudioLayerIV，动态影像专家压缩标准音频层面4)播放器、便携计算机等具有显示功能的可移动式终端设备。如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入本文档来自技高网...

【技术保护点】
1.一种网络裁剪方法，其特征在于，所述网络裁剪方法包括：获取网络各层的输出数据；根据所述输出数据和主成分分析算法进行通道裁剪，获得保留通道；根据所述保留通道重新训练模型，获得新的模型。

【技术特征摘要】
1.一种网络裁剪方法，其特征在于，所述网络裁剪方法包括：获取网络各层的输出数据；根据所述输出数据和主成分分析算法进行通道裁剪，获得保留通道；根据所述保留通道重新训练模型，获得新的模型。2.如权利要求1所述的网络裁剪方法，其特征在于，所述根据所述输出数据和主成分分析算法进行通道裁剪，获得保留通道的步骤包括：根据所述输出数据确定数据集的协方差矩阵；对所述协方差矩阵进行特征分解，获得特征值的对角矩阵；根据所述对角矩阵和预设累积能量算法确定保留通道。3.如权利要求2所述的网络裁剪方法，其特征在于，所述根据所述对角矩阵和预设累积能量算法确定保留通道的步骤包括：将所述对角矩阵中的特征值根据数值大小进行排列；按照排列顺序对特征值进行逐个累加，并除以特征值总和，获得不同特征值累加数量对应的累积能量值；根据所述累积能量值和预设能量阈值确定保留通道数量；根据所述保留通道数量和通道的卷积权重值参数确定保留通道。4.如权利要求3所述的网络裁剪方法，所述将所述对角矩阵中的特征值根据数值大小进行排列的步骤包括：将所述对角矩阵中的特征值按照从大到小的顺序排列；所述根据所述累积能量值和预设能量阈值确定保留通道数量的步骤包括：确定累积能量值大于或等于所述预设能量阈值的最小特征值累加数量，并将所述最小特征值累加数量作为保留通道数量；所述根据所述保留通道数量和通道的卷积权重值参数确定保留通道的步骤包括：将通道根据卷积权重值参数大小进行排列；按照从大到小的顺序根据所述保留通道数量获得保留通道。5.如权利要求2所述的网络裁剪方法，其特征在于，所述对所述协方差矩阵进行特征分解，获得特征值的对角矩阵的步骤之后还包括：判断所述对角矩阵中最大特征值的能量值是否大于或等于所述预设能量阈值；当所述最大特征值的能量值大于或等于所述预设能量阈值时，以卷积...

【专利技术属性】
技术研发人员：刘新，宋朝忠，郭烽，钟应鹏，
申请(专利权)人：深圳市易成自动驾驶技术有限公司，
类型：发明
国别省市：广东,44