卷积神经网络去冗余方法及装置、电子设备和存储介质制造方法及图纸

本发明专利技术实施例公开了一种卷积神经网络去冗余方法及装置、电子设备和存储介质，其中方法包括：针对所述初始卷积神经网络，确定各卷积核之间的相似度；根据各卷积核之间的相似度，对所述初始神经网络的卷积层进行剪枝处理；对剪枝后的卷积神经网络进行训练，得到目标卷积神经网络。本发明专利技术实施例可以提高卷积神经网络的运行速度。

【技术实现步骤摘要】
卷积神经网络去冗余方法及装置、电子设备和存储介质
本专利技术涉及深度学习
，尤其是一种卷积神经网络去冗余方法及装置、电子设备和存储介质。
技术介绍
卷积神经网络(ConvolutionalNeuralNetwork,CNN)是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，尤其适合完成大型图像处理。
技术实现思路
本专利技术实施例提供一种卷积神经网络去冗余的技术方案。根据本专利技术实施例一个方面，提供一种卷积神经网络去冗余方法，包括：针对初始卷积神经网络，确定各卷积核之间的相似度；根据所述各卷积核之间的相似度，对所述初始神经网络的卷积层进行剪枝处理；对剪枝后的卷积神经网络进行训练，得到目标卷积神经网络。在一种可选方式中，还包括：训练得到所述初始卷积神经网络；所述训练得到所述初始卷积神经网络包括：确定满足预置准确度标准的网络结构；根据数据样本训练网络，得到满足所述网络结构的初始卷积神经网络。在一种可选方式中，根据所述各卷积核之间的相似度，对所述初始神经网络的卷积层进行剪枝，包括：将各卷积层的各卷积核之间的相似度与预设的剪枝相似度阈值进行比较；消除高于所述剪枝相似度阈值的相似度对应的卷积核。在一种可选方式中，针对所述初始卷积神经网络，计算所述各卷积核之间的相似度，包括：针对所述初始卷积神经网络，计算各卷积核之间的欧式距离或余弦距离；通过各卷积核之间的欧式距离或余弦距离，确定各卷积核之间的相似度。在一种可选方式中，所述消除高于所述剪枝相似度阈值的相似度对应的卷积核，包括：消除低于预设剪枝欧式距离阈值的欧式距离对应的卷积核，或者，消除低于预设剪枝余弦距离阈值的余弦距离对应的卷积核。在一种可选方式中，所述针对所述初始卷积神经网络，计算各卷积核之间的欧式距离或余弦距离，包括：针对所述初始卷积神经网络中的每一个卷积层，根据卷积层的卷积核大小，确定特征图的输出通道数量；根据每个输出通道的参数构成M个向量；计算所述M个向量每两个向量之间的欧式距离为各卷积核之间的欧式距离，或者，计算所述M个向量每两个向量之间的余弦距离为各卷积核之间的余弦距离。在一种可选方式中，所述根据各卷积核之间的相似度，对所述神经卷积网络的卷积层进行剪枝，包括：根据所述M个向量每两个向量之间的欧式距离得到第一矩阵；将所述第一矩阵中的欧式距离数值与预设的剪枝欧式距离阈值进行比较；在所述第一矩阵中，将大于所述剪枝欧式距离阈值的位置设置为0，将小于所述剪枝欧式距离阈值的位置设置为1，得到第二矩阵；或者，根据所述M个向量每两个向量之间的余弦距离得到第一矩阵；将所述第一矩阵中的余弦距离数值与预设的剪枝余弦距离阈值进行比较；在所述第一矩阵中，将大于所述剪枝余弦距离阈值的位置设置为0，将小于所述剪枝余弦距离阈值的位置设置为1，得到第二矩阵。在一种可选方式中，所述对剪枝后的卷积神经网络进行训练，得到目标卷积神经网络，包括：根据所述第二矩阵中每个元素的值，建立连接图；根据连接体算法，计算得到所述连接图中连接体的总数；将所述连接体的总数确定为对应的卷积层的输出通道数目，将连接体中所对应的向量求均值，作为所述卷积层新的参数；根据所述新的参数训练得到所述目标卷积神经网络。在一种可选方式中，所述根据所述新的参数训练得到所述目标卷积神经网络包括：实时测试当前训练得到的卷积神经网络的速度和准确度；将所述测试得到的速度和/或准确度分别与目标速度阈值和/或目标准确度阈值进行比较，若达到目标速度和/或目标准确度要求，则确定训练完成并得到所述目标卷积神经网络。根据本专利技术实施例一个方面，提供一种卷积神经网络去冗余装置，包括：相似度确定单元，用于针对初始卷积神经网络，确定各卷积核之间的相似度；剪枝单元，用于根据所述各卷积核之间的相似度，对所述初始神经网络的卷积层进行剪枝处理；目标训练单元，用于对剪枝后的卷积神经网络进行训练，得到目标卷积神经网络。在一种可选方式中，还包括：初始训练单元，用于训练得到所述初始卷积神经网络；所述初始训练单元具体用于：确定满足预置准确度标准的网络结构，以及，根据数据样本训练网络，得到满足所述网络结构的初始卷积神经网络。在一种可选方式中，所述剪枝单元具体用于：将各卷积层的各卷积核之间的相似度与预设的剪枝相似度阈值进行比较，以及，消除高于所述剪枝相似度阈值的相似度对应的卷积核。在一种可选方式中，所述相似度确定单元包括：距离计算子单元，用于针对所述初始卷积神经网络，计算各卷积核之间的欧式距离或余弦距离；相似度确定子单元，通过各卷积核之间的欧式距离或余弦距离，确定各卷积核之间的相似度。在一种可选方式中，所述剪枝单元具体用于：消除低于预设剪枝欧式距离阈值的欧式距离对应的卷积核，或者，消除低于预设剪枝余弦距离阈值的余弦距离对应的卷积核。在一种可选方式中，所述距离计算子单元具体用于：针对所述初始卷积神经网络中的每一个卷积层，根据卷积层的卷积核大小，确定特征图的输出通道数量；根据每个输出通道的参数构成M个向量；以及，计算所述M个向量每两个向量之间的欧式距离为各卷积核之间的欧式距离，或者，计算所述M个向量每两个向量之间的余弦距离为各卷积核之间的余弦距离。在一种可选方式中，所述剪枝单元包括：第一矩阵子计算单元，用于根据所计算的M个向量每两个向量之间的欧式距离得到第一矩阵；第二矩阵子计算单元，用于将所述第一矩阵中的欧式距离数值与预设的剪枝欧式距离阈值进行比较；在所述第一矩阵中，将大于所述剪枝欧式距离阈值的位置设置为0，将小于所述剪枝欧式距离阈值的位置设置为1，得到第二矩阵；或者，第一矩阵子计算单元，用于根据所述M个向量每两个向量之间的余弦距离得到第一矩阵；第二矩阵子计算单元，用于将所述第一矩阵中的余弦距离数值与预设的剪枝余弦距离阈值进行比较；在所述第一矩阵中，将大于所述剪枝余弦距离阈值的位置设置为0，将小于所述剪枝余弦距离阈值的位置设置为1，得到第二矩阵。在一种可选方式中，所述目标训练单元包括：连接图建立子单元，用于根据所述第二矩阵中每个元素的值，建立连接图；并根据连接体算法，计算得到所述连接图中连接体的总数；新参数确定子单元，用于将所述连接体的总数确定为对应的卷积层的输出通道数目，将连接体中所对应的向量求均值，作为所述卷积层新的参数；重新训练子单元，用于根据所述新的参数训练得到所述目标卷积神经网络。在一种可选方式中，所述重新训练子单元具体用于：实时测试当前训练得到的卷积神经网络的速度和准确度；以及，将所述测试得到的速度和/或准确度分别与目标速度阈值和/或目标准确度阈值进行比较，若达到目标速度和/或目标准确度要求，则确定训练完成并得到所述目标卷积神经网络。根据本专利技术实施例一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述卷积神经网络去冗余方法的步骤。根据本专利技术实施例一个方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现任一项所述卷积神经网络去冗余方法的步骤。基于本专利技术上述实施例提供的卷积神经网络去冗余方法，通过分析卷积神经网络中卷积核的相似度，去除相似度高的冗余卷积层进行剪枝处理，由于去除的是卷积神经网络中卷积核相似度较高的冗余卷积层，因此能够在不影本文档来自技高网...

【技术保护点】
1.一种卷积神经网络去冗余方法，其特征在于，包括：针对初始卷积神经网络，确定各卷积核之间的相似度；根据所述各卷积核之间的相似度，对所述初始神经网络的卷积层进行剪枝处理；对剪枝后的卷积神经网络进行训练，得到目标卷积神经网络。

【技术特征摘要】
1.一种卷积神经网络去冗余方法，其特征在于，包括：针对初始卷积神经网络，确定各卷积核之间的相似度；根据所述各卷积核之间的相似度，对所述初始神经网络的卷积层进行剪枝处理；对剪枝后的卷积神经网络进行训练，得到目标卷积神经网络。2.根据权利要求1所述的方法，其特征在于，还包括：训练得到所述初始卷积神经网络；所述训练得到所述初始卷积神经网络包括：确定满足预置准确度标准的网络结构；根据数据样本训练网络，得到满足所述网络结构的初始卷积神经网络。3.根据权利要求1所述的方法，其特征在于，根据所述各卷积核之间的相似度，对所述初始神经网络的卷积层进行剪枝，包括：将各卷积层的各卷积核之间的相似度与预设的剪枝相似度阈值进行比较；消除高于所述剪枝相似度阈值的相似度对应的卷积核。4.根据权利要求3所述的方法，其特征在于，针对所述初始卷积神经网络，计算所述各卷积核之间的相似度，包括：针对所述初始卷积神经网络，计算各卷积核之间的欧式距离或余弦距离；通过各卷积核之间的欧式距离或余弦距离，确定各卷积核之间的相似度。5.根据权利要求4所述的方法，其特征在于，所述消除高于所述剪枝相似度阈值的相似度对应的卷积核，包括：消除低于预设剪枝欧式距离阈值的欧式距离对应的卷积核，或者，消除低于预设剪枝余弦距离阈值的余弦距离对应的卷积核。6.根据权利要求4所述的方法，其特征在于，所述针对所述初始卷积神经网络，计算各卷积核之间的欧式距离或余弦距离，包括：针对所述初始卷积神经网络中的每一个卷积层，根据卷积层的卷积核大小，确定特征图的输出通道数量；根据...

【专利技术属性】
技术研发人员：杨成熙，孙文秀，庞家昊，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京,11