一种基于多通道竞争卷积神经网络参数优化方法技术
A parameter optimization method based on multi channel competition convolutional neural network
The invention provides a multi channel competition convolutional neural network parameter optimization method based on the specific method is: to construct a convolutional neural network, the network N copies, as N channels to construct the multi-channel convolution neural network; the N is a natural number greater than or equal to 2. Compared with the existing technology, multi channel competition convolutional neural network parameter optimization based on the simulation of the human brain, neurons in the neural network, and the inhibition mechanism of reward incentive, solve the existing network parameters initialization mode of single easy to fall into local optimum problem.
【技术实现步骤摘要】
一种基于多通道竞争卷积神经网络参数优化方法
本专利技术涉及一种机器学习、神经网络、计算机视觉、大尺度图像识别领域，特别是涉及一种适用于任何神经网络的训练过程，基于多通道竞争卷积神经网络参数优化方法。
技术介绍
近年来，深度卷积网络已经成为大尺度视觉识别最有力的武器。沿着深度学习技术，研究者们从网络结构以及网络深度的角度不断提出新的网络，并且取得了很好的性能。这些方法都遵循同一个流程：从输入图像开始，每一层都接收前一层的输入，然后经过一个非线性单元，再输入到下一层网络，直至输出层。整个过程采用反向传播的方式计算梯度，利用随机梯度下降法端对端地学习网络的参数。所以它们在训练过程中存在以下几个缺点：1、一旦随机初始化参数固定，极有可能陷入局部最优值，从而造成对性能的影响；2、每次迭代网络的所有权值系数都要调整，存在损失曲线稳定性及训练效率等问题；3、目标函数的损失是固定的，不能在训练过程中进行相应的调整和改变。进一步，我们从人脑的工作方式看：1、人脑的学习是多向性发散的，人可以在很复杂、各种干扰的环境中去学习知识并且辨识目标，而现有网络在训练过程中往往选取单一的参数初始...
【技术保护点】
一种基于多通道竞争卷积神经网络参数优化方法，具体方法为：构建一个卷积神经子网络，将所构建的子网络复制N份，作为N个通道构建多通道卷积神经网络；所述N为大于等于2的自然数。
【技术特征摘要】
1.一种基于多通道竞争卷积神经网络参数优化方法，具体方法为：构建一个卷积神经子网络，将所构建的子网络复制N份，作为N个通道构建多通道卷积神经网络；所述N为大于等于2的自然数。2.根据权利要求1所述的基于多通道竞争卷积神经网络参数优化方法，还包括对各个子网络进行优化的方法，具体方法步骤为：一、对子网络进行参数初始化和学习率设定；二、将训练样本输入到每个子网络中进行训练，找到网络性能最好的一个子网络，和网络性能最差的两个子网络；三、对于网络性能最好的一个子网络，将所有学习到的参数保持不变，对于网络性能最差的两个子网络，首先从网络性能最好的一个子网络中每个滤波器中随机选取设定比例的滤波器系数，然后将网络性能最差的两个子网络中对应位置的参数替换为从网络性能最好的一个子网络中挑选出来的系数；四、将参数替代后的各个子网络进行训练并得到其网络性能，对参数替代后的子网络和参数替代前的子网络的网络性能进行比较，如果参数替代后的网络网络性能比参数替代前的网络网络性能好，则用参数替代后的网络替换参数替代前的网络；如...
【专利技术属性】
技术研发人员：李宏亮，
申请(专利权)人：成都快眼科技有限公司，
类型：发明
国别省市：四川,51
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。