【技术实现步骤摘要】
一种基于特征空间相关性的神经网络正则化方法
本专利技术涉及神经网络
，特别涉及一种基于特征空间相关性的神经网络正则化方法。
技术介绍
深度神经网络是一种高度非线性的模型，在训练过程中很容易发生过拟合的问题，因此在机器学习的研究中，各类正则算法被提出，用以提高机器学习模型的泛化性能。早期的正则化方法通过在损失函数上增加一个正则项或罚项来限制模型(如线性模型，神经网络)的复杂度，如L1正则化，L2正则化等。该正则项通常是参数范数惩罚，用以减小模型参数的规模。在计算机视觉的研究中，数据增强是一种常用且有效的正则化方法。例如在图像中，数据增强通过对图像进行水平/垂直翻转，缩放，旋转，裁剪，增加色彩抖动和噪声等方法增加训练数据集，使得训练集具有多样性，从而增强模型的泛化能力。随着深度神经网络的发展，更有效的正则技术被提出。2012年由Hinton等人提出了Dropout应用于全连接网络中,该方法通过随机将神经网络中的部分神经元置零，达到网络正则的作用。针对CNN的结构特性，一大类基于随机丢弃的正则算法被提出，如Cutou...
【技术保护点】
1.一种基于特征空间相关性的神经网络正则化方法，其特征在于，所述方法包括：/n获取待处理特征图的空间相关性矩阵，基于所述空间相关性矩阵确定所述待处理特征图对应的第一丢弃掩码矩阵；/n根据所述第一丢弃掩码矩阵以及所述待处理特征图，确定所述待处理特征图对应的第一特征图；/n确定所述第一特征图对应的通道相关性向量，并基于通道相关性向量确定所述待处理特征图对应的第二丢弃掩码矩阵；/n根据所述第二丢弃掩码矩阵以及所述第一特征图，确定所述待处理特征图对应的丢弃后的特征图。/n
【技术特征摘要】
1.一种基于特征空间相关性的神经网络正则化方法，其特征在于，所述方法包括：
获取待处理特征图的空间相关性矩阵，基于所述空间相关性矩阵确定所述待处理特征图对应的第一丢弃掩码矩阵；
根据所述第一丢弃掩码矩阵以及所述待处理特征图，确定所述待处理特征图对应的第一特征图；
确定所述第一特征图对应的通道相关性向量，并基于通道相关性向量确定所述待处理特征图对应的第二丢弃掩码矩阵；
根据所述第二丢弃掩码矩阵以及所述第一特征图，确定所述待处理特征图对应的丢弃后的特征图。
2.根据权利要求1所述基于特征空间相关性的神经网络正则化方法，其特征在于，所述待处理特征图为神经网络中一卷积层输出的特征图。
3.根据权利要求1所述基于特征空间相关性的神经网络正则化方法，其特征在于，所述获取待处理特征图的空间相关性矩阵具体包括：
对所述待处理特征图进行下采样，以得到待下采样特征图；
将所述下采样特征图转换为特征矩阵，并对所述特征矩阵进行归一化处理，以得到归一化特征矩阵；
根据特征正交性，确定所述归一化特征矩阵对应的空间相关性矩阵。
4.根据权利要求1所述基于特征空间相关性的神经网络正则化方法，其特征在于，所述基于所述空间相关性矩阵确定所述下采样特征图对应的第一丢弃掩码矩阵具体包括：
根据所述空间相关性矩阵确定所述下采样特征图对应的第一丢弃概率向量，并根据所述第一丢弃概率向量，确定所述下采样特征图对应的第三丢弃掩码矩阵；
确定所述第三丢弃掩码矩阵对应的第一候选丢弃比例，并根据预设的第一丢弃比例以及所述第一候选丢弃比例，确定所述下采样特征图对应的第一目标丢弃比例；
根据所述第一目标丢弃比例，确定所述下采样特征图对应的第四丢弃掩码矩阵；
根据所述第三丢弃掩码矩阵和所述第四丢弃掩码矩阵，确定所述待处理特征图对应的第一丢弃掩码矩阵。
5.根据权利要求4所述基于特征空间相关性的神经网络正则化方法，其特征在于，所述根据所述第三丢弃掩码矩阵和所述第四丢弃掩码矩阵，确定所述待处理特征图对应的第一丢弃掩码矩阵具体包括：
在所述第三丢弃掩码矩阵中选取目标元素，其中，所述目标元素的元素值以及目标元素对应的候选元素的元素值均为0，...
【专利技术属性】
技术研发人员：戴涛，曾钰媛，夏树涛，李清，李伟超，汪漪，
申请(专利权)人：清华大学深圳国际研究生院，鹏城实验室，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。