一种基于分层随机梯度下降的卷积神经网络训练方法技术

本发明专利技术公开了一种基于分层随机梯度下降的卷积神经网络训练方法，包括：采用图像数据集分类划分方法，对图像数据集进行分类划分；统计各个类别下的样本数量，计算出与所有样本数量的比重作为权重，按照各个分类的权重，乘以批样本数量的大小，作为从各类别中抽取与批样本数量相同的样本；按照正常的梯度下降法对模型进行训练，并按照变换后的模型参数公式更新模型参数。本发明专利技术提出基于分层随机采样，进行数据集的采样，并结合随机梯度下降法进行卷积神经网络的训练，以解决简单随机采样过程中抽样误差的问题，增强模型泛化能力。

【技术实现步骤摘要】
一种基于分层随机梯度下降的卷积神经网络训练方法
本专利技术涉及深度学习与训练优化领域领域，尤其涉及一种基于分层随机梯度下降的卷积神经网络训练方法。
技术介绍
在卷积神经网络的训练过程中，尤其是数据量过少不能反映真实世界的数据分布的情况下，常常会存在模型泛化能力低的情况。原因在于神经网络的训练是使用样本统计值来推断总体参数，当使用简单随机采样的方式采样数据时，由于样本数量过少，无法通过样本各单位的结构反映总体各单位的结构，从而造成样本统计值与总体参数之间出现较大偏差，致使模型的泛化能力不足。虽然可以通过增大批样本数量的大小来减小偏差，但会使得硬件资源更为紧张。而分层随机采样与简单随机采样相比，在样本数量相同时，它的抽样误差较小；在抽样误差的要求相同时，它所需的样本数量较少。目前采用的简单随机采样由于未考虑数据集中不同类别所占的比例，因此存在抽样误差的问题，存在偶然因素使得样本各单位结构不足以代表总体各单位结构，造成模型训练后的泛化能力不强。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种基于分层随机梯度下降的卷本文档来自技高网...

【技术保护点】
1.一种基于分层随机梯度下降的卷积神经网络训练方法，其特征在于，方法包括以下步骤：/nS1，采用图像数据集分类划分方法，对图像数据集进行分类划分；/nS2，统计各个类别下的样本数量，计算出与所有样本数量的比重作为权重，按照各个分类的权重，乘以批样本数量的大小，作为从各类别中抽取与批样本数量相同的样本；/nS3，按照正常的梯度下降法对模型进行训练，设训练模型的损失函数为j

【技术特征摘要】
1.一种基于分层随机梯度下降的卷积神经网络训练方法，其特征在于，方法包括以下步骤：
S1，采用图像数据集分类划分方法，对图像数据集进行分类划分；
S2，统计各个类别下的样本数量，计算出与所有样本数量的比重作为权重，按照各个分类的权重，乘以批样本数量的大小，作为从各类别中抽取与批样本数量相同的样本；
S3，按照正常的梯度下降法对模型进行训练，设训练模型的损失函数为jθ(x,y)，其中θ为模型的参数，x为样本，y为真实标签，并按照变换后的模型参数公式更新模型参数。


2.根据权利要求1所述的一种基于分层随机梯度下降的卷积神经网络训练方法，其特征在于，所述步骤S1中对图像数据集分类划分过程具体包括：
S101，首先使用预训练的ResNet50模型提取图像数据集的图像特征，生成特征向量x；
S102，对生成的每一个特征向量x，使用公式对其进行L2正则化，将特征向量缩放为高维球形空...

【专利技术属性】
技术研发人员：邓嘉新，王亚强，刘魁，
申请(专利权)人：成都成信高科信息技术有限公司，成都信息工程大学，
类型：发明
国别省市：四川;51