基于连续小批量训练梯度下降的逐步回归方法和装置制造方法及图纸

本申请提供的基于连续小批量训练梯度下降的逐步回归方法和装置，属于计算机技术领域。所述方法包括：将待筛选样本特征集中的数据划分为多个数据块；在逐步回归单次特征筛选时，首先使用极小的数据量对特征进行粗筛，随后使用较大数据量对特征进行精筛；利用每次训练后回归模型的评价指标对特征进行筛选，在本次训练得到回归模型的目标评价指标优于回归模型的上一次训练的历史评价指标时，将特征添加至已筛选样本特征集；在目标评价指标差于回归模型的上一次训练的历史评价指标时，结束特征筛选过程并输出最终的已筛选样本特征集和回归模型。回归模型。回归模型。

【技术实现步骤摘要】
基于连续小批量训练梯度下降的逐步回归方法和装置


[0001]本申请属于计算机
，特别涉及一种基于连续小批量训练梯度下降的逐步回归方法和装置。

技术介绍

[0002]逐步回归是回归算法的一种，可用于特征筛选过程，它主要是利用贪心算法逐步筛选样本特征以解决回归问题中多变量共线性问题，即数据各特征之间并非线性无关的关系。
[0003]相关技术中利用逐步回归算法进行特征筛选的过程通常是在每个特征筛选迭代轮次中，依次对输入回归模型的自变量进行变更，从而训练得到不同自变量对应的回归模型，然后针对每个回归模型分别采用各种检验标准依次检查每个变量引入回归模型是否会导致回归模型发生显著性变化，从而筛选出可以引起模型显著性变化的各变量特征。
[0004]但是这种方式需要将特征变量逐个输入至回归模型进行训练，由于线性回归的复杂度一般与样本数量以及特征数量呈线性相关关系，因此随着特征变量和样本数量的增加，利用回归模型进行特征筛选的复杂度将急剧增加，导致特征筛选的复杂度极高。

技术实现思路

[0005]本申请提供的一种基于连续小批量本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于连续小批量训练梯度下降的逐步回归方法，其特征在于，所述方法包括：将待筛选样本特征集中的数据划分为多个数据块；将所述待筛选样本特征集中剩余的所述数据块依次加入已筛选样本特征集，在每次所述已筛选样本特征集加入数据块之后，利用所述已筛选样本特征集对回归模型进行单轮训练，获取本轮模型训练后的回归模型的模型序列；将所述模型序列相对应的最优评价指标作为本轮模型训练的目标评价指标；在所述目标评价指标优于所述回归模型上一轮训练的历史评价指标时，将所述目标评价指标相对应的目标样本特征加入已筛选样本特征集，并从所述待筛选样本特征集中去除所述目标样本特征，利用更新后的已筛选样本特征集和待筛选样本特征集循环执行所述回归模型的训练过程；在所述目标评价指标差于所述回归模型的上一次训练的历史评价指标时，结束特征筛选过程并输出最终的已筛选样本特征集和回归模型。2.根据权利要求1所述的方法，其特征在于，所述将待筛选样本特征集中的数据划分为多个数据块，包括：将所述待筛选样本特征集中的数据划分为目标数量个数据块。3.根据权利要求2所述的方法，其特征在于，在所述将所述待筛选样本特征集中的数据划分为目标数量个数据块之前，所述方法还包括：获取所述回归模型预先设置的筛选因子和总迭代次数；将所述总迭代次数作为次方阶数对所述筛选因子求次方值，得到所述目标数量。4.根据权利要求1所述的方法，其特征在于，所述将所述待筛选样本特征集中剩余的所述数据块依次加入已筛选样本特征集，包括：将所述待筛选样本特征集中剩余的至少两个所述数据块依次加入已筛选样本特征集。5.根据权利要求1所述的方法，其特征在于，所述将所述待筛选样本特征集中剩余的所述数据块依次加入已筛选样本特征集，包括：将所述待筛选样本特征集中剩余的所述数据块逐个加入已筛选样本特征集。6.根据权利要求1所述的方法，其特征在于，所述将所述待筛选样本特征集中剩余的所述数据块依次加入已筛选...

【专利技术属性】
技术研发人员：请求不公布姓名，
申请(专利权)人：杭州博盾习言科技有限公司，
类型：发明
国别省市：