一种基于logistic回归的慢性肾病预测方法技术

本发明专利技术公开了一种基于logistic回归的早期慢性肾脏疾病预测方法，所述包括如下步骤：从UCI数据库中获取早期慢性肾脏疾病的各项生理指标；将离散特征的字符串转换成哑变量；使用k近邻的方法对缺失值进行填补；对两两变量进行相关性分析，利用逐步回归法消除自变量间的多重共线性，其次利用相关系数对变量进行选择；采用下采样方法对样本不均衡进行处理；将数据集分为训练集和测试集，对训练集进行不同正则化惩罚力度的logistic回归建模；然后使用预测模型在测试集上进行预测是否患早期慢性肾脏疾病；本发明专利技术可以从多项生理指标中选择恰当的变量，然后建立正则化logistic回归模型，从而预测早期慢性肾脏疾病，结果表明可以得到准确的预测结果。准确的预测结果。准确的预测结果。

【技术实现步骤摘要】
一种基于logistic回归的慢性肾病预测方法


[0001]本专利技术属于计算机应用
，涉及一种基于logistic回归的慢性肾病预测方法。

技术介绍

[0002]据统计，目前世界上已经高出8.5亿的人口患慢性肾脏病，慢性肾脏疾病者将发展成为慢性肾功能不全、肾衰竭，最终严重可能导致尿毒症。这种病在全世界发病率极高，但是不容易被发现。
[0003]Logistic回归分析是常用的处理定性变量的统计方法之一，它是一种根据定量变量或者定性变量来分析、预测因变量的回归分析方法，其在生物、经济等领域用途十分广泛。然而在我们建立模型中，不论是回归问题还是分类问题建模时常会遇到过拟合或者欠拟合现象，一开始我们的模型往往是欠拟合的，当我们不断用算法来优化的时候此时就会出现过拟合。最常见的情况就是随着模型复杂程度的提升，训练集效果越来越好，在测试集上的表现反而越来越差；还有特征太多，数据量太少。如果在训练集上得到的参数值忽高忽低，很可能导致过拟合，这时候就需要用到正则化惩罚，即惩罚数值较大的权重参数，降低它们对结果的影响。

技术实现思路

[0004]专利技术目的：提出了一种基于logistic回归的慢性肾脏疾病预测方法，该方法可以提取出对因变量有意义的变量，正则化Logistic回归模型能够很好地拟合数据，对预测病人是否患有早期慢性肾脏疾病有较高的准确率。所述包括如下步骤：步骤1对早期慢性肾脏疾病数据集的预处理，包括数据集离散变量、连续变量以及缺失数据的处理；步骤2各个自变量与因变量之间的关系进行相关性分析，从多个生理指标中筛选出与患早期慢性肾脏疾病相关程度较大的变量；步骤3将数据集分为训练集和测试集，对训练集进行不同正则化惩罚力度的logistic回归建模，得到的分类器在测试集上进行验证是否患早期慢性肾脏疾病。
[0005]进一步，上述步骤1中包含下列的步骤：步骤1.1首先对数据进行整理，将数据集中的离散变量的字符串转换成哑变量；步骤1.2然后进行缺失值处理，本文k近邻的方法进行填补。k近邻插补法是指利用数据中与缺失值相关的无缺失值，找出距离最近的 k个样本，利用欧式距离函数来衡量这些样本与缺失样本之前的距离。估计值是通过对k个样本对应的缺失项进行距离加权得到的。
[0006]进一步，上述步骤2中包含下列的步骤：步骤2.1对两两变量进行相关性分析，利用相关系数对变量进行选择。此处用的是spearman相关系数；
，式中d代表变量之间的等级差；步骤2.2从相关性分析可以看出自变量之间是存在多重共线性的，这种情况会对logistic回归系数造成影响，因此利用逐步回归法消除多重共线性；步骤2.3利用相关系数对变量进行选择，与因变量的相关系数绝对值小于0.25的删除。
[0007]进一步，上述步骤3中包含下列的步骤：步骤3.1利用下采样方法使得正负样本平衡，将数据集分成训练集和测试集，对训练集进行五种不同正则化惩罚力度（0.01,0.1,1,10,100）的logistic回归建模，其中的基本过程是首先构建损失函数，此处使用对数损失函数，再加上L2正则项；然后用随机梯度下降法，不断更新，其中不参与惩罚，得到最优参数，使得损失函数最小；最小；式中代表损失函数，是logistic函数，是正则化参数；步骤3.2预测模型在测试集上进行预测是否患早期慢性肾脏疾病；步骤3.3最后模型要在整体数据集的测试集进行评估效果。
附图说明
[0008]图1.模型流程图；图2.变量之间相互作用关系的热力图；图3.因变量与自变量相关性图；表1.各个数据的异常值检查；表2.消除多重共线性；表3.正则化logistic模型召回率。
具体实施方式
[0009]一种基于L2正则化logistic回归的早期慢性肾脏疾病预测方法，该方法包括通过使用k近邻法对缺失数据进行填补，利用逐步回归法消除自变量间的多重共线性，根据与因变量相关程度挑选自变量，以及使用正则化Logistic回归模型进行拟合数据，最后实现对病人是否患有早期慢性肾脏疾病的预测。包括下列步骤：步骤1对早期慢性肾脏疾病数据集的预处理，包括数据集中离散变量、连续变量以及缺失数据的处理；步骤2各个自变量与因变量之间的关系进行相关性分析，从多个生理指标中筛选出与患早期慢性肾脏疾病相关程度较大的变量；步骤3将数据集分为训练集和测试集，对训练集进行不同正则化惩罚力度的
logistic回归建模，得到的分类器在测试集上进行验证是否患早期慢性肾脏疾病。
[0010]所述步骤1中具体包括下列步骤：步骤1.1首先对数据进行整理，将数据集中的离散变量的字符串转换成哑变量；步骤1.2然后进行缺失值处理，本文k近邻的方法进行填补。k近邻插补法是指利用数据中与缺失值相关的无缺失值，找出距离最近的 k个样本，利用欧式距离函数来衡量这些样本与缺失样本之前的距离，估计值是通过对k个样本对应的缺失项进行距离加权得到的。
[0011]所述步骤2中具体包括下列步骤：步骤2.1对两两变量进行相关性分析，利用相关系数对变量进行选择，此处用的是spearman相关系数；（其中d代表变量之间的等级差）步骤2.2从相关性分析可以看出自变量之间是存在多重共线性的，这种情况会对logistic回归系数造成影响，因此利用逐步回归法消除多重共线性；步骤2.3利用相关系数对变量进行选择，与因变量的相关系数绝对值小于0.25的删除。
[0012]所述步骤3中具体包括下列步骤：步骤3.1利用下采样方法使得正负样本平衡，将数据集分成训练集和测试集，对训练集进行五种不同正则化惩罚力度（0.01,0.1,1,10,100）的logistic回归建模，其中的基本过程是首先构建损失函数，此处使用对数损失函数，再加上L2正则项；然后用随机梯度下降法，不断更新，其中不参与惩罚，得到最优参数，使得损失函数最小；最小；其中代表损失函数，是logistic函数，是正则化参数；步骤3.2预测模型在测试集上进行预测是否患早期慢性肾脏疾病；步骤3.3最后模型要在整体数据集的测试集进行评估效果。
[0013]一般的logistic回归模型时常容易欠拟合，通过我们不断的优化，经常会遇到过拟合现象。针对过拟合问题，通常会考虑两种方法。第一种是减少特征的数量；第二种是加入正则项。在此我们用到正则化惩罚，即惩罚数值较大的权重参数，降低它们对结果的影响。
[0014]下面用一个具体的例子，来简单的说明一下本专利技术的过程。本实例中的数据集来源于UCI (University of California Irvine)，共有400个早期慢性肾脏疾病人的生理指标数据，属于二分类问题，有24项人体的生理指标。具体步骤如下：如图1所示，一种基于L2正则化logistic回归的早期慢性肾脏疾病预测方法，该方法包括提取出有意义的变量，正则化Logistic回归模型能够很好地拟合数据，对预测病人
是否患有早期慢性肾脏疾病有较高的准确率。包括下列步骤：（1）首先数据预处理，将字符串都转换为哑变量。缺失数据处理的方法有很多种，参本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于logistic回归的慢性肾脏疾病预测方法，其特征在于，所述的方法包括如下步骤：步骤1对慢性肾脏疾病数据集的预处理，包括数据集中离散变量、连续变量以及缺失数据的处理；步骤2各个自变量与因变量之间的关系进行相关性分析，从多个生理指标中筛选出与患慢性肾脏疾病相关程度较大的变量；步骤3将数据集分为训练集和测试集，对训练集进行不同正则化惩罚力度的logistic回归建模，得到的分类器在测试集上进行验证是否患慢性肾脏疾病。2.根据权利要求1所述的基于logistic回归的慢性肾脏疾病预测方法，其特征在于，所述步骤1中具体包括下列步骤：步骤1.1首先对数据进行整理，将数据集中的离散变量的字符串转换成哑变量；步骤1.2然后进行缺失值处理，本文k近邻的方法进行填补，k近邻插补法是指利用数据中与缺失值相关的无缺失值，找出距离最近的 k个样本，利用欧式距离函数来衡量这些样本与缺失样本之前的距离，其中估计值是通过对k个样本对应的缺失项进行距离加权得到的。3.根据权利要1所述的基于logistic回归的慢性肾脏疾病预测方法，其特征在于，所述步骤2中具体包括下列...

【专利技术属性】
技术研发人员：王波，韩瑜，姜伟，刘润杰，杜晓昕，
申请(专利权)人：齐齐哈尔大学，
类型：发明
国别省市：