基于预算支持向量集的LS-SVMs在线学习方法技术

本发明专利技术涉及一种基于预算支持向量集的LS‑SVMs在线学习方法，在训练集上确定预算范围，选择初始支持向量集合，建立LS‑SVMs模型，采用共轭帝都发求解LS‑SVMs模型，并利用低秩矩阵校正方法以及Sherman‑Morrison‑Woodbury公式更新LS‑SVMs模型得到在线预测器，实现了对数据流的在线预测，该方法采用固定预算策略，能有效控制在线学习模型的规模、节约存储空间、计算复杂度低、易于实现。本发明专利技术在线学习方法，能够灵活处理具有数据流特征的在线应用问题，数据可以以数据块的形式收集，与传统批处理方式以及当前的在线学习方法相比，大幅度降低了计算复杂难度和模型运行时间，可以同时处理回归问题和分类问题，能够高效处理LS‑SVMs模型选择问题。

【技术实现步骤摘要】
基于预算支持向量集的LS-SVMs在线学习方法
本专利技术属于数据挖掘与机器学习领域，涉及数据挖掘和数据处理的方法，具体地说，涉及一种基于预算支持向量集合的LS-SVMs在线学习方法。
技术介绍
LS-SVMs是在结构风险最小化原则基础上建立的典型核学习模型。作为具有良好光滑化结构的凸优化问题，LS-SVMs模型的KKT条件可以转化为(2,2)块为1阶的特殊鞍点系统。当前求解LS-SVMs模型的主流方法主要包括：(一)利用预处理子将上述鞍点系统等价转化为两个正定系统，并使用经典的共轭梯度算法求解正定系统；(二)将鞍点系统表示为两个线性方程组，并采用零空间法方法进行求解；(三)采用最小残差法直接求解鞍点系统。这些方法都属于批处理技术，算法的计算复杂度为O(n3)，其中n为样本个数。然而，许多实际应用问题面向的数据具有数据流的特性，如动态工业生产过程、垃圾邮件处理系统等，采集的样本都是以数据流的形式随时间推移不断出现的。批处理算法由于计算复杂度太高，不适合处理上述数据流问题。为此，国内外的学者们开始研究LS-SVMs的在线学习算法，以降低计算复杂度，减少模型运行时间，标志性成果是H.M.本文档来自技高网...

【技术保护点】
一种基于预算支持向量集的LS‑SVMs在线学习方法，其特征在于：含有以下步骤：(一)利用训练样本确定预算范围；(二)按照预算随机选取初始支持向量集合，建立LS‑SVMs模型，通过KKT条件将LS‑SVMs模型转化为鞍点系统，将鞍点系统等价转化为两个正定系统并采用共轭梯度法进行求解，得到预测器；(三)以mini‑batch或one‑by‑one的形式采集数据流，采用预测器对数据流中的样本进行预测；(四)将错误预测样本加入支持向量集，并按照最大相似性或时间准则剔除相应数量支持向量，维持预算稳定；(五)利用低秩矩阵校正方法以及Sherman‑Morrison‑Woodbury公式更新LS‑SVMs模...

【技术特征摘要】
1.一种基于预算支持向量集合的LS-SVMs在线学习方法，其特征在于：含有以下步骤：(一)利用训练样本确定预算范围；确定预算范围的具体步骤为：(1)确定训练样本集合和测试样本集合；(2)根据实际问题特征确定待测预算集合；(3)依次选取预算n，按照预算n在训练样本集合中随机选取相应数目的样本，建立LS-SVMs模型，并应用测试样本集合测试该预算n的精度；(4)执行步骤(3)10次，并计算各个预算的平均测试精度及平均测试时间；(5)利用平均测试精度和平均测试时间绘制双纵轴曲线，综合考虑时间成本和LS-SVMs模型精度确定合理预算；(二)按照预算随机选取初始支持向量集合，建立LS-SVMs模型，通过KKT条件将LS-SVMs模型转化为鞍点系统，将鞍点系统等价转化为两个正定系统并采用共轭梯度法进行求解，得到预测器；得到预测器的具体步骤为：按照确定的预算n随机选取训练样本构造支持向量集合，建立LS-SVMs模型，LS-SVMs模型表示为：其中，w为分类超平面的法向量，b为分类超平面的截距项，ei为误差项，v为模型正则化参数，表示特征映射，通过指定核函数的方式隐式确定；通过KKT条件将LS-SVMs模型转化为鞍点系统，表示为：其中，k(·,·)为核函数，由用户指定；将鞍点系统等价转化为两个正定系统，表示为：采用共轭梯度法求解所述两个正定系统，得到决策系数α和偏置系数b为：

【专利技术属性】
技术研发人员：渐令，宋允全，申淑谦，梁锡军，
申请(专利权)人：中国石油大学华东，
类型：发明
国别省市：山东;37