基于并行投影方法的L1正则化核学习机的分布式训练方法技术

基于并行投影方法的L1正则化核学习机的分布式训练方法，属于无线传感器网络中数据融合技术领域。本发明专利技术针对无线传感器网络下已有核学习机训练方法存在的高通信代价问题，在节点本地模型与邻居节点间的局部最优模型相一致的约束下，利用并行投影方法构建和求解基于L1正则化的核学习机的分布式训练优化问题，利用交替方向乘子法对节点本地的L1正则化核学习机优化问题进行稀疏模型求解；仅依靠相邻节点间传输稀疏模型的方式进行协作以进一步优化节点局部模型；当各节点收敛到局部稳定模型后，利用平均一致性算法实现各节点模型的全局一致。

【技术实现步骤摘要】

本专利技术涉及一种基于并行投影方法的L1正则化核学习机的分布式训练方法，具体是一种针对无线传感器网络环境的L1正则化核最小平方误差学习机的分布式训练方法，可以用于无线传感器网络应用中基于核函数的分类器和回归机的训练，属于无线传感器网络中数据融合

技术介绍
无线传感器网络(Wireless SensorNetwork,WSN)中，数据融合技术是降低网络数据通信量、节省节点能耗和延长网络寿命的重要措施之一。机器学习方法作为决策级融合的重要方法之一，在WSN中得到了日益广泛的重视和应用。然而，在WSN中，训练数据都分散在各传感器节点上；通过多跳路由将所有训练数据传输到数据融合中心进行集中式训练，将会占用大量的带宽且消耗节点的大量能量，这与WSN上节点能源替换代价非常高甚至不可替换、带宽资源非常有限相冲突，同时也容易使数据中心周围的节点成为整个系统的瓶颈。针对上述问题，通过相邻节点间的相互协作，利用节点本身的计算能力，在网内分布式协同训练分类器和回归机的方法已经引起了众多学者的研究和关注。核方法或称核学习机(基于核函数机器学习方法的简称)，因统计学习理论和支持向量机(Support Vector Machine,SVM)的成功应用而受到广泛关注和研究，现已成为机器学习的主流方法。核方法因其在解决非线性问题上的绝对优势，已在许多实际应用领域中表现出非常出色的技术性能。但核方法是依赖训练数据的，即利用核方法对未知数据进行分类或回归预测时，会依赖参与模型训练的训练数据。因此，在训练数据分散、节点能量和带宽资源非常有限的WSN下，研究仅依赖相邻节点间的协作，在网内分布式协同训练核学习机的方法对减少通信代价、延长网络生命周期以及核学习机的分布式学习理论研究都具有极其重要的意义。针对WSN特点，已开展的核学习机的分布式训练方法研究可归纳为基于拓扑结构或构建链路结构、基于共享数据一致、基于支持向量增量训练三种研究思路。基于网络拓扑或构建链路结构的典型研究有:英特尔伯克利实验室的Guestrin C.等人和希腊克里特大学的Flouri.K等人；该研究思路需要关联、构建和维护特定的链路结构，在通信链路不稳定、网络拓扑动态变化的无线传感器网络下其维护代价非常高、计算也非常复杂且不具普适性。典型的基于共享数据一致的研究主要有:普林斯顿大学的Predd J.B.等人和美国明尼苏达大学的Forero P.A等人；基于该思路的研究需要节点间有共享训练数据，算法的收敛性、收敛速度及通信代价受共享训练数据量及其分布特点的影响很大，算法的普适性和实用性都不强。基于支持向量增量训练的研究思路是专门针对SVM核学习机分布式训练方法的研究，主要利用了SVM的模型只与少量支撑向量相关的特性；该思路的典型研究包括:希腊克里特大学的Flouri.K等人和Yahoo公司的YumaoLu等人；基于该思路的研究由于SVM的稀疏性由其特殊的Hinge损失函数决定，已有的SVM分布式训练算法仍存在通信代价大的问题，而且SVM的分布式训练算法对其他核方法也不具有普适性。核最小平方误差方法(Kernel Minimum Square Error,KMSE)是经典最小平方误差方法在非线性问题上的扩展，是一类兼具强大性能和普适性的核方法。L1正则化通过将模型中参数的1-范数加入到目标函数能导致稀疏模型的特性，使得L1正则化在进行变量选择的应用中受到了广泛的关注和研究，如Lasso和压缩感知问题。针对当前WSN下核学习机分布式训练方法研究中存在的构建和维护特定链路代价高、基于共享数据普适性和实用性不强、SVM增量训练通信代价大等问题，研究了仅依靠相邻节点间的协作，在网内分布式协同训练基于L1正则化的KMSE学习机的方法，提出了基于并行投影方法的L1正则化KMSE学习机的分布式训练方法(L1-regularization Distributed Kernel MinimumSquare Errorbased on Parallel Project，L1-DKMSE-PP)。
技术实现思路
本专利技术的目的是提供一种适用于无线传感器网络的核学习机的分布式训练方法。使用该方法仅通过相邻节点间的协作就可以使每个节点得到与集中训练方法相当的预测效果，而且也可以得到比较稀疏的预测模型，更为重要的是可以显著降低核学习机训练过程中的数据通信代价，从而降低节点能量消耗、延长网络生命。为了实现上述目的，本专利技术在核学习机训练过程中包括四个重要机制。机制1：节点本地核学习机优化问题求解方法在节点本地模型与邻居节点间的局部最优模型相一致的约束下，利用并行投影方法构建和求解基于L1正则化的KMSE的分布式训练优化问题。机制2：节点本地稀疏模型求解。利用交替方向乘子方法(Alternating Direction Method ofMultipliers,ADMM)对节点本地的L1正则化KMSE训练优化问题进行稀疏模型求解。机制3：邻居节点间的协作机制。为求解邻居节点间的局部最优模型、加快节点本地模型收敛和减少节点间数据传输量，相邻节点间以传输稀疏模型的方式进行协作，并将接收到的稀疏模型中携带的样本信息加入到本地样本集。机制4：节点模型一致性。当各节点都收敛到稳定模型后，仅依靠相邻节点间传输稀疏模型的方式进行协作，使每个节点上都接收到网络中所有其他节点的模型，然后各节点本地对所有模型进行平均以得到一致模型。基于机制1、机制2、机制3和机制4的L1正则化核学习机的分布式训练方法有五个阶段，分别是：1.节点本地初始化；2.节点本地稀疏模型求解和发送；3.节点接收邻居节点发送过来的稀疏模型，计算局部最优模型预测值；4.节点本地模型收敛条件判定；5.节点模型一致性。基于并行投影的L1正则化核学习机的分布式训练方法，其是在以下前提条件下进行的：a.网络中每个节点都有唯一的ID号；b.网络结构稳定且连通；c.网络中各节点仅与其单跳邻居节点通信；；d.网络中各节点使用相同的核函数和相同的参数值；该L1正则化核学习机的分布式训练方法的步骤如下：步骤1：节点本地初始化步骤1.1：各节点初始化网络规模J、邻居节点集合Bj、本地训练样本集合Sj:＝{(xjn,yjn),n＝{1,2,…,Nj本文档来自技高网...

【技术保护点】
基于并行投影方法的L1正则化核学习机的分布式训练方法，本方法在核学习机训练过程中包括四个重要机制；机制1：节点本地核学习机优化问题求解方法在节点本地模型与邻居节点间的局部最优模型相一致的约束下，利用并行投影方法构建和求解基于L1正则化的KMSE的分布式训练优化问题；机制2：节点本地稀疏模型求解；利用交替方向乘子方法(Alternating Direction Method of Multipliers,ADMM)对节点本地的L1正则化KMSE训练优化问题进行稀疏模型求解；机制3：邻居节点间的协作机制；为求解邻居节点间的局部最优模型、加快节点本地模型收敛和减少节点间数据传输量，相邻节点间以传输稀疏模型的方式进行协作，并将接收到的稀疏模型中携带的样本信息加入到本地样本集；机制4：节点模型一致性；当各节点都收敛到稳定模型后，仅依靠相邻节点间传输稀疏模型的方式进行协作，使每个节点上都接收到网络中所有其他节点的模型，然后各节点本地对所有模型进行平均以得到一致模型；基于机制1、机制2、机制3和机制4的L1正则化核学习机的分布式训练方法有五个阶段，分别是：1.节点本地初始化；2.节点本地稀疏模型求解和发送；3.节点接收邻居节点发送过来的稀疏模型，计算局部最优模型预测值；4.节点本地模型收敛条件判定；5.节点模型一致性；基于并行投影的L1正则化核学习机的分布式训练方法，其是在以下前提条件下进行的：a.网络中每个节点都有唯一的ID号；b.网络结构稳定且连通；c.网络中各节点仅与其单跳邻居节点通信；；d.网络中各节点使用相同的核函数和相同的参数值；其特征在于：该L1正则化核学习机的分布式训练方法的步骤如下，步骤1：节点本地初始化步骤1.1：各节点初始化网络规模J、邻居节点集合Bj、本地训练样本集合Sj:＝{(xjn,yjn),n＝{1,2,…,Nj}},确定核函数k(xi,xj)并初始化核参数σ和正则系数λ；其中，Bj是由节点j及其邻居节点构成的集合；xjn∈Rp是节点j的第n个训练样本jn的特征向量，p为特征向量维数，yjn∈Y:＝{1,‑1}是训练样本jn对应的类别标签，Nj是训练样本数量；k(xi,xj)中xi和xj是两个训练样本，其作用是计算两个训练样本之间的距离，核参数σ是核函数中的一个常量参数，正则系数λ是L1正则项的一个常量参数，用于调节正则项在整个损失中的比例；步骤1.2：各节点利用y＝(x‑xmin)/(xmax‑xmin)将本地训练样本的特征信息归一化到[0，1]区间；各节点为归一后的训练样本增加标识字段node_ID和example_ID以唯一标识每个训练样本，增加发送标识字段is_sended标识该样本是否已经发送过，以避免重复发送；其中，x为训练样本的某一个特征信息，xmax和xmin分别为训练样本该特征信息的最大值和最小值，y为训练样本特征信息x归一处理后的结果；步骤2：节点本地稀疏模型求解和发送步骤2.1：各节点在本地模型和邻居节点间的局部最优模型相一致约束下，利用并行投影方法构建和求解基于L1正则化的KMSE的分布式训练优化问题，构建的优化问题形式如式(1)，相应的求解迭代形式如式(2)‑式(3)；min1NjΣn=1Nj(yjn-fj(xjn))2+λ||fj||1+12||fj(xjn)-fBj(xjn)||22,∀j∈J,n=1,...,Nj---(1)]]>fjk+1(xjn)=argmin{1NjΣn=1Nj(yjn-fj(xjn))2+λ||fj||1+12||fj(xjn)-fBjk+1(xjn)||22},∀j∈J,n=1,...,Nj---(2)]]>fBjk+1(xjn)=Σi=1Bjfik+1(xjn)Num(Bj),∀j∈J,n=1,...nNj---(3)]]>在式(1)‑式(3)中，fj(xjn)是节点j的本地模型对本地样本的预测值，为节点j及其邻居节点间的局部最优模型对节点j上训练样本的预测值；式(1)和式(2)中，λ||fj||1是对本地模型的L1正则化项，用于本地模型的稀疏求解，为节点本地模型和局部最优模型相一致的并行投影形式；Num(Bj)是包括j在内的邻居节点数量；步骤2.2：各节点利用核函数k(xi,xj)对本地归一化后的训练样本进行核矩阵计算和增广，得到增广矩阵Kj；步骤2.3：各节点利用ADMM对式(2)的优化问题进行稀疏模型求解，对应的优化问题形式如式(4)，求解迭代形式如式(5)‑式(7)；min1Nj(Yj-Kjαj)T(Yj-Kjαj)+12||Kjαj-fBj(xj)||22...

【技术特征摘要】
1.基于并行投影方法的L1正则化核学习机的分布式训练方法，本方法在核学习机训练过程中包括四
个重要机制；
机制1：节点本地核学习机优化问题求解方法
在节点本地模型与邻居节点间的局部最优模型相一致的约束下，利用并行投影方法构建和求解基于L1
正则化的KMSE的分布式训练优化问题；
机制2：节点本地稀疏模型求解；
利用交替方向乘子方法(Alternating Direction Method of Multipliers,ADMM)对节点本地的L1正则化
KMSE训练优化问题进行稀疏模型求解；
机制3：邻居节点间的协作机制；
为求解邻居节点间的局部最优模型、加快节点本地模型收敛和减少节点间数据传输量，相邻节点间以
传输稀疏模型的方式进行协作，并将接收到的稀疏模型中携带的样本信息加入到本地样本集；
机制4：节点模型一致性；
当各节点都收敛到稳定模型后，仅依靠相邻节点间传输稀疏模型的方式进行协作，使每个...

【专利技术属性】
技术研发人员：侯义斌，及歆荣，侯翠琴，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京;11