一种基于在线学习的边云协同支持向量机的模型优化方法技术

本发明专利技术公开了一种基于在线学习的边云协同支持向量机的模型优化方法，该方法能够有效地利用边缘处有限的计算和通信资源以获取最佳的分布式SVM分类算法性能。提出“Learning to Learn”的框架，用于在具有资源约束的异构边缘端服务器上进行有效的边云协同SVM学习。各个边缘端服务器独立的从云端服务器读取当前时刻的全局模型参数至本地服务器，从本地数据集中随机抽取一个小批量数据并在此批上进行SVM分类的迭代训练，随后将局部参数上传至云端服务器完成全局参数的更新。将每个边缘端服务器在云端服务器的协同策略的动态确定建模为在线优化问题，并设计了基于预算受限的时变资源消耗的Multi

【技术实现步骤摘要】
一种基于在线学习的边云协同支持向量机的模型优化方法


[0001]本专利技术属于边缘计算/机器学习领域，具体涉及一种基于在线学习的边云协同支持向量机的模型优化方法。

技术介绍

[0002]SVM(Support Vector Machines，支持向量机)是一种按监督学习的方式对数据进行二分类的线性分类器，其分类边界是对学习样本求解的最大间隔超平面。SVM克服了很多传统分类模型的过学习、局部极值点和维数灾难等缺点，已成为当前国内外机器学习领域备受关注的研究热点。
[0003]随着物联网的快速发展和4G/5G无线网络的普及，边缘网络服务的智能设备和传感器的数量及产生的数据量急剧增加。而可用于SVM分类的数据通常分布在各边缘端服务器上，要将所有数据统一汇聚到云端服务器以用于集中式SVM分类会消耗大量网络带宽，同时也存在诸如响应不及时、功耗高等问题。为了克服上述挑战，移动边缘计算(MEC)范例被提出，利用分布式边缘节点/服务器(如笔记本电脑、智能手机)的计算能力基于本地数据进行机器学习迭代，再将本地的模型参数上传至云端服务器进行全局模型更新。与传统的云计算范例相比，虽然其在带宽，延迟和保护隐私方面表现出巨大优势，但边缘端服务器通常只有有限的计算和存储资源，且它们与云的通信延迟也不同，因此仍然缺乏可以部署在异构且资源受限的边云系统中的算法。要同时解决边缘异质性和资源约束问题具有重要意义，但也具有难度：1)同步算法对于异构边缘资源是低效的，而对于异步算法，则很难在数学上精确建立SVM模型准确性与边缘资源消耗之间的关系；2)在实时动态系统中，本地的训练数据和异构边缘资源都可能是时变的，这将对边云协同SVM的最优决策产生不可预测的影响。

技术实现思路

[0004]本专利技术的目的在于提供一种基于在线学习的边云协同支持向量机的模型优化方法，以解决上述问题。
[0005]为实现上述目的，本专利技术采用以下技术方案：
[0006]一种基于在线学习的边云协同支持向量机的模型优化方法，包括以下步骤：
[0007]步骤1，初始化学习参数：云端服务器初始化全局支持向量机SVM参数，作为决策边界的超平面的法向量和截距w(0)，本地迭代所用数据批量大小b，各边缘服务器总资源约束R，针对每个边缘服务器的MAB臂的个数K，每个臂对应的迭代次数p(K)；
[0008]步骤2，下发全局模型参数和迭代次数：云端服务器发送当前时刻t的全局模型参数w(t)和迭代次数p(K)至所有边缘端服务器N
i
；
[0009]步骤3，迭代更新本地模型参数：边缘端服务器在本地数据集中随机抽取一个数据量为b的batch，基于这个batch使用随机梯度下降的方法，分别对超平面的法向量和截距求梯度，按它们的梯度负方向来对超平面的法向量和截距执行更新，进行p(K)次迭代训练，得
到新的本地超平面参数w
i
(t)；
[0010]步骤4，获取资源消耗量：记录边缘端服务器N
i
本地迭代训练所消耗的时间c
i,1
和边缘端服务器向云端服务器上传参数所消耗的时间c
i,2
，更新各边缘端服务器的总资源约束R；
[0011]步骤5，更新全局参数：边缘端服务器N
i
将局部超平面参数w
i
(t)上传至云端服务器，云端服务器使用当前的全局超平面参数w(t)和w
i
(t)来更新全局模型参数；
[0012]步骤6，更新臂对应的收益和支付成本：云端服务器为每一个边缘端服务器设置一个多臂老虎机，分别对每个边缘端服务器进行决策；根据全局超平面参数w(t)和云端服务器的测试数据得出全局模型的精度，作为MAB中当前臂p(K)的收益值，资源消耗量作为当前臂p(K)的支付成本值；
[0013]步骤7，更新迭代次数：云端服务器根据在线算法选择新的臂，作为新的迭代次数；
[0014]步骤8，发送新的初始值：云端服务器将w(t)和p(K)发送给当前边缘端服务器，作为进行本地SVM的初始值；
[0015]步骤9，迭代更新：当前边缘端服务器接收到新的w(t)和p(K)后，独立并行重复步骤3-8，不断迭代；
[0016]步骤10，停止学习：当云端服务器检测到所有边缘服务器的总资源都用完时结束学习，w(t)为最终SVM模型训练的结果，云端服务器将训练结果广播给各边缘端服务器，完成学习。
[0017]进一步的，步骤5中，具体包括：
[0018]全局参数更新方式采用的是异步更新；云端服务器仅请求一个/一组边缘端服务器上传其本地模型参数w
i
(t)并使用当前的全局参数w(t)和w
i
(t)来更新全局模型参数，公式如下
[0019][0020]其中，
[0021]进一步的，步骤6中，具体包括：
[0022]云服务器对每个边缘服务器i的动态协同策略都被建模成一个在线学习问题，其中使用二进制变量和分别代表在时隙t边缘服务器i是否本地迭代和全局更新，针对i在时隙t的更新决策为进而协同决策为基于上述内容，用S
t
＝<D1,D2,...,D
t
>表示云端服务器的协同策略；
[0023]同时，定义学习效用值为u(D
t
；B
t
)，B
t
表示云端服务器进行测试的batch数据，测试所用的全局模型参数是云端服务器接收到各边缘端服务器的局部模型参数后与当前全局模型参数加权聚合更新得到的；资源预算约束：对于边缘端服务器i，定义它在协同学习中的资源约束为R
i
＝(r
i,1
,r
i,2
)，分别代表计算资源总量和通信资源总量，且将资源视为同类型时，R
i
表示为标量；云端服务器的工作是针对每个边缘服务器来确定其最佳协同策略S
T
，使得在消耗完所有i的资源R
i
之前，在时隙T，最大化整个学习过程中的平均学习效用值；具
体而言，每个边缘服务器都将建模为以下优化问题：
[0024][0025][0026][0027]进一步的，步骤7中，具体包括：云服务器针对资源受限且异质的各个边缘端服务器都将上述在线优化问题建模为MAB问题，称为Multi-MAB模型；云端服务器针对各边缘端服务器确定其在给定资源预算约束的情况下寻找最佳决策的序列，即选择各边缘端服务器在下一时隙进行SVM训练的迭代次数，每个决策(的执行所消耗的资源是可变的；
[0028]在时变资源消耗的情况下，云端服务器需要自动识别和适应学习过程中每个决策的成本变化，该种情况下为每个决策保持一个时变置信度上限值
[0029][0030]其中，是云端服务器选择决策P
I
后消耗的资源的平均值，然后云端服务器选择具有最大值的决策，该决策对应的迭代次数将会下发本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于在线学习的边云协同支持向量机的模型优化方法，其特征在于，包括以下步骤：步骤1，初始化学习参数：云端服务器初始化全局支持向量机SVM参数，作为决策边界的超平面的法向量和截距w(0)，本地迭代所用数据批量大小b，各边缘服务器总资源约束R，针对每个边缘服务器的MAB臂的个数K，每个臂对应的迭代次数p(K)；步骤2，下发全局模型参数和迭代次数：云端服务器发送当前时刻t的全局模型参数w(t)和迭代次数p(K)至所有边缘端服务器N
i
；步骤3，迭代更新本地模型参数：边缘端服务器在本地数据集中随机抽取一个数据量为b的batch，基于这个batch使用随机梯度下降的方法，分别对超平面的法向量和截距求梯度，按它们的梯度负方向来对超平面的法向量和截距执行更新，进行p(K)次迭代训练，得到新的本地超平面参数w
i
(t)；步骤4，获取资源消耗量：记录边缘端服务器N
i
本地迭代训练所消耗的时间c
i,1
和边缘端服务器向云端服务器上传参数所消耗的时间c
i,2
，更新各边缘端服务器的总资源约束R；步骤5，更新全局参数：边缘端服务器N
i
将局部超平面参数w
i
(t)上传至云端服务器，云端服务器使用当前的全局超平面参数w(t)和w
i
(t)来更新全局模型参数；步骤6，更新臂对应的收益和支付成本：云端服务器为每一个边缘端服务器设置一个多臂老虎机，分别对每个边缘端服务器进行决策；根据全局超平面参数w(t)和云端服务器的测试数据得出全局模型的精度，作为MAB中当前臂p(K)的收益值，资源消耗量作为当前臂p(K)的支付成本值；步骤7，更新迭代次数：云端服务器根据在线算法选择新的臂，作为新的迭代次数；步骤8，发送新的初始值：云端服务器将w(t)和p(K)发送给当前边缘端服务器，作为进行本地SVM的初始值；步骤9，迭代更新：当前边缘端服务器接收到新的w(t)和p(K)后，独立并行重复步骤3-8，不断迭代；步骤10，停止学习：当云端服务器检测到所有边缘服务器的总资源都用完时结束学习，w(t)为最终SVM模型训练的结果，云端服务器将训练结果广播给各边缘端服务器，完成学习。2.根据权利要求1所述的一种基于在线学习的边云协同支持向量机的模型优化方法，其特征在于，步骤5中，具体包括：全局参数更新方式采用的是异步更新；云端服务器仅请求一个/一组边缘端服务器上传其本地模型参数w
i
(t)并使用当前的全局参数w(t)和w
i
(t)来更新全局模型参数，公式如下其中，3.根据权利要求1所述的一种基于在线学习的边云协同支持向量机的模型...

【专利技术属性】
技术研发人员：杨树森，赵鹏，韩青，张靖琪，赵聪，任雪斌，王路辉，王艺蒙，
申请(专利权)人：杭州卷积云科技有限公司，
类型：发明
国别省市：