基于K8S和Kubeedge的云边深度学习模型管理系统及模型训练方法技术方案

本发明专利技术提供一种基于K8S和Kubeedge的云边深度学习模型管理系统及模型训练方法。所述系统包括云端服务器、边缘智能设备和云边通信模块，首先在云端服务器上创建深度学习任务，根据用户配置参数构建深度学习模型并进行预训练，如果需要云边协同训练时，通过云边通信模块将边缘侧深度学习任务以及预训练模型传输给边缘智能设备，利用采集的样本数据对预训练模型再次进行训练，并将训练后的模型上传回云端服务器，通过云端服务器进行模型参数的融合，生成云边协同训练后的模型，本发明专利技术借助边缘智能设备采集的应用场景的样本数据训练深度模型，让云端服务器的模型掌握不同应用场景的环境差异和需求，从而解决样本不足和应用环境间差异的问题。境间差异的问题。境间差异的问题。

【技术实现步骤摘要】
基于K8S和Kubeedge的云边深度学习模型管理系统及模型训练方法


[0001]本专利技术涉及深度学习和容器应用的管理与部署
，具体涉及一种基于K8S和Kubeedge的云边深度学习模型管理系统及云边协同模型训练方法。

技术介绍

[0002]随着物联网和深度学习的快速发展，深度学习模型在边缘智能设备的研究与应用已经成为了产业界和学术界关注的热点之一。得益于人工智能技术的发展,物联网结合人工智能的AIOT技术将嵌入式边缘设备智能化。边缘侧智能设备中的传感器、控制器、接口和应用通过网络相互连接，催生了诸如家电自动控制、个性化照明系统、健康管理等一系列的智能应用。在这些智能应用上部署经过训练的深度学习模型可以根据用户需要让边缘智能设备进行智能决策，从而构建出更加舒适、智能的生活环境。
[0003]为了提升边缘侧智能设备的智能化水平，基于深度学习模型的自动化控制系统已经成为各大厂商普遍采用的边缘设备智能化方案。制造商对边缘设备的应用场景进行建模，确定深度学习模型的配置参数并对其进行训练，然后将训练好的模型嵌入到边缘智能设备中去进行推理决本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于K8S和Kubeedge的云边深度学习模型管理系统，其特征在于，包括云端服务器、边缘智能设备和云边通信模块，所述云端服务器包括云端任务管理模块、云端数据管理模块和云端任务运行控制模块；所述边缘智能设备包括边缘侧任务管理模块、边缘侧数据管理模块、边缘侧任务运行控制模块；所述云端任务管理模块用于深度学习任务的创建、深度学习任务的取消；所述云端任务运行控制模块用于根据云端深度学习任务生成深度学习模型并进行训练，训练结束后得到的模型定义为预训练模型，还用于对训练过程进行监控生成监控日志；所述云端数据管理模块用于管理预训练模型、边缘侧模型，并采用加权融合的方式更新预训练模型参数值，得到最终的云边协同训练后的模型，还用于将模型文件以及监控日志存储到云端服务器的数据库中；所述云边通信模块用于云端服务器和边缘智能设备之间的消息通信，所述消息通信包括云端服务器向边缘智能设备发送的边缘侧深度学习任务、云端服务器和边缘智能设备之间深度学习模型的发送、云端服务器向边缘智能设备发送的控制命令，所述控制命令包括取消边缘智能设备上的训练任务、上传边缘智能设备上训练后的模型；所述边缘侧任务管理模块用于接收云边通信模块传输的预训练模型和边缘侧深度学习任务，并对边缘侧深度学习任务进行解析，获取自定义数据的存储格式、预设精确度，其中自定义数据的存储格式发送给边缘侧数据管理模块，预设精确度发送给边缘侧任务运行控制模块；所述边缘侧数据管理模块用于采集训练深度学习模型的样本数据，配置样本数的存储格式、对边缘侧模型和样本数据进行管理，并存储至本地数据库中，所述管理包括对模型的查询和删除，对样本数据的添加、查询和删除，所述样本数据为连接边缘智能设备的传感器采集到的数据；所述边缘侧任务运行控制模块用于根据样本数据对预训练模型进行训练，达到预设精确度后结束训练，训练后生成的模型具备边缘个性化数据特征定义为边缘侧模型。2.根据权利要求1所述的一种基于K8S和Kubeedge的云边深度学习模型管理系统，其特征在于，所述云端任务管理模块包括云端深度学习任务创建单元、云端深度学习任务取消单元；所述云端深度学习任务创建单元用于将用户对任务的配置通过K8S平台中的KubeClient进行上传，解析用户对任务的配置参数，并创建深度学习任务，所述配置参数包括待构建深度学习模型的配置参数、自定义数据存储格式、配置是否需要进行云边协同训练及边缘智能设备上训练深度学习模型所要达到的预设精确度；所述深度学习任务包括云端深度学习任务和边缘侧深度学习任务，云端深度学习任务负责云端服务器上深度学习模型的配置和训练，边缘侧深度学习任务包含自定义数据存储格式和边缘智能设备上训练模型所要达到的预设精确度；所述云端深度学习任务取消单元用于通过KubeClient将创建的任务进行取消。3.根据权利要求1所述的一种基于K8S和Kubeedge的云边深度学习模型管理系统，其特征在于，所述云端任务运行控制模块包括深度学习记录单元、深度学习任务训练单元、深度学习任务监控单元；所述深度学习记录单元用于对深度学习模型训练过程中生成的监控日志进行记录；
所述深度学习任务训练单元用于在云端服务器上根据云端深度学习任务生成深度学习模型，并进行训练，保存训练后的模型作为预训练模型；所述深度学习任务监控单元用于实时监控训练过程并生成监控日志，方便用户进行错误排查。4.根据权利要求1所述的一种基于K8S和Kubeedge的云边深度学习模型管理系统，其特征在于，所述云端数据管理模块包括深度学习模型管理单元、任务日志管理单元；所述深度学习模型管理单元用于将预训练模型存储至云端服务器的数据库中，当需要云边协同训练时，通过云边通信模块将预训练模型传输给边缘智能设备，并将边缘智能设备上传的边缘侧模型存储至云端服务器的数据库中，还用于将预训练模型和边缘侧模型通过加权融合的方式更新预训练模型参数值，生成最终的云边协...

【专利技术属性】
技术研发人员：那俊，张斌，邓心，张瀚铎，李井瑞，
申请(专利权)人：东北大学，
类型：发明
国别省市：