一种边缘计算中面向深度学习的分布式模型训练方法及相关装置制造方法及图纸

本申请提供一种边缘计算中面向深度学习的分布式模型训练方法，包括：从待分类数据的历史数据库中采集数据，构建初始数据集；所述初始数据集中的包括训练集S、测试集Q，并将训练集S的数据平均分为N个训练子集S

【技术实现步骤摘要】
一种边缘计算中面向深度学习的分布式模型训练方法及相关装置


[0001]本专利技术涉及计算机
，特别是一种边缘计算中面向深度学习的分布式模型训练方法、装置、计算机设备及和存储介质。

技术介绍

[0002]在工业场景中，面对高维度、强实时、大流量的设备和传感器数据，往往需要更加复杂的深度神经网络进行特征提取，但由于复杂网络参数较多，其训练过程会非常耗时；此外，如此大量的数据，如果都集中在云端进行处理，对云端计算资源、数据存储能力以及网络带宽等将是一个严峻的考验。
[0003]在深度学习领域，提高模型精度的常用方式有两种：其一是通过对模型结构进行优化，但随着神经网络结构设计的不断成熟，网络结构的优化越发困难；其二是增大模型或数据规模，但又会导致模型训练时间的增加。随着信息技术的发展，分布式训练的思想被应用于解决大规模数据集的训练领域，当现有分布式训练存在使用范围窄，模型参数多等技术问题，不能被广泛应用于工业边缘管控领域。

技术实现思路

[0004]本专利技术的一个目的就是提供一种边缘计算中面向深度学习的分布式模型训练方法本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种边缘计算中面向深度学习的分布式模型训练方法,其特征在于，具体步骤如下：1)数据采集：从待分类数据的历史数据库中采集数据，构建初始数据集；2)数据分类：所述初始数据集中的包括训练集S、测试集Q，并将训练集S的数据平均分为N个训练子集S
i
，S
i
＝(S1、S2、
…
、S
N
)；3)构建模型：采用一维卷积构建N个基于ResNet网络的训练模型，并初始化模型超参数；4)模型训练：将N个训练子集S
i
数据分别输入N个基于ResNet网络的训练模型进行基于数据并行的分布式训练，每训练完一批数据，会将各模型参数进行汇聚，得到优化后的参数，并将新参数下发给各网络继续训练；5)参数输出：当基于ResNet网络的训练模型的分布式训练次数达到预设阈值时，输出模型参数，得到训练结果。2.如权利要求1所述的一种边缘计算中面向深度学习的分布式模型训练方法,其特征在于，所述ResNet网络包括依次连接的卷积输入层、四个残差块、池化层和全连接层，并在全连接层前设置了Dropout。3.如权利要求1所述的一种边缘计算中面向深度学习的分布式模型训练方法,其特征在于，所述基于ResNet网络的训练模型的初始参数包括训练规模、epoch、Dropout概率、Loss函数、Adam优化器参数。4.如权利要求1所述的一种边缘计算中面向深度学习的分布式模型训练方法,其特征在于，步骤4)中模型训练的具体步骤为：4
‑
1)将N个训练子集S
i
数据分别输入N个基于ResNet网络的训练模型进行一次单独训练；4
‑
2)将训练后的模型的参数进行融合：式中，ω是模型参数，表示执行完n个样本数据后计算得到的真实梯度，n表示总样本数量，m
k
表示第k个模型所含样...

【专利技术属性】
技术研发人员：刘切，柴毅，曾建学，王浩，段海超，
申请(专利权)人：重庆大学，
类型：发明
国别省市：