分布式图像识别的智能模型训练方法及系统技术方案

本发明专利技术涉及一种分布式图像识别的智能模型训练方法及系统,包括在边缘服务器上创建任务池和结果池；每个边缘工作节点从所述任务池中随机获取一个任务；计算所述任务，所述边缘工作节点将结果放入所述结果池中；所述边缘服务器从所述结果池中取出所有结果，并将所有结果集成到最终结果中。本发明专利技术不但训练时间少、健壮性和安全性高，而且能够在边缘嵌入式设备上运行。

【技术实现步骤摘要】
分布式图像识别的智能模型训练方法及系统
本专利技术涉及人工智能、图像识别的
，尤其是指一种分布式图像识别的智能模型训练方法及系统。
技术介绍
深度学习在边缘计算中得到了深入研究，而高效的图像处理技术都是基于深度学习算法的。如何将深度学习的卷积神经网络(CNNs)在边缘设备上部署，使用边缘的嵌入式设备分布式训练图像分类模型，具有广泛的应用前景。在边缘嵌入式设备上训练深度学习模型会面临如下三个方面的挑战：首先，通信时延会影响主节点向边缘节点传输数据所需的时间；第二，通信带宽限制了单位时间内从主节点传输到边缘节点的数据量；第三，边缘节点的计算能力会影响整个计算系统的计算能力；第四，在单个边缘嵌入设备上训练CNN模型是难以实现的。因此，边缘设备的计算能力会弱于云计算，必须使用分布式计算方法来组合多个边缘嵌入式设备来提高其计算能力。数据并行和模型并行是分布式深度学习提升运算能力的两种常用方法。所谓数据并行就是将未经训练的模型复制到多个计算设备上，使它们拥有相同的模型，然后将数据集划分给它们进行并行训练。数据并行可以加快CNN模型的训练速度，但要求从属计算设备能够独立训练整个模型。然而，一般的边缘嵌入式设备无法满足这一要求。所谓模型并行是将大型模型分割成不同的部分，并将其部署到多个计算设备上，使无法在一台计算机上进行训练的大型模型，能够在分布式环境中进行训练。但是边缘设备容易出现掉队问题，会造成模型并行的训练过程失败。因此，上述两种分布式深度学习方法并不适合边缘嵌入式设备，必须设计一种新的分布式计算方法来在边缘嵌入式设备上训练CNN模型。
技术实现思路
为此，本专利技术所要解决的技术问题在于克服现有技术中所涉及的方法并不适合在边缘嵌入式设备上运行的问题，从而提供一种训练时间少、健壮性和安全性高、能够在边缘嵌入式设备上运行的分布式图像识别的智能模型训练方法及系统。为解决上述技术问题，本专利技术的一种分布式图像识别的智能模型训练方法，包括如下步骤：在边缘服务器上创建任务池和结果池；每个边缘工作节点从所述任务池中随机获取一个任务；计算所述任务，所述边缘工作节点将结果放入所述结果池中；所述边缘服务器从所述结果池中取出所有结果，并将所有结果集成到最终结果中。在本专利技术的一个实施例中，计算所述任务的方法为：将图像数据进行处理转换为第一矩阵，将权值参数转换为第二矩阵，将所述第一矩阵均匀地分割成许多第一矩阵块，然后使用编码矩阵对所述第一矩阵块进行编码；制作计算任务；将所述计算任务分配给所述边缘工作节点；收集从所述边缘工作者节点返回的结果，并将其合并到所述第一矩阵与第二矩阵相乘的结果中。在本专利技术的一个实施例中，使用编码矩阵对所述第一矩阵块进行编码时，对第一矩阵块进行冗余编码。在本专利技术的一个实施例中，对第一矩阵块进行冗余编码的方法为：将所述第一矩阵划分为n个较小的第一矩阵块，然后对所述第一矩阵块进行冗余编码，利用所述编码矩阵对n个第一矩阵块进行编码；最后，得到m个编码的第二矩阵块，其中m>n。在本专利技术的一个实施例中，所述第二矩阵块分配至所述边缘工作者节点进行计算。在本专利技术的一个实施例中，所述第二矩阵块计算完成后，将计算结果发送至所述边缘服务器，并对第二矩阵块进行解码。在本专利技术的一个实施例中，对第二矩阵块进行解码完成后，将所有结果集成到最终结果中。在本专利技术的一个实施例中，对第二矩阵块进行解码的方法为：将所述第二矩阵块乘以译码矩阵，且所述译码矩阵是n个任务结果的编码向量组成的矩阵的逆矩阵。在本专利技术的一个实施例中，所述编码矩阵存储在所述边缘服务器上。本专利技术还提供一种分布式图像识别的智能模型训练系统，包括：池创建模块，用于在边缘服务器上创建任务池和结果池；任务获取模块，用于每个边缘工作节点从所述任务池中随机获取一个任务；计算模块，用于计算所述任务，所述边缘工作节点将结果放入所述结果池中；集成模块，用于所述边缘服务器从所述结果池中取出所有结果，并将所有结果集成到最终结果中。本专利技术的上述技术方案相比现有技术具有以下优点：本专利技术在边缘服务器中创建了两个池：任务池和结果池，计算任务被分布到多个节点，减少了训练时间；而且边缘嵌入式设备不是被动地分配任务，而是主动地从任务池中获取任务。在这种机制下，边缘嵌入式设备的功能越强大，能够完成的计算任务就越多，可使本专利技术设计的训练系统高效运行，从而加速了计算结果的返回，减少了训练时间。由于系统不需要为性能不同的边缘嵌入式设备设置不同大小的任务，因此系统易于实现，并且不需要确定哪个边缘嵌入式设备是离散节点。另外，边缘嵌入式设备主动地从任务池中获取任务，因此只需要在分布式计算开始时均匀地对原始计算任务进行分区，使任务池中的任务大小相同。掉队的边缘嵌入式设备的不会影响系统的运行，系统的健壮性得到提升。与其他节点相比，虽然掉队的边缘嵌入式设备返回计算结果的时间更长，但是并不会必须放弃计算任务。在新一轮分布式计算中，功能强大的节点做大量的子任务，而落后的节点做很少的子任务。该边缘分布式计算系统的设计成功地利用了离散节点中存在的计算资源，增加了整个系统的计算资源。由于采用编码的方式进行数据传输和任务分配，可以保证系统的安全性。本专利技术可以保护图像数据从边缘服务器传输到边缘嵌入式设备，以及边缘嵌入式设备执行计算任务时的安全性。附图说明为了使本专利技术的内容更容易被清楚的理解，下面根据本专利技术的具体实施例并结合附图，对本专利技术作进一步详细的说明，其中图1是本专利技术分布式图像识别的智能模型训练方法的构架图；图2是本专利技术边缘服务器制作、分发和收集计算任务过程图；图3是本专利技术将大矩阵分成n块，利用m×n范德蒙矩阵对矩阵块冗余编码过程图；图4是本专利技术解码n个结果矩阵块的过程图；图5a-图5c是本专利技术在使用MNIST数据集，对10个具有延迟服从均匀、指数和正态分布并具有不同范围、不同方差和不同期望的分布式进程进行模型训练的实验结果图；图6是本专利技术分布式图像识别的智能模型训练系统的框架图；图7是本专利技术CNN在边缘服务器上的向前和向后传播示意图；图8是本专利技术卷积转换为矩阵乘法的示例图；图9是本专利技术基于LT-code策略的矩阵编码算法流程图；图10是本专利技术基于LT-code策略的矩阵解码过程图。具体实施方式实施例一如图1和图2所示，本实施例提供一种分布式图像识别的智能模型训练方法，步骤S1：在边缘服务器上创建任务池和结果池；步骤S2：每个边缘工作节点从所述任务池中随机获取一个任务；步骤S3：计算所述任务，所述边缘工作节点将结果放入所述结果池中；步骤S4：所述边缘服务器从所述结果池中取出所有结果，并将所有结果集成到最终结果中。本实施例所述分布式图像识别的智能模型训练方法，所述步骤S1中，在边缘服务器(EdgeServer)上创建任务池(TaskPool)和结果池(ResultPool)，由于具有两个池，有利于将本文档来自技高网...

【技术保护点】
1.一种分布式图像识别的智能模型训练方法，其特征在于，包括如下步骤：/n步骤S1：在边缘服务器上创建任务池和结果池；/n步骤S2：每个边缘工作节点从所述任务池中随机获取一个任务；/n步骤S3：计算所述任务，所述边缘工作节点将结果放入所述结果池中；/n步骤S4：所述边缘服务器从所述结果池中取出所有结果，并将所有结果集成到最终结果中。/n

【技术特征摘要】
1.一种分布式图像识别的智能模型训练方法，其特征在于，包括如下步骤：
步骤S1：在边缘服务器上创建任务池和结果池；
步骤S2：每个边缘工作节点从所述任务池中随机获取一个任务；
步骤S3：计算所述任务，所述边缘工作节点将结果放入所述结果池中；
步骤S4：所述边缘服务器从所述结果池中取出所有结果，并将所有结果集成到最终结果中。


2.根据权利要求1所述的分布式图像识别的智能模型训练方法，其特征在于：计算所述任务的方法为：将图像数据进行处理转换为第一矩阵，将权值参数转换为第二矩阵，将所述第一矩阵均匀地分割成许多第一矩阵块，然后使用编码矩阵对所述第一矩阵块进行编码；制作计算任务；将所述计算任务分配给所述边缘工作节点；收集从所述边缘工作者节点返回的结果，并将其合并到所述第一矩阵与第二矩阵相乘的结果中。


3.根据权利要求2所述的分布式图像识别的智能模型训练方法，其特征在于：使用编码矩阵对所述第一矩阵块进行编码时，对第一矩阵块进行冗余编码。


4.根据权利要求3所述的分布式图像识别的智能模型训练方法，其特征在于：对第一矩阵块进行冗余编码的方法为：将所述第一矩阵划分为n个较小的第一矩阵块，然后对所述第一矩阵块进行冗余编码，利用所述编码矩阵对n个第一矩阵块进行编码；最后，得到m个编码的第二矩阵块，其中m>n。...

【专利技术属性】
技术研发人员：李领治，成聪，王进，谷飞，戴欢，
申请(专利权)人：苏州大学，赛尔网络有限公司，
类型：发明
国别省市：江苏;32