基于众核处理器的图像识别模型快速训练方法及系统技术方案

本发明专利技术公开了一种基于众核处理器的图像识别模型快速训练方法，包括众核处理器，图像识别模型的快速训练方法包括：构建图像识别模型；获取用于训练的图像数据，使用改进的异步随机梯度下降算法对图像识别模型参数进行训练，得到训练后的图像识别模型；所述使用改进的异步随机梯度下降算法对图像识别模型参数进行训练的方法包括：通过计算节点进行计算和学习，在分配的图像数据上进行训练，并更新相应的参数；参数服务器接收计算节点发送的图像识别模型参数；跟踪并计算每个计算节点的更新延迟，若更新延迟小于阈值，则更新模型参数；否则丢弃模型参数。可以在众核处理器平台获得更大的加速效果，使得图像识别模型训练速度更快，大大降低训练成本。大大降低训练成本。大大降低训练成本。

【技术实现步骤摘要】
基于众核处理器的图像识别模型快速训练方法及系统


[0001]本专利技术属于图像识别模型的训练
，具体地涉及一种基于众核处理器的图像识别模型快速训练方法及系统。

技术介绍

[0002]近年来，深度神经网络(DNN)以其优异的算法性能在许多领域得到了广泛的应用，尤其是在图像识别方面。DNNs取得了巨大的进步，因为它可以通过增加模型的深度来进行特征提取和数据拟合。然而，DNNs的优异性能却伴随着一个主要的障碍—庞大的计算成本。随着训练数据规模的增加和模型复杂度的增加，DNNs的训练成本越来越高，这将成为图像识别模型训练的瓶颈。
[0003]为了缩短图像识别模型的训练时间，设计一种基于各种高性能计算平台的并行DNN算法成为一种可行的解决方案。硬件体系结构的发展和计算能力的快速提高也为DNNs的并行化提供了硬件基础。同时，SW26010处理器具有强大的计算能力和高带宽，这使得它特别适合并行任务。
[0004]图像识别模型通常使用随机梯度下降算法(SGD)作为优化算法来训练各种机器学习模型。主要是用SGD来解决以下经验风险最小化问题:本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于众核处理器的图像识别模型快速训练方法，其特征在于，包括众核处理器，图像识别模型的快速训练方法包括以下步骤：S01：构建图像识别模型；S02：获取用于训练的图像数据，使用改进的异步随机梯度下降算法对图像识别模型参数进行训练，得到训练后的图像识别模型；所述使用改进的异步随机梯度下降算法对图像识别模型参数进行训练的方法包括：S21：通过计算节点进行计算和学习，在分配的图像数据上进行训练，并更新相应的参数；S22：参数服务器接收计算节点发送的图像识别模型参数；S23：跟踪并计算每个计算节点的更新延迟，若更新延迟小于阈值，则更新模型参数；否则丢弃模型参数。2.根据权利要求1所述的基于众核处理器的图像识别模型快速训练方法，其特征在于，所述步骤S23中计算每个计算节点的更新延迟的方法包括：S231：在参数服务器中使用标量时钟表示权重的时间戳i；S232：当参数服务器从计算节点接收到一个梯度时，时间戳i增加1，每个计算节点都有一个梯度时间戳j，用于计算更新操作的次数；S233：计算计算节点l的梯度延迟i
−
j。3.根据权利要求1所述的基于众核处理器的图像识别模型快速训练方法，其特征在于，所述参数服务器与计算节点采用非阻塞通信，所述参数服务接收计算节点的梯度；累加梯度，将累加梯度的平均值乘以学习速率，更新权值参数；将模型权值参数发送给计算节点。4.一种基于众核处理器的图像识别模型快速训练系统，其特征在于，包括众核处理器和图像识别模...

【专利技术属性】
技术研发人员：王明贵，许冬，毛赛，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：