【技术实现步骤摘要】
基于GPU的深度神经网络模型训练方法、装置和计算机设备
本申请涉及计算机
，特别是涉及一种基于GPU的深度神经网络模型训练方法、装置、计算机设备和存储介质。
技术介绍
随着互联网和人工智能技术的发展，图像识别、语音识别、自然语言处理等智能任务在生活中无处不在。而神经网络作为当前实现这类智能任务最有效的算法之一，已经获得学术界和工业界广泛关注和应用。现代深度神经网络(DNN，DeepNeuralNetwork)的训练通常依赖于GPU(GraphicsProcessingUnit，图形处理器)来训练复杂的数百层深度网络。在当前的深度神经网络的训练过程中，各隐藏层会产生相应的中间输出数据，例如特征映射矩阵，其中，某些中间输出数据在前向传递过程和反向传递过程中都会用到，因此，现有的技术是将所有中间输出数据都进行对应的压缩存储。然而，上述方法占用的GPU主存资源较多，存在GPU资源利用率不高的问题。
技术实现思路
基于此，有必要针对上述技术问题，提供一种能够提高GPU资源利用率的基于GPU的深度神经网...
【技术保护点】
1.一种基于GPU的深度神经网络模型训练方法，其特征在于，所述方法包括：/n在深度神经网络模型首次训练时，将各隐藏层对应的输出数据压缩至GPU主存存储，得到压缩后的输出数据和所述GPU的主存余量；/n当所述GPU的主存余量未达到预设余量阈值时，根据所述输出数据的稀疏程度值和所述压缩后的输出数据占用所述GPU主存的时间比重，确定初步隐藏层；/n迭代训练所述深度神经网络模型时，根据所述初步隐藏层，将所述初步隐藏层对应的输出数据压缩至所述GPU主存存储，得到所述GPU主存的初步余量，直至所述初步余量达到所述预设余量阈值；/n当所述初步余量达到所述预设余量阈值时，确定需要将对应的输...
【技术特征摘要】
1.一种基于GPU的深度神经网络模型训练方法，其特征在于，所述方法包括：
在深度神经网络模型首次训练时，将各隐藏层对应的输出数据压缩至GPU主存存储，得到压缩后的输出数据和所述GPU的主存余量；
当所述GPU的主存余量未达到预设余量阈值时，根据所述输出数据的稀疏程度值和所述压缩后的输出数据占用所述GPU主存的时间比重，确定初步隐藏层；
迭代训练所述深度神经网络模型时，根据所述初步隐藏层，将所述初步隐藏层对应的输出数据压缩至所述GPU主存存储，得到所述GPU主存的初步余量，直至所述初步余量达到所述预设余量阈值；
当所述初步余量达到所述预设余量阈值时，确定需要将对应的输出数据压缩至所述GPU主存存储的最终隐藏层，根据所述最终隐藏层进行训练，以得到训练好的深度神经网络模型。
2.根据权利要求1所述的方法，其特征在于，所述输出数据包括特征映射；所述在深度神经网络模型首次训练时，将各隐藏层对应的输出数据压缩至GPU主存存储，包括：
在深度神经网络模型首次训练过程的前向传递过程中，在所述各隐藏层计算生成对应的所述特征映射后，将所述特征映射作为下一隐藏层的输入数据参与前向传递计算，将所述特征映射压缩至所述GPU主存存储。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
在所述深度神经网络模型首次训练过程的反向传递过程中，在完成所述各隐藏层对应的解压缩步骤后，获取所述解压缩步骤的开始时间并存储；
在深度神经网络模型下一次训练过程的反向传递过程中，根据所述解压缩步骤的开始时间，采用预解压缩的方式预先将前向传递过程中存储的压缩后的特征映射进行解压缩。
4.根据权利要求1所述的方法，其特征在于，所述当所述GPU的主存余量未达到预设余量阈值时，根据所述输出数据的稀疏程度值和所述压缩后的输出数据占用所述GPU主存的时间比重，确定初步隐藏层，包括：
当所述GPU的主存余量未达到预设余量阈值时，获取所述输出数据的稀疏程度值；
当所述稀疏程度值大于预设稀疏程度阈值时，确定第一隐藏层；所述第一隐藏层为所述各隐藏层中确定的需要将对应的输出数据进行压缩的隐藏层；
根据所述第一隐藏层，对所述第一隐藏层对应的输出数据压缩并存储至所述GPU主存后，获取所述GPU主存的第一余量；
当所述第一余量未达到所述预设余量阈值时，获取所述压缩后的输出数据占用所述GPU主存的时间比重；
根据所述时间比重，确定初步隐藏层；所述初步隐藏层为所述第一隐藏层中确定的需要将对应的输出数据进...
【专利技术属性】
技术研发人员：李肯立，陈再龙，刘楚波，阳王东，周旭，肖国庆，唐卓，谭光华，朱宁波，李克勤，
申请(专利权)人：湖南大学，
类型：发明
国别省市：湖南;43
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。