【技术实现步骤摘要】
基于GPU加速神经网络训练方法、装置及存储介质
[0001]本申请涉及神经网络模型领域，尤其涉及一种基于GPU加速神经网络训练方法、装置及存储介质。
技术介绍
[0002]目前神经网络使用的主流硬件是图形处理器（Graphics Processing Unit，GPU），其GPU的底层结构包括运算器（Arithmetic and Logic Unit，ALU）、控制单元（Control Unit，CU）、寄存器（Register）、高速缓存器（Cache）和它们之间通讯的数据，其中，运算器是完成算数运算、逻辑运算以及暂存结果的基本单元，也是其核心单元。
[0003]目前网络剪枝、网络量化、低秩分解、知识蒸馏、紧致型网络的设计和神经框架搜索等从模型参数出发，本质是从网络的角度出发，减少参数进而减少算数运算、逻辑运算的量。具体地，现有技术中采用通过减少模型参数数量和降低运算复杂度，以保持最小的网络性能损失。但随着网络参数的降低以及网络层数的减少，模型的精度也会出现下降的情况。此外，通过减少模型参数数量和降低运算复杂度，以...
【技术保护点】
【技术特征摘要】
1.一种基于图形处理器GPU加速神经网络训练的方法，其特征在于，包括：S1,从预设数据集中划分出第N子数据集；S2,基于所述第N子数据集对与所述GPU关联的初始神经网络进行训练，并获取所述GPU中各硬件设备的第N指标参数、第N训练速度和第N模型训练精度；S3,在第N训练速度为最大值的情况下，基于非线性模型预测函数确定第N+1指标参数，并基于所述第N+1指标参数重新从所述预设数据集中划分出第N+1子数据集；其中，所述非线性模型预测函数的输入为指标参数，输出为训练速度；S4，将所述第N+1子数据集替换为第N子数据集重复执行上述步骤S2至步骤S3，直到第N+1模型训练精度减去第N模型训练精度差值大于或等于预设精度阈值，得到目标神经网络模型，其中，N的取值从1开始每重复执行一次步骤S2至步骤S3，N取值加1，N为正整数。2.根据权利要求1所述的方法，其特征在于，所述在第N训练速度为最大值的情况下，基于非线性模型预测函数确定第N+1指标参数包括：基于所述第N指标参数计算与所述第N训练速度关联的S1形非线性模型预测函数；基于所述第N指标参数计算与所述第N子数据集关联的S2形非线性模型预测函数；在所述第N训练速度为最大值的情况下，基于所述S1形非线性模型预测函数得到所述第N指标参数的最大值；基于所述S2形非线性模型预测函数与最大值的所述第N指标参数最小几何距离下的所述第N+1指标参数。3.根据权利要求2所述的方法，其特征在于，所述基于所述第N指标参数计算与所述第N训练速度关联的S1形非线性模型预测函数，包括：构建线性函数y=a0+a1*H+a2*D+a3*K+a4*V；构建所述初始神经网络模型中神经元函数，其中，所述神经元函数为S形非线性模型预测函数S=1/(1+e^
‑
y)，
‑
y为幂数；基于所述线性函数和所述S形非线性模型预测函数得到所述S1形非线性模型预测函数：；其中，所述第N指标参数包括核心频率H、显存容量D、显存带宽K、显存速度V；a0，a1，a2，a3，a4为预设系数。4.根据权利要求3所述的方法，其特征在于，所述基于所述第N指标参数计算与所述第N子数据集关联的S2形非线性模型预测函数，包括：通过以下公式计算第N指标参数与所述第N子数据集的所述S2形非线性模型预测函数:；其中，ρ1为H与所述第N子数据集的皮尔逊相关系数，ρ2为D与所述第N子数据集的皮尔逊相关系数，ρ3为K与所述第N子数据集的皮尔逊相关系数，ρ4为V与所述第N子数据集的皮尔逊相关系数。5.根据权利要求2或4所述的方法，其特征在于，基于所述S2形非线性模型预测函数与最大值的所述第N指标参数最小几何距离下的所述第N+1指标参数，包括：基于所述S2形非线性模型预测函数从所述预设数据集中确定与最大值的所述第N指标...
【专利技术属性】
技术研发人员：陈彪，黄雪峰，
申请(专利权)人：深圳市信润富联数字科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。