一种提高深度学习模型精度的方法、系统、设备及介质技术方案

本发明专利技术公开了一种提高深度学习模型精度的方法、系统、设备和存储介质，方法包括：构造激活函数族，根据激活函数族得到模型的初始目标函数，并建立初始目标函数与模型初始输出之间的损失函数；计算样本数据中损失函数对各个网络参数的第一偏导数和损失函数对激活函数族的待定幂次的第二偏导数；基于第一偏导数和第二偏导数并结合预设的学习率对损失函数进行更新以及确认更新后模型的精度；以及响应于更新后的模型的精度达到阈值，确定激活函数族对应的幂次，并基于幂次更新模型。本发明专利技术通过对激活函数的幂次进行自适应调节，并且通过对网络输出结果应用反向误差传播算法来调节网络权重、偏移量和函数幂次，提高了深度学习模型的精度和效率。型的精度和效率。型的精度和效率。

【技术实现步骤摘要】
一种提高深度学习模型精度的方法、系统、设备及介质


[0001]本专利技术涉及深度学习领域，更具体地，特别是指一种提高深度学习模型精度的方法、系统、计算机设备及可读介质。

技术介绍

[0002]深度学习是机器学习领域的一个新的研究方向，大数据时代的到来以及计算机硬件的发展，使得深度学习在学术界以及工业界都取得了很多重要成果，涉及到计算机视觉、图像识别、目标检测以及自然语言处理等多个领域。
[0003]深度学习基于神经网络结构，整个流程包括数据的处理、模型的构建以及参数的训练。深度学习的网络结构通常会包含多个隐藏层，神经网络的过程可以视为对中间子网络(隐藏层)的不断复合，复合操作是通过激活函数来完成。对于线性激活函数，网络只对输入数据作线性变化，这种情况深度学习退化为简单的逻辑回归。对于非线性激活函数，网络对输入数据进行非线性映射，使得输出更加灵活多样，比如ReLU激活函数。为深度神经网络预先选定一个非线性激活函数可以使得网络结构相对简单，减少后续人为调节，但同时可能因为选择的不合适导致模型准确度和精度降低。
[0004]常见的分段本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种提高深度学习模型精度的方法，其特征在于，包括以下步骤：构造激活函数族，根据所述激活函数族得到模型的初始目标函数，并建立所述初始目标函数与模型初始输出之间的损失函数；计算样本数据中所述损失函数对各个网络参数的第一偏导数和所述损失函数对所述激活函数族的待定幂次的第二偏导数；基于所述第一偏导数和所述第二偏导数并结合预设的学习率对所述损失函数进行更新以及确认更新后所述模型的精度；以及响应于更新后的所述模型的精度达到阈值，确定所述激活函数族对应的幂次，并基于所述幂次更新所述模型。2.根据权利要求1所述的方法，其特征在于，所述计算样本数据中所述损失函数对各个网络参数的第一偏导数和所述损失函数对所述激活函数族的待定幂次的第二偏导数包括：在所述激活函数族中每个激活函数的输入数据中加入扰动因子。3.根据权利要求1所述的方法，其特征在于，所述建立所述初始目标函数与模型初始输出之间的损失函数包括：根据网络权重、偏移量和激活函数的幂次建立损失函数，并在参数空间中确定一组最优参数以使得所述损失函数最小。4.根据权利要求3所述的方法，其特征在于，所述在参数空间中确定一组最优参数以使得所述损失函数最小包括：从设定的初始点开始，计算所述损失函数在当前点的梯度，根据所述梯度确定搜索方向，并进入下一个点直到当前点的梯度为零。5.根据权利要求4所述的方法，其特征在于，所述在参数空间中确定一组最优参数以使得所述损失函数最小包括：设置多组不同参...

【专利技术属性】
技术研发人员：李峰，张潇澜，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：