【技术实现步骤摘要】
一种基于参数分层的深度学习神经网络参数调优的方法
[0001]本专利技术涉及人工智能
，更具体地，涉及一种基于参数分层的深度学习神经网络参数调优的方法。
技术介绍
[0002]深度学习是机器学习和人工智能领域中非常活跃的研究领域，其目的是建立一种快速，自动和准确的预测和分类模型。神经网络已被广泛应用于自然语言处理以及计算机视觉。计算机视觉中一个重要的分枝就是图像分类，目前广泛应用于商业，安防等领域。从本质上讲，深度学习是一类机器学习技术，它利用非线性信息处理的许多层来进行有监督或无监督的特征抽取和转换，以及模式分析和分类。
[0003]深度学习模型可以分为两个阶段。第一个阶段是训练阶段，神经网络训练和人类学习的模式相似，此过程中需要海量的数据，甚至可能达到千万条样本数据，来修正神经网络中的参数。第二个阶段是推理过程。在训练完成后，神经网络被部署到生产环境，依据“推理”结果进行数据分类。
[0004]由上述描述可以看出，推理阶段是依赖于训练阶段的。然而根据百度硅谷实验室的首席科学家的论述，训练百度的一个中...
【技术保护点】
【技术特征摘要】 【专利技术属性】
1.一种基于参数分层的深度学习神经网络参数调优的方法，包括以下步骤：根据参数的语义进行分类和关联，并根据分层思想和每个参数的值域，随机生成一组初始参数；使用所述初始参数开始神经网络训练，并在训练过程中针对每个epoch，在迭代级别根据设定的提前终止条件决定生成待运行参数继续搜索或提前终止该次迭代；当满足设定的搜索结束条件时退出参数搜索，并将最小运行时间对应的可行参数作为神经网络的最优训练参数。2.根据权利要求1所述的方法，其中，所述提前终止条件根据每个epoch中各次迭代所用时间确定。3.根据权利要求2所述的方法，其中，根据以下步骤设定所述提前终止条件：在每个epoch中，每间隔三次迭代，记录一次当前迭代所用的时间；用当前的时间结合最近两次所记录的迭代所用时间求局部平均值；设定前两次epoch中迭代时间的全局平均值的1.1倍作为阈值，如果所述局部平均值大于该阈值的次数超过三次，则认为满足所述提前终止条件。4.根据权利要求1所述的方法，其中，根据以下步骤对所述待运行参数继续搜索：根据每个参数的值域范围生成多组关联的待运行参数，该多组关联的待运行参数包含不同更新方向上的参数变化；分别比较所述多组关联的待运行参数的训练用时与原始的所述待运行参数训练用时的大小，按照减小的值进行排序，得到所述待运行参数中的每一个参数对神经网络训练用时的影响水平排序；对于每一个参数，通过比较不同更新方向上的训练用时，得到该参数的优化方向，并根据影响水平的排序结果，计算出下一组训练参数的更新权重。5.根据权利要求4所述的方法，其中，对于所述待运行参数中的某一参数x
i
，其不同更新方向上的参数变化值表示为Δx
i+
＝decay
×
(x
i,max
‑
技术研发人员：苏子浩，陈超，喻之斌，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。