【技术实现步骤摘要】
一种用于监控神经网络模型训练状态的方法与设备
本申请涉及计算机
，尤其涉及一种用于监控神经网络模型训练的技术。
技术介绍
目前，机器学习在各行各业的应用方面取得了很大的进步，其中基于大数据的深度学习是机器学习领域中的一个新的方向。而深度学习在人脸识别、语音识别、数据挖掘、机器翻译、自然语言处理和智能推荐方面取得了举世瞩目的成就，但是，在深度学习的训练过程中，由于模型的学习能力不同，模型的训练状态是衡量模型拟合程度的标准，通常来说，一般会使用反向传播时模型输出的loss变化和评价指标来衡量模型的训练状态，但是对模型内部的变化没有有效的手段进行监控，导致不能更好的对模型训练进行监控。
技术实现思路
本申请的目的是提供一种用于监控神经网络模型训练状态的方法与设备，以解决现有技术中无法对模型内部进行有效监控的技术问题。根据本申请的一个方面，提供了一种用于监控神经网络模型训练状态的方法，其中，所述方法包括：从神经网络模型的不同网络层中确定一个或多个目标监控网络层；获取所述目标监控网络层
【技术保护点】
1.一种用于监控神经网络模型训练状态的方法，其中，所述方法包括：/n从神经网络模型的不同网络层中确定一个或多个目标监控网络层；/n获取所述目标监控网络层的状态与梯度；/n基于所述目标监控网络层在所述神经网络模型的排布顺序，将所述目标监控网络层的状态与梯度依序排布，以实现对所述神经网络模型的训练状态进行监控。/n
【技术特征摘要】
1.一种用于监控神经网络模型训练状态的方法，其中，所述方法包括：
从神经网络模型的不同网络层中确定一个或多个目标监控网络层；
获取所述目标监控网络层的状态与梯度；
基于所述目标监控网络层在所述神经网络模型的排布顺序，将所述目标监控网络层的状态与梯度依序排布，以实现对所述神经网络模型的训练状态进行监控。
2.根据权利要求1所述的方法，其中，所述方法还包括：
将所述目标监控网络层的状态与梯度转换成可视化图；
其中，所述基于所述目标监控网络层在所述神经网络模型的排布顺序，将所述目标监控网络层的状态与梯度依序排布，以实现对所述神经网络模型的训练状态进行监控包括：
基于所述目标监控网络层在所述神经网络模型的排布顺序，将所述目标监控网络层的状态与梯度通过原始的状态矩阵依次转化为状态图,并将多个状态图排布成一整张可视化图，以对所述神经网络模型的训练状态进行监控。
3.根据权利要求1所述的方法，其中，所述获取所述目标监控网络层的状态与梯度包括：
基于添加的数据收集模块从每个目标监控网络层收集所述目标监控网络层的状态与梯度。
4.根据权利要求1至3中任一项所述的方法，其中，所述从神经网络模型的不同网络层中确定一个或多个目标监控网络层包括：
从神经网络模型的不同网络层中为奇数或者偶数的相邻间隔网络层，确定一个或多个目标监控网络层。
5.根据权利要求2所述的方法，其中，所述将所述目标监控网络层的状态与梯度转换成可视...
【专利技术属性】
技术研发人员：姚广，
申请(专利权)人：上海眼控科技股份有限公司，
类型：发明
国别省市：上海;31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。