深度神经网络训练过程的可视分析系统及方法技术方案

本发明专利技术提出一种深度神经网络训练过程的可视分析系统及方法，其中，该系统在训练所述深度神经网络的过程中，接收用户输入的查询条件在确定所述查询条件为查看选定的第一时间点上神经元的数据流动信息时，网络结构可视化模块将所述网络结构转化为有向无环图，并确定所述有向无环图中各个节点的位置，并根据所述有向无环图确定与所述第一时间点对应的第一目标神经元，并根据所述处理模块获取所述第一目标神经元的数据流动信息，以及显示所述第一目标神经元的数据流动信息，由此，使得用户可从除准确度粒度外的其他粒度可视化了解深度神经网络的训练过程，方便了用户全面理解神经网络中各个组成部分所起的作用以及数据流向。

Visual analysis system and method for training process of deep neural network

【技术实现步骤摘要】
深度神经网络训练过程的可视分析系统及方法
本专利技术涉及深度学习的可视分析
，特别涉及一种深度神经网络训练过程的可视分析系统及方法。
技术介绍
深度神经网络在很多模式识别任务上都展现出了惊人的进展，例如图像识别、视频分类、自动翻译等。最近，深度增强学习在某些智能任务上已经达到或者超过了人类，例如Atari游戏以及围棋。然而，开发一个高性能的深度神经网络往往需要大量耗时的尝试。这是因为一个深度神经网络往往含有大量非线性的组成部分，理解其中每个组成部分(神经元，神经元之间的连接)所起的作用非常困难。另外，训练一个深度神经网络涉及的非凸优化过程也非常复杂，人们对其理解有限。因此，利用可视化技术展示深度神经网络是现在工业界研究的热点。相关技术中的深度神经网络可视化工具仅为用户提供神经网络的准确率信息，从而使得用户不能从其他粒度了解深度神经网络的训练过程，导致用户不能全面理解神经网络中各个组成部分所起的作用以及数据流向，用户体验不理想。
技术实现思路
本专利技术旨在至少在一定程度上解决上述技术问题。为此，本专利技术的第一个目的在于提出一种深度神经网络训练过程的可视分析系统，该系统使得用户可从本文档来自技高网...

【技术保护点】
一种深度神经网络训练过程的可视分析系统，其特征在于，包括：第一接收模块，用于接收用户上传的深度神经网络的网络结构和用于训练所述深度神经网络的训练数据；处理模块，用于根据所述训练数据对所述深度神经网络进行训练；第二接收模块，用于在训练所述深度神经网络的过程中，接收用户输入的查询条件；网络结构可视化模块，用于在确定所述查询条件为查看选定的第一时间点上神经元的数据流动信息时，将所述网络结构转化为有向无环图，并确定所述有向无环图中各个节点的位置，根据所述有向无环图确定与所述第一时间点对应的第一目标神经元，并根据所述处理模块获取所述第一目标神经元的数据流动信息，以及显示所述第一目标神经元的数据流动信息，...

【技术特征摘要】
1.一种深度神经网络训练过程的可视分析系统，其特征在于，包括：第一接收模块，用于接收用户上传的深度神经网络的网络结构和用于训练所述深度神经网络的训练数据；处理模块，用于根据所述训练数据对所述深度神经网络进行训练；第二接收模块，用于在训练所述深度神经网络的过程中，接收用户输入的查询条件；网络结构可视化模块，用于在确定所述查询条件为查看选定的第一时间点上神经元的数据流动信息时，将所述网络结构转化为有向无环图，并确定所述有向无环图中各个节点的位置，根据所述有向无环图确定与所述第一时间点对应的第一目标神经元，并根据所述处理模块获取所述第一目标神经元的数据流动信息，以及显示所述第一目标神经元的数据流动信息，其中，所述节点与所述深度神经网络中的中间层存在一一对应，所述中间层包括多个神经元。2.如权利要求1所述的系统，其特征在于，所述系统还包括：训练数据可视化模块，用于在确定所述查询条件为查看第二时间点上的训练数据时，获取与所述第二时间点对应的训练数据，并从所获取的训练数据中获取符合蓝噪声分布的目标训练数据，并以折线图的形式显示所述目标训练数据。3.如权利要求1或2所述的系统，其特征在于，所述系统还包括：责任可视化模块，用于在确定所述查询条件为用户选定的第二目标神经元和第三时间点时，确定在所述第三时间点时前一层神经元是否影响所述第二目标神经元，并且后一层神经元是否影响所述第二目标神经元，并在确定所述前一层神经元和/或所述后一层神经元影响所述第二目标神经元时，显示所述前一层神经元和/或所述后一层神经元与所述第二目标神经元的关系图，其中，在所述前一层神经元和所述后一层神经元影响所述第二目标神经元时，所述关系图中以第一预设颜色的连边表示所述前一层神经元和所述第二目标神经元的关系，以第二预设颜色连边表示所述后一层神经元和所述第二目标神经元的关系。4.如权利要求3所述的系统，其特征在于，所述网络结构可视化模块，包括：有向无环图转换单元，用于根据预设去除有向图中换的算法，将所述网络结构转化为有向无环图；布局计算单元，用于确定所述有向无环图中各个节点的位置；数据流动显示单元，用于根据所述有向无环图确定与所述第一时间点对应的第一目标神经元，获取所述第一目标神经元的数据流动信息，并利用折线图的形式显示所述第一目标神经元的数据流动信息。5.如权利要求3所述的系统，其特征在于，所述责任可视化模块，包括：前向责任计算单元，用于利用层级相关性传播算法确定在所述第三时间点时所述深度神经网络中前一层神经元对所述第二目标神经元是否存在影响以及影响的大小；后向责任计算单元，用于利用后向传播算法确定在所述第三时间点时所述深度神经网络中后一层神经元对所述第二目标神经元是否存在影响以及影响的大小；责任可视化展示单...

【专利技术属性】
技术研发人员：刘世霞，刘梦尘，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11