一种面向深度神经网络可解释性的可视分析系统技术方案

本发明专利技术公开了一种面向深度神经网络可解释性的可视分析系统，包括：深度学习模型结构和计算过程的解释性可视化模块，揭示深度学习模型内部的网络结构和数据流的逐步计算流程；训练过程数据流的解释性可视化模块，揭示整个训练过程中数据流的统计信息；神经网络特征提取功能的解释性可视化模块，将神经元权重或神经元输出以可视化方式展示给用户，以解释各层神经元的特征提取能力，通过对比可视化方式，发现模型在不同时间点、不同参数等情况下的表现差异；数据异常值的解释性可视化模块，帮助用户发现数据中的异常和训练中模型参数的异常，提示用户及时暂停和修改模型参数；用户定制功能可视化模块，支持多种可视化模块在同一个页面中进行展示。

【技术实现步骤摘要】
一种面向深度神经网络可解释性的可视分析系统
本专利技术涉及计算机数据可视化领域，尤其是涉及一种面向深度神经网络可解释性的可视分析系统。
技术介绍
深度学习取得的显著成功推动了人工智能技术的飞速发展，催生了众多人工智能应用。但随着需要处理的数据量的增大，深度学习模型的结构越来越复杂，参数越来越多。例如在卷积神经网络中，可能含有上百个网络中间层，每个网络中间层中可能含有上百万参数，甚至百度大脑的深度学习技术可以构建具有200亿个参数的深度神经网络。同时为了更好地处理大数据，当前深度学习系统的功能也越来越复杂，包括数据收集与预处理、特征抽取与选择、建模与学习和评估等。因而深度学习系统的设计与实现也呈现出越来越复杂的趋势，导致研究人员和用户很难理解这些复杂模型的内部工作机理而往往将其看作一个黑盒子。由于缺乏对这些模型工作机理的深刻理解，高效模型的开发常常是一个冗长又昂贵的反复实验过程。为了帮助深度学习专家快速设计出符合需求的模型，迫切需要一个透明和可解释的机制，帮助他们更好地理解和分析学习模型，从而快速地训练出符合需求的模型。世界各国都高度重视本文档来自技高网...

【技术保护点】
1.一种面向深度神经网络可解释性的可视分析系统，包括：深度学习模型结构和计算过程的解释性可视化模块、训练过程数据流的解释性可视化模块、神经网络特征提取功能的解释性可视化模块、数据异常值的解释性可视化模块、用户定制功能可视化模块，其特征在于：/n所述深度学习模型结构和计算过程的解释性可视化模块，用于揭示深度学习模型内部的网络结构和数据流的逐步计算流程；/n所述训练过程数据流的解释性可视化模块，用于揭示整个训练过程中数据流的统计信息；/n所述神经网络特征提取功能的解释性可视化模块，将神经元权重或神经元输出以可视化方式展示给用户，以解释各层神经元的特征提取能力，并通过对比可视化方式，发现模型在不同时...

【技术特征摘要】
1.一种面向深度神经网络可解释性的可视分析系统，包括：深度学习模型结构和计算过程的解释性可视化模块、训练过程数据流的解释性可视化模块、神经网络特征提取功能的解释性可视化模块、数据异常值的解释性可视化模块、用户定制功能可视化模块，其特征在于：
所述深度学习模型结构和计算过程的解释性可视化模块，用于揭示深度学习模型内部的网络结构和数据流的逐步计算流程；
所述训练过程数据流的解释性可视化模块，用于揭示整个训练过程中数据流的统计信息；
所述神经网络特征提取功能的解释性可视化模块，将神经元权重或神经元输出以可视化方式展示给用户，以解释各层神经元的特征提取能力，并通过对比可视化方式，发现模型在不同时间点、不同参数等情况下的表现差异；
所述数据异常值的解释性可视化模块，帮助用户发现数据中的异常和训练中模型参数的异常，提示用户及时暂停和修改模型参数；
所述用户定制功能可视化模块，支持多种可视化模块在同一个页面中进行展示。


2.如权利要求1所述的一种面向深度神经网络可解释性的可视分析系统，其特征在于所述深度学习模型结构和计算过程的解释性可视化模块，采用节点链接图方式可视化深度学习模型的网络结构，进行优化求解布局方式；以不同形状不同颜色的节点表示不同类型的神经元层和操作；在节点和连边上叠加交互热点，用户可以通过点击节点和连边获得它们的结构信息以及在其上的数据流信息；通过显示节点，隐藏节点，展开节点，收缩节点和节点过滤操作，支持用户对布局结果进行手工微调，以展示网络结构。


3.如权利要求2所述的一种面向深度神经网络可解释性的可视分析系统，其特征在于所述节点与边交替迭代布局优化的过程如下：
a.根据网络结构生成节点集合V，边集合E，每个节点包括其宽度w和高度h信息，每条边包含若干个转弯点，用于改变连线方向，优化求取每个节点的中心位置Pi和每条边三个转折点位置Qij(j＝1,2,3)；
b.以数据流的流向对节点进行拓扑排序，根据节点的展开层次分配节点的宽度和高度，根据数据给节点分配初始位置；
c.节点位置优化：建立优化公式其中第一项f1(Pi)描述了节点i和与其有边相连的节点间的先后关系变化的惩罚，即节点i和与其相连节点在布局后的先后顺序与它们在网络结构的逻辑顺序相反，则f1(Pi)取大的惩罚；f2(Pi)使交互前后布局变化最小，即节点的位置变化较小；f3(Pi)避免节点重叠，当节点i与其他节点有重叠时，会产生较大的惩罚值；f4(Pi)惩罚节点i与现有的线出现相交，与越多的线相交，惩罚越大；
d.连线布局优化：对节点间的连线优化折点位置，建立优化公式：第一项g1(Qij)用于使边i的总长度减小；第二项g2(Qij)用于减少边与c步调整后的节点相交；第三项g3(Qij)使得边的转折角度最小；
e.对步骤c和d两步进行交替迭代优化，直至节点和线的变动达到最小阈值范围。


4.如权利要求1所述的一种面向深度神经网络可解释性的可视分析系统，其特征在于所述训练过程数据流解释性可视化模块，其中的标量可视化模块展示整个模型的训练结果统计信息，包括标量值随时间变化的过程，将波动频繁的数据使用一个滑动条控制的平滑系数将标量展示平滑，展示出标量显示的趋势；展示各个中间层的统计信息，帮助用户定位到性能不满足需求的神经元中间层；神经元间的连接边上的值，包括权重、偏置值以及他们的梯度值。


5.如权利要求1所述的一种面向深度神经网络可解释性的可视分析系统，其特征在于所述神经网络特征提取功能的解释性可视化模型，将各层神经元激活值数据合并成高维数据，降低数据的维度，并通过散点图的形式展现了数据中的特征；将不同样本的输出值降维结果投影到二维平面上，形成不同的样本点，可...

【专利技术属性】
技术研发人员：单海军，俞再亮，徐岗，吴向阳，刘真，李勇杰，杨凯兵，王丹丹，马书豪，姜子敬，陈思强，渠冲冲，朱威特，徐懂事，高炜哲，
申请(专利权)人：之江实验室，杭州电子科技大学，
类型：发明
国别省市：浙江;33