【技术实现步骤摘要】
用于评估、理解和改进深度神经网络的视觉分析系统
[0001]本文档中公开的设备和方法涉及神经网络，更特别地，涉及用于阐明神经网络性能的视觉分析系统。
技术介绍
[0002]除非本文另外指示，否则本节中描述的材料不被认为是包含在本节中的现有技术。
[0003]可解释人工智能（XAI）对于理解神经网络模型性能至关重要，并且随着复杂深度神经网络模型的发展，已经获得了越来越多的关注。在某些高风险领域，诸如自主驾驶（例如，用于检测交通灯或停车标志的模型）、医疗保健（例如，用于进行医疗诊断预测的模型）、金融服务（例如，用于检测欺诈或评估风险的模型）等，模型可解释性特别重要。
[0004]对于XAI，存在两种流行的范式：局部解释和全局解释。局部解释旨在解释神经网络模型对给定数据点的预测，通常是通过扰动一组输入并且观察其对模型预测的影响。相反，全局解释采用本质可解释模型（例如，决策树、规则或线性模型）来近似目标神经网络模型的行为，并且然后这些本质可解释模型被用于理解目标神经网络模型。
[0005]然而，这两种方法都面...
【技术保护点】
【技术特征摘要】
1.一种用于对神经网络模型的操作进行可视化的方法，所述方法包括：利用处理器接收多个图像；利用所述处理器接收多个输出，所述多个输出中的每个输出由所述神经网络模型响应于所述多个图像中的对应图像而输出；利用所述处理器接收多个视觉特征集，每个视觉特征集是从所述多个图像中的对应图像提取的；和在显示屏上显示包括所述多个输出的图形描绘的图形用户界面，所述图形描绘包括对所述多个输出进行编码的多个图形元素，所述多个输出在视觉上根据取决于所述多个视觉特征集来布置。2.根据权利要求1所述的方法，进一步包括：经由用户界面接收用户输入；和利用处理器基于所述用户输入来调整图形描绘，以根据多个视觉特征集以不同的方式布置多个图形元素。3.根据权利要求1所述的方法，接收多个输出进一步包括：利用处理器使用神经网络模型基于多个图像中的对应图像来确定多个输出中的每个输出。4.根据权利要求1所述的方法，其中所述多个输出中的每个输出是以下各项中的至少一个的分类：（i）特定对象在所述多个图像中的对应图像中的存在，以及（ii）所述特定对象在所述多个图像中的对应图像中的状态。5.根据权利要求1所述的方法，接收多个视觉特征集进一步包括：利用处理器基于多个图像中的对应图像来确定多个视觉特征集中的每个视觉特征集。6.根据权利要求1所述的方法，显示包括图形描绘的图形用户界面进一步包括：利用处理器，基于对应的视觉特征集中的至少一个视觉特征，将多个图像分类到多个箱中，所述多个箱中的每个箱定义所述至少一个视觉特征的值范围；和利用所述处理器生成图形描绘，其中多个图形元素中的每个图形元素对所述多个输出中的输出进行编码，所述输出对应于被分类到多个箱中的对应箱中的多个图像中的图像。7.根据权利要求6所述的方法，生成图形描绘进一步包括：利用处理器生成所述图形描绘，其中多个图形元素中的每个图形元素取决于由所述多个箱中的对应箱定义的所述至少一个视觉特征的相应值范围沿着所述图形描绘的至少一个轴来布置。8.根据权利要求6所述的方法，将多个图像分类到多个箱中进一步包括：利用处理器，基于对应的视觉特征集的第一视觉特征和第二视觉特征，将所述多个图像分类到多个箱中，所述多个箱中的每个箱定义第一视觉特征和第二视觉特征中的每一个的值范围。9.根据权利要求8所述的方法，生成图形描绘进一步包括：利用处理器生成所述图形描绘，其中所述多个图形元素中的每个图形元素以具有第一轴和第二轴的网格形式布置，所述多个图形元素取决于由所述多个箱中的对应箱定义的第一特征的相应值范围来沿着第一轴布置，所述多个图形元素取决于由所述多个箱中的对应
箱定义的第二特征的相应值范围来沿着第二轴布置。10.根据权利要求6所述的方法，生成图形描绘进一步包括：利用处理器生成所述图形描绘，其中所述多个图形元素中的一些图形元素是被分类到所述多个箱中的对应箱中的多个图像的代表性图像的缩略图。11.根据权利要求6所述的方法，生成图形描绘进一步包括：利用处理器生成所述图形描绘，其中所述多个图形元素中的一些图形元素编码神经网络模型关于被分类到所述多个箱中的对应箱中的多个图像中的图像的性能度量。12.根据权利要求11所述的方法，其中以下各项中的至少一个：所述多个图形元素中的一些图形元素的颜色对性能度量进行编码；和所述多个图形元素中的一些图形元素的（i）大小和（ii）形状中的至少一个对被分类到多个箱中的对应箱中的图像总数进行编码。13.根据权利要求6所述的方法，进一步包括：经由用户界面接收选择对应的视觉特征集合中的至少一个视觉特征的用户输入，基于所述...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。