用于基于分类器的卷积神经网络的视觉分析系统技术方案

公开了视觉分析方法和系统，用于可视化具有至少一个卷积神经网络层的图像分类模型的操作。图像分类模型将样本图像分类为预定义集合的可能类之一。视觉分析方法基于相似性层级确定预定义集合的可能类的统一排序，使得彼此相似的类以统一排序聚类在一起。视觉分析方法显示各种图形描绘，包括类层级查看器、混淆矩阵和响应图。在每种情况下，图形描绘的元素根据统一排序而被布置。通过使用所述方法，用户能够更好地理解模型的训练过程，诊断模型的不同特征检测器的分离能力，并改进模型的架构。

Vision analysis system for convolution neural network based on classifier

【技术实现步骤摘要】
【国外来华专利技术】用于基于分类器的卷积神经网络的视觉分析系统本申请要求于2017年7月27日提交的序列号为62/537,613的美国临时申请的优先权的权益，所述美国临时申请的公开内容通过引用在其整体上并入本文。
本文档中公开的设备和方法涉及卷积神经网络，并且更具体地，涉及用于卷积神经网络的视觉分析。
技术介绍
除非本文另有指示，否则本节中描述的材料不是本申请中权利要求的现有技术，并且不由于包括在本节中而被承认为现有技术。对象识别是计算机视觉中的基本问题，其牵涉将图像分类到预定义数量的类中。卷积神经网络（CNN）在该问题上已经实现了现有技术水平的结果，这归功于大的且经标注的数据集和强大的计算基础设施的可用性。CNN从训练图像自动提取有区别的分类特征，并组合地使用它们来识别复杂对象。这使得CNN在大规模数据集（诸如图像网）上显著地优于传统的计算机视觉方法，因为后者通常依赖于启发式特征。为了使CNN适用于关键领域，评估它们学习的特征的可靠性并理解分类误差背后的可能原因是重要的。已经提出了多种技术来可视化图像空间中的这些特征。然而，对分类误差本身的可视化并相应地细化CNN给予了很少关注。
技术实现思路
公开了一种用于可视化图像分类模型的操作的方法，所述图像分类模型具有包括至少一个卷积层的多个神经网络层。所述方法包括：利用处理器接收多个实际类标注，每个实际类标注与多个样本图像中的相应样本图像相关联，每个实际类标注对应于预定义的多个类之一；利用处理器接收图像分类模型的多个输出，每个输出由图像分类模型响应于多个样本图像中的相应样本图像而提供；利用处理器基于预定义的多个类中类的相似性层级来确定预定义的多个类的依次排序，相似性层级定义在预定义的多个类中的多个相似类组；以及利用显示设备显示多个输出的图形描绘，图形描绘包括对多个输出进行编码的图形元素，所述图形元素在视觉上根据预定义的多个类的所确定依次排序而被布置。公开了一种用于可视化图像分类模型的操作的视觉分析系统，所述图像分类模型具有包括至少一个卷积层的多个神经网络层。所述视觉分析系统包括：显示设备；存储器，被配置为存储多个样本图像和多个实际类标注，每个实际类标注与多个样本图像中的相应样本图像相关联，每个实际类标注对应于预定义的多个类之一；以及操作性地连接到显示设备和存储器的处理器。处理器被配置为：从存储器接收多个实际类标注；接收图像分类模型的多个输出，每个输出由图像分类模型响应于多个样本图像中的相应样本图像而提供；基于预定义的多个类中类的相似性层级来确定预定义的多个类的依次排序，相似性层级定义在预定义的多个类中的多个相似类组；以及操作显示设备来显示多个输出的图形描绘，图形描绘包括对多个输出进行编码的图形元素，所述图形元素在视觉上根据预定义的多个类的所确定依次排序而被布置。附图说明结合附图，在以下描述中解释了所述方法和系统的前述方面和其他特征。图1示出了视觉分析系统的示例性实施例的框图。图2示出了具有至少一个卷积神经网络（CNN）的示例性图像分类模型。图3示出了视觉分析程序的示例性主用户接口的概览。图4示出了用于可视化具有至少一个卷积层的图像分类模型的操作的方法的逻辑流程图。图5示出了主用户接口的类层级查看器的详细视图。图6示出了主用户接口的混淆矩阵的详细视图。图7示出了主用户接口的响应图的详细视图。图8示出了图像分类模型的所选神经网络层中神经元的线性化响应轮廓的形成。图9示出了具有类级相关矩阵、响应图和样本查看器的辅助视图。图10示出了主用户接口的样本查看器的详细视图。图11示出了针对示例性神经元的示例性显著性图，所述示例性神经元对具有斑点的对象的样本图像进行响应。图12示出了对图2的图像分类模型的示例性改进。具体实施方式出于促进对本公开原理的理解的目的，现在将参考附图中图示并在以下书面说明书中描述的实施例。应理解，没有因此对本公开的范围进行限制的意图。应进一步理解，如本公开所属领域的技术人员通常将想到的，本公开包括对所图示的实施例的任何更改和修改并且包括本公开原理的另外应用。视觉分析系统图1示出了视觉分析系统10的示例性实施例的框图，视觉分析系统10用于可视化基于卷积神经网络（CNN）的图像分类模型的性能、操作和输出。视觉分析系统10典型地被提供在以用于计算设备的典型方式配置的外壳、机柜等12中。在图示的实施例中，视觉分析系统10包括处理器14、存储器16、显示器18、用户接口20和网络通信模块22。然而，将领会，视觉分析系统10的图示实施例仅仅是视觉分析系统10的一个示例性实施例，并且仅仅代表视觉分析系统、个人计算机、膝上型计算机、服务器或以本文阐述的方式操作的任何其他数据处理系统的各种方式或配置中的任何一种。处理器14被配置为执行指令来操作视觉分析系统10，以使能实现如本文描述的特征、功能性、特性等等。为此，处理器14可操作地连接到存储器16、显示器18、用户接口20和网络通信模块22。处理器14一般包括一个或多个处理器，所述一个或多个处理器可以并行或以其他方式彼此协同操作。本领域普通技术人员将认识到，“处理器”包括处理数据、信号或其他信息的任何硬件系统、硬件机构或硬件组件。因此，处理器14可以包括具有中央处理单元、多个处理单元或用于实现特定功能性的专用电路的系统。存储器16可以具有能够存储处理器14可访问的信息的任何设备类型，诸如存储器卡、ROM、RAM、可写存储器、只读存储器、硬驱动、盘、闪速存储器或如本领域普通技术人员将认识到的用作数据存储设备的各种其他计算机可读介质中的任何一种。存储器16被配置为存储供处理器14执行的程序指令24、以及数据26。程序指令24至少包括视觉分析程序28。在一个实施例中，程序指令24进一步包括基于卷积神经网络（CNN）的图像分类模型30。在至少一个实施例中，数据26包括具有多个图像的图像数据集32，每个图像具有来自定义数量（例如，1000）的可能类的相应类标注。图像数据集32可由图像分类模型30分析，以预测每个相应图像的类。在至少一个实施例中，数据26包括图像分类模型30相对于图像数据集32的分类输出34，诸如预测类标注、不同卷积层的个体神经元的响应等。视觉分析程序28被配置为使得用户能够可视化图像分类模型30的性能、操作和输出。视觉分析系统10的网络通信模块22提供允许使用各种手段与各种设备中任何一个通信的接口。特别地，网络通信模块22可以包括局域网端口，所述局域网端口允许与容纳在相同或附近设施中的各种本地计算机中任何一个通信。在一些实施例中，网络通信模块22进一步包括广域网端口，所述广域网端口允许通过因特网与远程计算机通信。可替换地，视觉分析系统10经由局域网的单独调制解调器和/或路由器与因特网通信。在一个实施例中，网络通信模块配备有Wi-Fi收发器或其他无线通信设备。因此，将领会，与视觉分析系统10的通信可以经由有线通信或经由无线通信而发生。通信本文档来自技高网...

【技术保护点】
1.一种用于可视化图像分类模型的操作的方法，所述图像分类模型具有包括至少一个卷积层的多个神经网络层，所述方法包括：/n利用处理器接收多个实际类标注，每个实际类标注与多个样本图像中的相应样本图像相关联，每个实际类标注对应于预定义的多个类之一；/n利用处理器接收图像分类模型的多个输出，每个输出由图像分类模型响应于多个样本图像中的相应样本图像而提供；/n利用处理器基于预定义的多个类中类的相似性层级来确定预定义的多个类的依次排序，相似性层级定义在预定义的多个类中的多个相似类组；以及/n利用显示设备显示多个输出的图形描绘，图形描绘包括对多个输出进行编码的图形元素，所述图形元素在视觉上根据预定义的多个类的所确定依次排序而被布置。/n

【技术特征摘要】
【国外来华专利技术】20170727 US 62/5376131.一种用于可视化图像分类模型的操作的方法，所述图像分类模型具有包括至少一个卷积层的多个神经网络层，所述方法包括：
利用处理器接收多个实际类标注，每个实际类标注与多个样本图像中的相应样本图像相关联，每个实际类标注对应于预定义的多个类之一；
利用处理器接收图像分类模型的多个输出，每个输出由图像分类模型响应于多个样本图像中的相应样本图像而提供；
利用处理器基于预定义的多个类中类的相似性层级来确定预定义的多个类的依次排序，相似性层级定义在预定义的多个类中的多个相似类组；以及
利用显示设备显示多个输出的图形描绘，图形描绘包括对多个输出进行编码的图形元素，所述图形元素在视觉上根据预定义的多个类的所确定依次排序而被布置。


2.根据权利要求1所述的方法，确定依次排序进一步包括：
确定依次排序，使得在由相似性层级所定义相同组中的预定义的多个类标注中的类标注以依次排序被分组在一起。


3.根据权利要求1所述的方法，显示图形描绘进一步包括：
显示布置在二维网格中的多个单元，网格的第一维对应于多个实际类标注，并且根据预定义的多个类的所确定依次排序进行排序，每个单元具有相应的图形元素，所述相应的图形元素对多个输出中的至少一个输出进行编码，所述至少一个输出由图像分类模型响应于具有对应于相应单元的实际类标注的样本图像而提供。


4.根据权利要求3所述的方法，其中：
多个输出包括由图像分类模型响应于多个样本图像分配的多个预测类标注，每个预测类标注对应于预定义的多个类之一；
网格的第二维对应于多个预测类标注，并且根据预定义的多个类的所确定依次排序进行排序；并且
多个单元中每个单元的图形元素对来自多个样本图像的相应第一数量的样本图像进行编码，所述相应第一数量的样本图像（i）与对应于相应单元的实际类标注相关联并且（ii）被分配对应于相应单元的预测类标注。


5.根据权利要求4所述的方法，对布置在二维网格中的多个单元的显示进一步包括：
响应于针对相应单元的相应第一数量等于零，以第一颜色显示多个单元中相应单元的图形元素；以及
响应于针对相应单元的相应第一数量大于零，以不同于第一颜色的第二颜色显示多个单元中相应单元的图形元素，第二颜色的阴影取决于相应第一数量。


6.根据权利要求3所述的方法，进一步包括：
响应于过滤器选项的用户选择，取决于对应于所选过滤器选项的至少一个过滤准则，利用显示设备隐藏多个单元的图形元素的子集。


7.根据权利要求3所述的方法，进一步包括：
响应于用户选择多个单元中的单元组，利用显示设备显示多个样本图像中的样本图像的缩略图，所述样本图像与对应于所选单元组中的一个单元的实际类标注相关联。


8.根据权利要求3所述的方法，其中：
多个输出包括图像分类模型的所选神经网络层的个体神经元对多个样本图像的多个响应；
网格的第二维对应于所选神经网络层的个体神经元；并且
多个单元中每个单元的图形元素编码对应于相应单元的神经元对来自多个样本图像的样本图像的响应平均，所述样本图像与对应于相应单元的实际类标注相关联。


9.根据权利要求8所述的方法，其中，多个单元中每个单元的图形元素是具有布置在网格中的多个像素的热图，多个像素中的每个像素具有颜色，所述颜色取决于对应于相应单元的神经元对来自多个样本图像的样本图像的响应平均，所述样本图像与对应于相应单元的实际类标注相关联。


10.根据权利要求9所述的方法，进一步包括：
对多个单元中每个单元的热图的多个像...

【专利技术属性】
技术研发人员：B阿尔萨拉克，A尧拉布奥，叶茂，刘小明，任骝，
申请(专利权)人：罗伯特·博世有限公司，
类型：发明
国别省市：德国;DE