人工智能(AI)模型包括一个或多个特征模型，所述一个或多个特征模型以分层方式耦接到一个或多个观察器模型。所述特征模型被配置来处理输入以检测所述输入内的不同特征。所述观察器模型被配置来分析所述特征模型在处理所述输入期间的操作以生成各种类型的观察。一种类型的观察包括自然语言表达，所述自然语言表达传达给定特征模型的各种架构特性和/或功能特性如何影响处理所述输入以检测特征，从而揭示所述给定特征模型通过其进行操作的底层机制。制。制。
【技术实现步骤摘要】
【国外来华专利技术】用于生成神经网络的自然语言描述的技术
[0001]相关申请的交叉引用
[0002]本申请要求2020年7月17日提交的名称为“Technique for Generating Natural Language Descriptions of Neural Networks”并且具有序列号63/053,510的美国临时申请的优先权权益，并且要求2021年7月14日提交的名称为“Technique for Generating Natural Language Descriptions of Neural Networks”并且具有序列号17/376,086的美国申请的优先权权益。这些相关申请的主题据此以引用方式并入本文。
[0003]专利技术背景
[0004]各种实施方案总体涉及计算机科学和人工智能，并且更具体地，涉及用于生成神经网络的自然语言描述的技术。
[0005]相关技术描述
[0006]在常规神经网络设计过程中，设计者编写程序代码以开发解决特定类型问题的神经网络架构。设计者使用训练数据结合当处理所述训练数据时神经网络应产生的目标输出来训练神经网络。在训练过程期间，训练算法更新神经网络的各层中所包括的权重，以提高神经网络生成与目标输出一致的输出的程度。一旦训练完成，就使用验证数据测试神经网络以确定神经网络可生成与验证数据相关联的目标输出的准确度。
[0007]当设计神经网络时，存在各种各样的网络架构以供从中选择。“深度”神经网络通常具有复杂的网络架构，所述网络架构包括许多不同类型的层和不同层当中错综复杂的连接拓扑。一些深度神经网络可具有十个或更多个层，其中每个层可包括数百或数千个单独的神经元，并且可通过数百或数千个单独的连接耦接到一个或多个其他层。因为深度神经网络可被训练为以高度的准确度执行宽范围的任务，所以在人工智能领域中越来越广泛地采用深度神经网络。然而，当设计和部署深度神经网络时，会出现各种问题。
[0008]首先，由于深度神经网络固有的复杂性，设计者无法直接观察或理解深度神经网络如何操作。因此，典型的设计者通常无法确定深度神经网络的哪些部件与产生特定行为或结果有关连。因此，即使当给定深度神经网络相对于验证数据看起来以高准确度操作时，设计者通常也无法解释为什么深度神经网络以如此高的准确度操作或者为什么深度神经网络会在现实世界实现方式中继续以高准确度操作。因为无法理解或解释深度神经网络的底层机制，所以通常无法在其中不准确的操作可具有严重后果的系统(诸如自主车辆或机器人外科系统)中部署深度神经网络。
[0009]其次，因为设计者无法直接观察或理解深度神经网络如何操作，所以设计者通常无法在给定深度神经网络产生不准确结果的情况下识别应修改所述深度神经网络的哪些部件。因此，产生不准确结果的深度神经网络通常必须使用不同的训练数据和/或不同的初始条件进行重新训练。然而，即使在深度神经网络被重新训练并且随后以高准确度操作的情况下，出于上述原因，设计者通常也无法理解或解释为什么重新训练深度神经网络改进网络的总体操作。
[0010]如前所说明，本领域所需要的是用于分析深度神经网络的操作的更有效的技术。
技术实现思路
[0011]各种实施方案包括一种用于分析神经网络的特性的计算机实现的方法，其包括：致使第一神经网络基于第一输入执行第一操作；以及致使第二神经网络基于所述第一操作生成自然语言表达，其中所述自然语言表达向用户指示所述第一神经网络在执行所述第一操作时的一个或多个特性。
[0012]所公开的技术相对于现有技术的至少一个技术优点在于，所公开的AI模型自动生成表征给定底层系统(诸如神经网络)如何操作和起作用的自然语言描述。这些描述使得底层系统的设计者能够阐明和解释系统的功能特性，从而帮助设计者和其他人理解适合于所述系统的应用。
附图说明
[0013]因此，可通过参考各种实施方案来获得可详细理解各种实施方案的上述特征的方式，即对以上简要概述的专利技术构思的更具体描述，这些实施方案中的一些在附图中示出。然而，应注意，附图仅示出专利技术构思的典型实施方案，并且因此不应被视为以任何方式限制范围，并且还存在其他等效的实施方案。
[0014]图1示出被配置来实现各种实施方案的一个或多个方面的系统；
[0015]图2是根据各种实施方案的图1的人工智能(AI)模型的更详细图解；
[0016]图3是根据各种实施方案的图1的图形用户界面(GUI)的示例性描绘；
[0017]图4是根据各种实施方案的图2的观察器模型中的一个和特征模型中的一个的更详细图解；
[0018]图5是根据各种实施方案的图2的观察器模型中的一个与特征模型的一个之间的示例性耦接；并且
[0019]图6是根据各种实施方案的用于生成描述神经网络的操作的自然语言表达的方法步骤的流程图。
具体实施方式
[0020]在以下描述中，阐述了许多特定细节以提供对各种实施方案的更透彻理解。然而，对于本领域技术人员将显而易见的是，专利技术构思可在没有这些具体细节中的一个或多个的情况下实践。
[0021]如上所述，由于深度神经网络固有的复杂性，设计者无法直接观察或理解深度神经网络如何操作，并且因此通常无法确定深度神经网络的哪些部件与产生特定行为或结果有关连。因此，即使当给定深度神经网络看起来以高准确度操作时，设计者通常也无法解释为什么深度神经网络以高准确度操作或者提供对为什么深度神经网络会在现实世界场景中继续以高准确度操作的任何逻辑支持。因为设计者无法直接观察或理解深度神经网络如何操作，所以设计者通常无法在深度神经网络产生不准确结果的情况下识别应修改所述深度神经网络的哪些部件。产生不准确结果的深度神经网络通常利用不同的训练数据进行重新训练和/或以不同的初始条件开始进行重新训练。然而，在给定深度神经网络以这种方式
重新训练并且随后以高准确度操作的情况下，出于上述原因，设计者仍然无法理解或解释为什么深度神经网络以高准确度操作。
[0022]为了解决这些问题，各种实施方案包括一种计算机系统，其包括一个或多个特征模型，所述一个或多个特征模型以分层方式耦接到一个或多个观察器模型。所述特征模型被配置来处理输入以检测所述输入内的不同特征。所述观察器模型被配置来分析所述特征模型在处理所述输入期间的操作以生成各种类型的观察。一种类型的观察包括自然语言表达，所述自然语言表达传达给定特征模型的各种架构特性和/或功能特性如何影响处理所述输入以检测特征，从而揭示所述给定特征模型通过其进行操作的底层机制。
[0023]所公开的技术相对于现有技术的至少一个技术优点在于，所公开的技术自动生成表征计算机系统(诸如神经网络)如何操作和起作用的自然语言描述。这些描述使得设计者能够阐明和解释计算机系统的功能特性，从而帮助设计者和其他人理解适合于所述计算机系统的应用。此外，自然语言描述可向设计者提供关于如何改进和/或修复计算机系统(这原本是使用常规技术无法理解的)的见解。这些技术优点表示优于现有技术方本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种用于分析神经网络的特性的计算机实现的方法，所述方法包括：致使第一神经网络基于第一输入执行第一操作；以及致使第二神经网络基于所述第一操作生成自然语言表达，其中所述自然语言表达向用户指示所述第一神经网络在执行所述第一操作时的一个或多个特性。2.如权利要求1所述的计算机实现的方法，其还包括：致使所述第二神经网络基于所述第一神经网络的架构特性或功能特性中的至少一者生成句法元素的分类体系，并且使用所述句法元素的分类体系生成所述自然语言表达。3.如权利要求1所述的计算机实现的方法，其还包括：致使所述第二神经网络关于所述第一神经网络执行参数化操作以生成量化所述第一神经网络的至少一个架构特性的架构参数化，并且使用所述架构参数化生成所述自然语言表达。4.如权利要求1所述的计算机实现的方法，其还包括：致使所述第二神经网络关于所述第一神经网络执行参数化操作以生成量化所述第一神经网络的至少一个功能特性的功能参数化，并且使用所述功能参数化生成所述自然语言表达。5.如权利要求1所述的计算机实现的方法，其中所述第一操作包括卷积操作、聚合操作或阈值比较操作。6.如权利要求1所述的计算机实现的方法，其中所述一个或多个特性包括所述第一神经网络的架构特性或功能特性中的至少一者。7.如权利要求1所述的计算机实现的方法，其中所述第一操作包括量化所述第一输入包括第一类型的特征的程度的特征检测操作。8.如权利要求1所述的计算机实现的方法，其中所述第二神经网络包括深度神经网络，所述深度神经网络被训练来基于所述第一神经网络的一个或多个架构特性或所述第一神经网络的一个或多个功能特性中的至少一者生成自然语言表达。9.一种存储程序指令的非暂时性计算机可读介质，所述程序指令在由处理器执行时致使所述处理器执行以下步骤：致使第一神经网络基于第一输入执行第一操作；以及致使第二神经网络基于所述第一操作生成自然语言表达，其中所述自然语言表达向用户指示所述第一神经网络在执行所述第一操作时的一个或多个特性。10.如权利要求9所述的非暂时性计算机可读介质，其还包括以下步骤：致使所述第二神经网络基于所述第一神经网络的架构特性或功能特性中的至少一者生成句法元素的分类体系，并且使用所述句法元...
【专利技术属性】
技术研发人员：维沙尔，
申请(专利权)人：维亚奈系统公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。