特征排序神经网络和方法、生成简化特征集模型的方法技术

本方法涉及多任务和/或多标签设置中的深度神经网络内的特征排序。对用于识别任务特定特征以及多个任务共享的特征的方法进行了描述。除促进可解释性之外，所选特征子集还可用于制作有效模型，从而实现更好的稳定性和正则化以及减少的计算和内存占用。

【技术实现步骤摘要】
特征排序神经网络和方法、生成简化特征集模型的方法相关申请的交叉应用本申请要求2017年10月31日提交的美国专利申请No.15/799,698的优先权。
技术介绍
本文公开的主题涉及使用神经网络进行特征排序，特别涉及使用机器学习技术以方便进行感兴趣特征选择的特征排序过程。深度学习算法，例如人工神经网络，是用于诸如数据分类，回归，去噪，降维等各种数据分析任务的学习工具。在这些背景下，深度学习算法已成功解决来自不同领域的问题，包括语音识别，计算机视觉，语言翻译等。然而，深度神经网络的值得诟病的一点或缺点是它们缺乏可解释性。特别地，诸如逻辑回归，决策树等的传统机器学习算法会产生可解释的模型，其可直接对特定任务的特征的相关性进行排序。在诸如医疗保健中的异常检测之类的某些问题中，除了在分析上实现令人满意的表现之外，解释各种因素对预测的贡献可能是有益的。这种可解释性通常不可能是人工神经网络的常规应用。
技术实现思路
在一个实施例中，提供了特征排序神经网络。根据该实施例，特征排序神经网络包括：输入层，编码多个权重的广播层，特征排序神经网络的两个或更多个单独且并行的分支，以及分支下游的输出层，其中输出层被配置为提供特征排序神经网络的输出。多个权重包括该神经网络因其被训练的多个任务中的每个任务的任务特定权重。这些分支被配置为基于由广播层编码的权重从广播层接收一组过滤过的输入。每个分支对应不同的任务。进一步，广播层的权重以任务特定的方式将提供给输入层的输入特征过滤到特征排序神经网络的上述分支。进一步，该多个权重还包括可归属于该神经网络因其被训练的每个任务的共同权重。进一步，该多个权重中的每个权重大约为零或大约为1。进一步，该特征排序神经网络的所述两个或更多个分支中的每一个包括多个隐藏层。进一步，通过训练特征排序神经网络来学习广播层的多个权重。在另一实施例中，提供了一种特征排序方法。根据该实施例，将多个输入样本作为训练数据集提供给神经网络的输入层。每个输入样本的特点在于一个或多个特征。神经网络包括广播层，广播层包括用于多个任务中的每个任务的相应权重。处理输入样本以针对一个或多个特征中的每一个训练每个任务的相应权重。对于多个任务中的一个或多个任务，基于一个或多个特征相对于相应任务的相应权重，将一个或多个特征识别为与相应任务相关。进一步，不同任务由不同的识别特征集合表征。进一步，处理该输入样本以针对该一个或多个特征中的每一个训练每个任务的相应权重还包括训练跨多个任务的该一个或多个特征共享的共同权重。进一步，提供共同权重作为特征排序方法的输出的一部分。进一步，广播层以任务特定的方式对一个或多个特征进行过滤。进一步，广播层对一个或多个特征进行过滤，以将该一个或多个特征的传播限制到广播层下游的该神经网络的多个并行分支。进一步，还包括：接收对被识别为与相应任务相关的该一个或多个特征进行进一步限制的用户输入。进一步，还包括：针对该一个或多个特征中的每个特征，对每个任务的相应权重施加稀疏约束。进一步，还包括：基于用户输入，对与具有相似特征基数的两个或更多个任务相关联的各个权重施加相似性约束。进一步，该一个或多个特征包括一种或多种感兴趣的生物标记、靶向疗法或治疗、心电图诊断或神经分析治疗或诊断。在另外的实施例中，提供了一种用于生成简化特征集模型的方法。根据该实施例，获取与训练的神经网络的广播层相关联的一个或多个权重。每个权重与相应的特征和任务组合相关联。基于权重为给定任务识别一个或多个任务特定的特征。基于一个或多个任务特定的特征生成模型，其中一个或多个任务特定的特征是训练的神经网络因其被训练的较大的特征集的子集。进一步，该模型包括任务特定神经网络。进一步，除了上述权重之外，还基于用户输入来识别所述一个或多个任务特定特征。进一步，还包括使用该模型基于该一个或多个任务特定特征的观察值来评估与该任务相关的附加观察。附图说明当参考附图阅读以下详细描述时，将更好地理解本专利技术的这些和其它特征，方面和优点，附图中相同的字符在整个附图中表示相同的部分，其中：图1描绘了根据本公开各方面的用于训练深度学习模型的人工神经网络的示例；图2描绘了根据本公开各方面的多任务深度学习框架，其中由特征描述的输入样本可以具有来自K个任务的多个标签；图3描绘了根据本公开各方面的多任务深度学习算法，其中输入特征由K个神经网络处理以用于预测该K个任务；图4描绘了根据本公开各方面的多任务深度学习算法的替代表示，其中输入特征由K个神经网络w处理以用于预测该K个任务；图5描绘了根据本公开各方面的基于IMI检测的为非限制性示例实施方式按重要性对特征进行排序的图表；图6是根据本公开各方面的能够实现本方法的计算装置的框图。具体实施方式下面将描述一个或多个具体实施例。为了对这些实施例进行简明描述，并未在说明书中描述实际实施方式的所有特征。应当理解的是，在任何此类实际实施方式的开发中，如在任何工程或设计项目中，必须做出许多特定于实施方式的决策以实现开发者的特定目标，例如遵守与系统相关的和与业务相关的约束，这可能因不同的实施方式而异。此外，应当理解的是，这种开发工作可能是复杂且耗时的，但是对于受益于本公开的普通技术人员来说仍然是设计，制造和加工的常规任务。虽然在医疗数据分析的背景下提供了以下讨论的某些方面，应当理解的是，本技术不限于这样的医学背景。实际上，本文在这样的医学背景中提供的任何示例和解释仅仅是为了通过提供某些现实世界的实施方式和应用的实例以方便解释。然而，本专利技术所述方法也可以用于其它合适的数据分析背景中。通常，本方法可用于需要人工神经网络输出的可解释性的任何数据分析背景中，例如以便于在相关分析背景中选择一个或多个感兴趣特征。考虑到前面的介绍性评论，本文所述的本方法的各方面在特征标识或排序环境中利用神经网络，然后可能为特定应用选择所识别的特征。如本文所使用的，特征是用于捕获或表征现象的度量。这样的特征可以是某些观察到的现象的个体可测量的属性或特征(诸如活动，级别，持续时间，约束系数等)，尽管它不一定是实际测量并且(尽管它)可以采取其它，诸如定性表征或观察的形式。如本文所讨论的神经网络可以包括深度神经网络、完全连接的网络、卷积神经网络(CNN)、感知器、自动编码器、回归网络、小波滤波器组或其它神经网络架构。这些技术在本文中称为深度学习技术，但是该术语也可以特定地用于深度神经网络的使用，深度神经网络是具有多个层的神经网络。如本文所讨论的，深度学习技术(其也可以被称为深度机器学习、分层学习或深度结构化学习)是机器学习技术的一个分支，其采用数据的数学表示和用于学习的人工神经网络。举例来说，深度学习方法的特点在于它们使用一个或多个算法来提取或模型化一类感兴趣数据的高级抽象。这可以使用一个或多个处理层来完成，每个层通常对应于不同级别的数据抽象，因此可能采用或利用初始数据的不同方面或前一层的输出(即，层级或级联的图层)作为给定层的过程或算法的目标。在数据分析环境中，其特点在于对应于数据中的不同特征级别或抽象级别的不同层。通常，从一个级别或抽象到下一个级别或抽象的处理可以被视为分析过程的一个“阶段”。分析的每个阶段可以通过单独的神经网络或通过一个较大的神经网络的不同部分来执行。例如，如本文所讨论的，单个本文档来自技高网...

【技术保护点】
1.一种特征排序神经网络，包括：输入层；广播层，用于编码多个权重，其中所述多个权重包括所述神经网络因其被训练的多个任务中的每个任务的任务特定权重；所述特征排序神经网络的两个或更多个单独且并行的分支，其中所述分支被配置为基于由所述广播层编码的权重从所述广播层接收一组过滤过的输入，其中每个分支对应于不同的任务；以及所述分支下游的输出层，其中所述输出层被配置为提供所述特征排序神经网络的输出。

【技术特征摘要】
2017.10.31 US 15/799,6981.一种特征排序神经网络，包括：输入层；广播层，用于编码多个权重，其中所述多个权重包括所述神经网络因其被训练的多个任务中的每个任务的任务特定权重；所述特征排序神经网络的两个或更多个单独且并行的分支，其中所述分支被配置为基于由所述广播层编码的权重从所述广播层接收一组过滤过的输入，其中每个分支对应于不同的任务；以及所述分支下游的输出层，其中所述输出层被配置为提供所述特征排序神经网络的输出。2.如权利要求1所述的神经网络，其特征在于，所述广播层的权重以任务特定的方式将提供给输入层的输入特征过滤到所述特征排序神经网络的所述分支。3.如权利要求1所述的神经网络，其特征在于，所述多个权重还包括可归属于所述神经网络因其被训练的每个任务的共同权重。4.如权利要求1所述的神经网络，其特征在于，所述多个权重中的每个权重大约为零或大约为1。5.如权利要求1所述的神经网络，其特征在于，所述特征排序神经网络的所述两个或更多个分支中的每一个包括多个隐藏层。6.如权利要求1所述的神经网络，其特征在于，通过训练所述特征排序神经网络来学习所述广播层的所述多个权重。7.一种特征排序方法，包括：提供作为训练数据集的多个输入样本到神经网络的输入层，其中每个输入样本由一个或多个特征表征，其中所述神经网络包括多个层，并且其中所述多个层中的一个是包括多个任务中的每个任务的相应权重的广播层；处理所述输入样本以针对所述一个或多个特征中的每一个训练每个任务的相应权重；以及对于多个任务中的一个或多个任务，基于一个或多个特征相对于相应任务的相应权重，将所述一个或多个特征识别为与相应任务相关。8.如权利要求7所述的方法，其特征在于，不同任务由不同的识别特征集合表征。9.如权利要求7所述的方法，其特征在于，处理所述输入样本以针对所述一...

【专利技术属性】
技术研发人员：H·拉维尚卡尔，B·R·桑达，P·苏达卡尔，R·文卡塔拉马尼，V·P·瓦迪亚，
申请(专利权)人：通用电气公司，
类型：发明
国别省市：美国,US