一种测定黑盒人工智能模型的稀疏交互效用的方法技术

本申请涉及机器学习技术领域，公开了一种解释黑盒人工智能模型所建模的稀疏交互效用的方法和系统。该方法和系统可以自动地分析模型所建模的交互分布。该方法和系统的实施包括以下步骤:提供需要评估的数据；使用黑盒模型对数据进行预测，获得模型的预测结果；基于黑盒模型的输出,对样本的输入单元间的交互作用进行建模，计算输入单元间形成的组合的交互强度，将黑盒模型表达成输入单元组合间的“与加关系”和“或加关系”；通过优化,使得“与加关系”和“或加关系”更加稀疏。本发明专利技术的优点在于，提供了一种解释黑盒人工智能模型所建模的交互的量化方法，相比于前人研究，可以获得更稀疏、简洁的交互解释。

【技术实现步骤摘要】

本专利技术涉及机器学习，具体涉及一种解释黑盒人工智能模型所建模的稀疏交互效用的方法和系统。

技术介绍

1、目前，深度学习已在各个领域得到广泛应用，并展现出强大性能，但使用者与研究者很难分析人工智能模型的黑盒本质。在现有的技术中，基于交互的解释方法能够在保证可靠性的前提下，定量分析模型输入中各个单元、属性组合的产生的交互效用，但无法保证解释结果的稀疏性、简洁性，而稀疏、简洁的解释结果恰是人工智能可解释性方法的必要条件。

2、因此，如何可靠地解释黑盒模型所建模的交互效用，并同时保证其稀疏性、简洁性，是可解释性领域亟待解决的问题。

技术实现思路

1、本专利技术的目的在于专利技术一种解释黑盒人工智能模型所建模的稀疏交互效用的方法和系统，可以自动地分析模型所建模的交互分布。该方法包括以下步骤：

2、(1)选取模型

3、选取一待分析的黑盒人工智能模型，该黑盒人工智能模型为在某一数据集上预先训练好的模型。

4、(2)获取需要进行评估的数据

5、收集和预处理待评估数本文档来自技高网...

【技术保护点】

1.一种测定黑盒人工智能模型的稀疏交互效用的方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

3.根据权利要求1所述的方法，其特征在于，所述步骤(3)中的“与交互”IAND(S)通过以下公式得出：

4.根据权利要求1所述的方法，其特征在于，所述步骤(3)中的“或交互”IOR(S)通过以下公式得出：

5.根据权利要求1所述的方法，其特征在于，所述步骤(4)中通过如下公式将所述黑盒模型的输出v(T)解释为“与加关系”和“或加关系”的组合：

6.根据权利要求2所述的方法，其特征在于，在所述步...

【技术特征摘要】

1.一种测定黑盒人工智能模型的稀疏交互效用的方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

3.根据权利要求1所述的方法，其特征在于，所述步骤(3)中的“与交互”iand(s)通过以下公式得出：

4.根据权利要求1所述的方法，其特征在于，所述步骤(3)中的“或交互”ior(s)通过以下公式得出：

5.根据权利要求1所述的方法，其特征在于，所述步骤(4)中通过如下公式将所述黑盒模型的输出v(t)解释为“与加关系”和“或加关系”的...

【专利技术属性】
技术研发人员：张拳石，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：