针对黑盒机器学习模型的规则确定制造技术

本公开内容的各实施例涉及针对黑盒机器学习模型的规则确定。描述了针对黑盒机器学习模型(BBMLM)的规则确定。这些规则由解释系统确定以描述BBMLM的操作以将对BBMLM的输入与BBMLM的观察到的输出相关联，并且不需要知道由BBMLM在操作中使用以进行这些关联的逻辑。为了确定这些规则，解释系统最初生成代理黑盒模型以仅基于指示输入和观察到的输出的数据来模仿BBMLM的行为，因为被实际使用的逻辑对系统不可用。解释系统通过使用遗传算法组合基于代理黑盒模型的输出而被标识的条件来生成描述BBMLM的操作的规则。这些规则被输出作为if‑then语句，if‑then语句被配置有被形成作为条件的列表的if部分和具有关联的观察到的输出的指示的then部分。

Rule determination for black-box machine learning model

Embodiments of the present disclosure relate to rule determination for a black-box machine learning model. The rule determination for Black Box Machine Learning Model (BBMLM) is described. These rules are determined by the interpretation system to describe the operation of BBMLM to correlate the input of BBMLM with the output observed by BBMLM, and do not need to know the logic used by BBMLM in the operation to perform these associations. To determine these rules, the interpreting system initially generated a proxy black box model to mimic BBMLM's behavior based only on data indicating input and observed output, because the logic actually used is not available to the system. The interpretation system generates rules describing the operation of BBMLM by using genetic algorithm to combine the identified conditions based on the output of proxy black box model. These rules are output as if then statements, which are configured to have the if part of the list formed as a condition and the then part of the instructions with associated observed output.

【技术实现步骤摘要】
针对黑盒机器学习模型的规则确定
本公开内容的各实施例涉及针对黑盒机器学习模型的规则确定。
技术介绍
计算系统中的机器学习和人工智能(AI)使用正变得普遍。实际上，“智能”算法(涉及某种程度的机器学习或AI的算法)的实现方式存在于很多纵向行业中。这些算法例如存在于医学、金融、成像、电子商务、音频处理等中。从广义上讲，存在两种类型的机器学习算法。这些算法的第一种类型基于相对简单的公式，并且因此通常是可解释的。该第一类型的示例包括线性回归、逻辑回归、决策树等。这些算法的一个优点是它们的操作可以被可视化并且因此被人类解释。举例来说，针对线性回归模型而被学习的权重使得分析人员能够确定模型在做出决策时使用的不同数据属性的相对重要性。因此可以容易地证明由根据该第一类型的算法配置的模型做出的决定，例如，分析人员可以通过指示确定的权重偏离某些属性值的程度来解释该决定，以使得这些模型能够实现该决定。与第一类型的算法相反的是基于能够表示非线性函数的公式的第二类型。该第二类型的算法的示例包括神经网络、随机森林、梯度增强树等。这些算法的一个优点是它们能够在数据中对比第一类型的算法更复杂的模式建模，并且因此通常关于大多数数据集来实现比第一类型更高的准确度。然而，实现这种更高准确度水平的权衡是模型可解释性。例如，神经网络通常包括具有不同激活和辍学(dropout)的隐藏层，并且随机森林可能具有数千棵树，其中最终决策是组合由这些树中的每个树做出的各个预测的函数。这样的模型可以被认为是“黑盒”，因为这些模型在操作期间用于产生输出的逻辑在很大程度上是未知的。关于黑盒模型如何产生输出的可解释性的缺乏可能导致用户不信任这样的模型，并且使得与这样的模型的输出相关的未来规划变得困难。这是因为，由于这些模型的逻辑未知，因此分析人员无法可靠地预测这样的模型的输出。由于缺乏可解释性，某些类型的机器学习模型根本没有被用于其他方面可能有用的应用。
技术实现思路
为了克服这些问题，在数字媒体环境中利用针对黑盒机器学习模型的规则确定。这些规则由解释系统确定以描述黑盒机器学习模型的操作，以将模型的输入与模型的观察到的输出相关联，并且不需要知道模型在操作中使用以进行这些关联的逻辑。为了确定这些规则，解释系统最初获取指示黑盒机器学习模型的输入和观察到的输出的数据。解释系统生成代理黑盒模型，以基于获取的数据模仿来黑盒机器学习模型的行为。此外，解释系统利用由代理黑盒模型提供的概率来针对黑盒机器学习模型的观察到的输出生成条件。关于这些概率，代理黑盒模型针对给定输入实例输出黑盒机器学习模型将每个观察到的输出与输入实例相关联的概率。生成的条件各自是输入实例的数据属性的组合和值或值的范围，例如，来自根据概率与观察到的输出相关联的输入实例。然后，解释系统通过使用遗传算法组合这些条件来生成描述黑盒机器学习模型的操作的规则。然后，规则被输出作为if-then语句，if-then语句被配置有被形成为条件列表的if部分和具有相关联的观察到的输出的指示的then部分。本“
技术实现思路
”以简化的形式介绍了一些概念，这些概念将在下面的“具体实施方式”中被进一步描述。因此，本“
技术实现思路
”并非旨在标识所要求保护的主题的必要特征，也并非旨在用于帮助确定所要求保护的主题的范围。附图说明参考附图描述详细描述。图1是可操作以采用本文中描述的技术的示例实现方式中的环境的图示；图2描绘了其中图1的基于学习的递送系统确定描述机器学习的模型的操作的规则的示例实现方式；图3描绘了被配置为呈现针对黑盒机器学习模型的确定的规则的示例用户界面；图4A和图4B描绘了其中确定描述黑盒机器学习模型的操作的规则的示例实现方式中的过程；图5描绘了其中基于指示用来优化选择的至少一个优化因子的输入来确定用于选择规则子集的选择技术的示例实现方式中的过程；以及图6示出了包括可以被实现为参考图1至图5而被描述和/或利用的任何类型的计算设备以实现本文中描述的技术的实施例的示例设备的各种组件的示例系统。具体实施方式概述计算系统中的机器学习和人工智能(AI)使用正变得普遍。然而，某些类型的机器学习的模型操作以按照人类无法解释的方式产生输出。这样的模型可以被认为是“黑盒”，因为这些模型在操作期间用于产生输出的逻辑在很大程度上是未知的。用于实现这些模型的算法的示例包括神经网络、随机森林、梯度增强树等。这些算法的一个优点是它们能够在数据中对比通常人类可解释的算法(线性回归、逻辑回归、决策树)更复杂的模式建模，并且因此通常关于大多数数据集可以获取比人类可解释的算法更高的准确度。关于黑盒模型如何产生输出的可解释性的缺乏可能导致用户不信任这样的模型，并且使得与模型的输出相关的未来规划变得困难。由于缺乏可解释性，某些类型的机器学习的模型根本没有用于其他方面可能有用的应用。为了克服这些问题，在数字媒体环境中利用针对黑盒机器学习模型的规则确定。考虑一个示例，其中使用黑盒机器学习模型将客户端设备用户分类为不同的类，并且其中根据模型指示的类向不同的客户端设备用户供应不同的数字营销内容。在这种情况下，根据所描述的技术而被配置的解释系统确定人类可解释的规则并且解释该黑盒机器学习模型如何将不同的客户端设备用户分类到不同的类中。这些规则是人类可解释的，部分原因在于它们的配置格式。具体地，由解释系统确定的规则被形成为if-then语句，if-then语句包括被形成为导致观察到的输出的输入属性值列表的if部分。这些if-then语句还包括then部分，then部分包括由输入属性值产生的观察到的输出的指示。参考上面讨论的用户分类示例，可以生成if-then语句，if-then语句包括被形成为产生一个观察到的分类的用户特征(例如，特定年龄和特定位置)的列表的if部分。在这个示例中，一个观察到的分类由语句的then部分指示。由解释模块形成为if-then语句的这种人类可解释规则的一个示例是“如果10≤年龄<25并且州＝加利福尼亚，则预测class(类)_1”。这里，“10≤年龄<25”和“州＝加利福尼亚”是被组合的输入的属性值，并且“class_1”是观察到的输出。根据所描述的技术，解释系统确定这些规则，而不需要知道黑盒机器学习模型在操作中使用以将模型的观察到的输出与模型的输入相关联的逻辑。实际上，解释系统不知道模型的类型(例如，神经网络、随机森林、梯度提升树等)或黑盒是否包括单个模型或不同机器学习的模型的集合。相反，解释系统仅从模型的输入和输出确定规则。为此，解释系统最初获取指示黑盒机器学习模型的输入和观察到的输出的数据。基于该数据，解释系统生成代理黑盒模型以模仿黑盒机器学习模型的行为。代理黑盒模型针对输入数据的实例输出黑盒机器学习模型将实例与每个不同输出相关联的概率。例如，假定观察到黑盒机器学习模型具有四种不同的输出。在这个示例中，代理黑盒模型关于输入数据的给定实例输出四个概率，四个概率指示黑盒机器学习模型将四个不同的观察到的输出中的每个观察到的输出与输入数据的给定实例相关联的概率。具有最高概率的观察到的输出被认为是黑盒机器学习模型将其与输入实例相关联的输出。一般而言，被部署用于提供服务(例如，将用户分类为用于目标内容传递、图像识别等的类)的实际黑盒机器学习模型本文档来自技高网...

【技术保护点】
1.一种在用来描述黑盒机器学习模型的操作的数字媒体环境中由计算设备实现的方法，所述方法包括：由所述计算设备生成代理黑盒模型以基于指示对黑盒机器学习模型的输入和所述黑盒机器学习模型的观察到的输出的数据来模仿所述黑盒机器学习模型的行为，所述数据还指示所述黑盒机器学习模型将其与所述输入相关联的所述观察到的输出；由所述计算设备将所述输入的未分类属性拆分为分类属性；由所述计算设备通过根据由所述数据指示的所述输入将值与所述分类属性相关联来形成输入实例；由所述计算设备将所述输入实例暴露给所述代理黑盒模型；由所述计算设备从所述代理黑盒模型接收所述黑盒机器学习模型将所述输入实例与所述观察到的输出相关联的概率；由所述计算设备基于所述概率来生成用于所述观察到的输出的条件，条件包括分类属性的标识符和来自与观察到的输出相关联的输入实例的属性值或值的范围；由所述计算设备通过将生成的所述条件与遗传算法组合来生成用于所述观察到的输出的规则，所述规则包括生成的所述条件中的至少两个条件的组合和相关联的所述观察到的输出的指示。

【技术特征摘要】
2017.11.14 US 15/812,9911.一种在用来描述黑盒机器学习模型的操作的数字媒体环境中由计算设备实现的方法，所述方法包括：由所述计算设备生成代理黑盒模型以基于指示对黑盒机器学习模型的输入和所述黑盒机器学习模型的观察到的输出的数据来模仿所述黑盒机器学习模型的行为，所述数据还指示所述黑盒机器学习模型将其与所述输入相关联的所述观察到的输出；由所述计算设备将所述输入的未分类属性拆分为分类属性；由所述计算设备通过根据由所述数据指示的所述输入将值与所述分类属性相关联来形成输入实例；由所述计算设备将所述输入实例暴露给所述代理黑盒模型；由所述计算设备从所述代理黑盒模型接收所述黑盒机器学习模型将所述输入实例与所述观察到的输出相关联的概率；由所述计算设备基于所述概率来生成用于所述观察到的输出的条件，条件包括分类属性的标识符和来自与观察到的输出相关联的输入实例的属性值或值的范围；由所述计算设备通过将生成的所述条件与遗传算法组合来生成用于所述观察到的输出的规则，所述规则包括生成的所述条件中的至少两个条件的组合和相关联的所述观察到的输出的指示。2.根据权利要求1所述的方法，其中所述规则被配置为if-then语句，在所述if-then语句中生成的所述条件的组合形成语句的if部分，并且相关联的所述观察到的输出形成所述语句的then部分。3.根据权利要求1所述的方法，其中所述观察到的输出是所述黑盒机器学习模型与由所述数据指示的所述输入的实例相关联的类。4.根据权利要求1所述的方法，其中将生成的所述条件与所述遗传算法组合包括：计算用于由所述遗传算法产生的规则的迭代的适应度度量；以及基于所述适应度度量来中止通过所述遗传算法的规则产生的所述迭代。5.根据权利要求4所述的方法，其中所述适应度度量是由所述遗传算法产生的用于迭代的所述规则的至少精度度量和覆盖度量的函数。6.根据权利要求5所述的方法，其中所述适应度度量还是由所述遗传算法产生的用于所述迭代的所述规则的规则长度的函数。7.根据权利要求5所述的方法，其中所述适应度度量还是由所述遗传算法产生的用于所述迭代的所述规则的规则重叠的函数。8.根据权利要求1所述的方法，还包括在不知道由所述黑盒机器学习模型在操作中使用以将所述观察到的输出与所述输入相关联的逻辑的情况下生成所述代理黑盒模型。9.根据权利要求1所述的方法，还包括选择生成的所述规则的子集以描述所述黑盒机器学习模型的所述操作。10.根据权利要求9所述的方法，其中规则的所述子集基于被配置为优化所述规则的覆盖的选择技术而被选择。11.根据权利要求9所述的方法，其中规则的所述子集基于被配置为优化作为所述规则的精度和...

【专利技术属性】
技术研发人员：P·古普塔，S·沃玛，P·阿加瓦尔，N·普里，B·克里希纳默西，
申请(专利权)人：奥多比公司，
类型：发明
国别省市：美国,US