交互式机器学习模型开发制造技术

本发明专利技术涉及交互式机器学习模型开发。提供一种方法，该方法包括生成用于机器学习(ML)模型的交互式开发的可视环境。该方法包括访问针对数据的观察，每个观察包括独立变量和因变量的值，并对独立变量集的值执行交互式探索性数据分析(EDA)。该方法包括基于交互式EDA执行交互式特征构造和选择，并且其中，将选择独立变量选择或变换为特征集合，以用于构建ML模型以预测因变量。该方法包括使用ML算法、特征集合以及根据特征集合和数据的观察产生的训练集来构建ML模型。并且该方法包括输出ML模型用于部署以预测针对数据的附加观察的因变量。

Development of interactive machine learning model

【技术实现步骤摘要】
交互式机器学习模型开发
本公开大体上涉及机器学习，并且尤其涉及机器学习模型的交互式开发。
技术介绍
机器学习(ML)为一种分析数据的过程，其中数据集用于确定将输入数据(也称为解释变量或预测因子)映射到输出数据(也称为因变量或响应变量)的ML模型(也称为规则或函数)。机器学习算法种类繁多，其中新算法为积极研究的主题。一种类型的机器学习为监督学习，其中，使用包括用于足够数量的输入数据的已知输出数据的数据集来训练模型。一旦训练了模型，就可以对其进行部署，即，将其应用于新的输入数据以预测预期的输出。机器学习可以应用于许多不同类型的问题，诸如回归问题和分类问题。在回归问题中，输出数据包括数字值，诸如电压、压力、循环次数。在分类问题中，输出数据包括标签、等级、类别(例如，合格-不合格，健康-故障，故障类型等)等。由于大多数ML模型的经验性质，它们的结果有时难以解释，并且被许多主题专家(SME)和其他用户视为“黑盒”。这种黑盒的性质使SME无法完全了解算法是如何达到其结果的，因此可能会降低SME和其他用户使用数据科学家开发的ML算法的信心。因此，期望具有一种系统和方法，其考虑至少一些上述问题以及其他可能的问题。
技术实现思路
本公开的示例实施方式涉及对ML模型的交互式开发，该ML模型闭合机器学习和人类智能之间的循环。示例实施方式提供一种框架，使SME能够在ML模型被开发和完善时查看ML模型内部。该框架为动态的和交互式的，并且包括一个主动反馈机制，使SME能够与ML模型进行交互，以便了解和完善它们以满足它们的需求。这种主动反馈机制创建了一种实时交互式ML模型，该模型在模型被构建时将域知识(SME输入)纳入模型的开发过程中。该框架能够使SML输入到ML模型开发过程中，从而能够开发“白盒”ML模型，该模型有时被称为以人为中心或人在环中的机器学习。与传统的“黑盒”ML模型相比，可以更好地理解根据本公开的示例实施方式开发的ML模型，并且可以更有信心地依赖它。与传统的ML模型相比，这些结合了域知识的模型通常表现更好，并且在决策方面更可靠。因此，本公开包括但不限于以下示例实施方式。一些示例实施方式提供一种交互式机器学习模型开发的方法，该方法包括经由处理电路执行应用程序以根据迭代过程生成包括用于交互式开发机器学习模型的图形用户界面(GUI)的可视环境，迭代过程的至少一个迭代至少包括：访问系统数据的多个观察，该数据的多个观察中的每个观察包括多个独立变量的值以及因变量的值；对来自针对该数据的多个观察中的观察集合的多个独立变量的独立变量集合的值执行交互式探索性数据分析，其中在GUI中自动生成信息图以直观地汇总独立变量集合的值，独立变量集合的一个或更多个独立变量或观察集合中的一个或更多个观察基于经由GUI的用户输入来选择；基于交互式探索性数据分析执行交互式特征构造和选择，并且其中，来自多个独立变量的选择独立变量被选择为特征集合或将其变换为特征集合，以用于构建机器学习模型以预测因变量，基于经由GUI的用户输入和在GUI中自动生成的信息图，将一个或更多个选择独立变量选择为或变换为特征集合；以及使用机器学习算法、特征集合和从该数据的特征集合和多个观察产生的训练集(包括选择独立变量的值和因变量的值)构建机器学习模型；并且输出机器学习模型以进行部署，以预测并由此产生针对数据的附加观察的因变量的预测，其不包括因变量的值，与无交互式探索性数据分析和包括经由GUI的用户输入的交互式特征构造和选择而构建的相应机器学习模型相比，该机器学习模型产生的预测更准确。在任何先前示例实施方式的方法的一些示例实施方式或任何先前示例实施方式的任何组合中，系统为飞机，并且数据的多个观察为针对飞机的多次飞行的飞行数据，针对每次飞行，多个独立变量的值为在飞行期间由机载飞行记录仪从多个传感器或航空电子系统记录的多个特性的测量值，并且因变量的值为飞行期间飞机状态的指示。在任何先前示例实施方式的方法的一些示例实施方式或任何先前示例实施方式的任何组合中，迭代过程的至少一个后续迭代包括至少执行交互式探索性数据分析，其中，独立变量集合或观察集合基于经由GUI的用户输入进行修改，并在GUI中自动生成经修改的信息图；基于经由GUI的用户输入和在GUI中自动生成的经修改的信息图，修改特征集合中的一个或更多个特征以产生用于后续迭代的经修改的特征集合；并且使用机器学习算法、经修改的特征集合以及根据经修改的特征集合和数据的多个观察生成的经修改的训练集，构建机器学习模型的版本。在任何先前示例实施方式的方法的一些示例实施方式或任何先前示例实施方式的任何组合中，迭代过程的至少一个后续迭代包括基于经由GUI的用户输入修改特征集合的一个或更多个特征以产生用于后续迭代的经修改的特征集合；并且使用机器学习算法、经修改的特征集合以及根据经修改的特征集合和数据的多个观察生成的经修改的训练集，构建机器学习模型的版本。在任何先前示例实施方式的方法的一些示例实施方式或任何先前示例实施方式的任何组合中，执行交互式特征构造和选择包括将一个或更多个选择独立变量应用于变换以产生特征集合的特征，一个或更多个选择独立变量或变换基于经由GUI的用户输入来选择。在任何先前示例实施方式的方法的一些示例实施方式或任何先前示例实施方式的任何组合中，迭代过程的至少一个后续迭代包括基于经由GUI的用户输入至少修改一个或更多个选择独立变量或变换，并从而修改从其产生的特征集合的特征，该特征集合为经修改的特征集合，包括用于后续迭代的经修改的特征；并使用机器学习算法、经修改的特征集合和经修改的训练集构建机器学习模型的版本。在任何先前示例实施方式的方法的一些示例实施方式或任何先前示例实施方式的任何组合中，构建机器学习模型包括执行交互式模型构建，其中基于经由GUI的用户输入从多个机器学习算法中选择机器学习算法，并且其中，迭代过程的至少一个后续迭代包括至少执行交互式模型构建以使用多个机器学习算法中的一个不同算法、特征集合以及训练集来构建机器学习模型的版本，基于经由GUI的用户输入选择多个机器学习算法中的一个不同算法。在任何先前示例实施方式的方法的一些示例实施方式或任何先前示例实施方式的任何组合中，迭代过程的迭代还包括评估机器学习模型，包括使用机器学习模型来预测并由此产生因变量的评估预测，并生成至少一个评估信息图，该评估信息图在反映机器学习模型性能的布局中汇总评估预测。一些示例实施方式提供用于交互式机器学习模型开发的装置。该装置包括存储器，该存储器存储系统数据的多个观察，该数据的多个观察中的每个观察包括多个独立变量的值和因变量的值；以及处理电路，其被配置为访问存储器，并执行应用程序以生成可视环境，该可视环境包括用于根据任何先前示例实施方式或任何先前示例实施方式的任何组合的交互式开发机器学习模型的图形用户界面(GUI)。一些示例实施方式提供了用于交互式机器学习模型开发的非暂时性计算机可读存储介质，该计算机可读存储介质具有存储在其中的计算机可读程序代码，该计算机可读程序代码响应于处理电路本文档来自技高网...

【技术保护点】
1.一种用于交互式机器学习模型开发的装置(900)，所述装置包括：/n存储器(904)，其存储系统的数据的多个观察，所述数据的多个观察中的每个观察包括多个独立变量的值和因变量的值；以及/n处理电路(902)，其被配置为访问所述存储器，并执行(702)应用程序以根据迭代过程生成可视环境(104)，所述可视环境包括用于机器学习模型(118)的交互式开发的图形用户界面即GUI(106)，所述迭代过程的至少一个迭代包括使所述装置至少：/n访问(704)包括所述数据的多个观察的所述存储器；/n针对来自所述数据的多个观察的观察集合对来自所述多个独立变量的独立变量集合的值执行交互式探索性数据分析(706)，其中，在所述GUI中自动生成信息图以直观地汇总所述独立变量集合的值，所述独立变量集合中的一个或更多个独立变量或所述观察集合中的一个或更多个观察基于经由所述GUI的用户输入来选择；/n基于所述交互式探索性数据分析执行(708)交互式特征构造和选择，并且其中，来自所述多个独立变量的选择独立变量被选择为或变换为特征集合以用于构建所述机器学习模型以预测所述因变量，基于经由所述GUI的用户输入和在所述GUI中自动生成的信息图，一个或更多个所述选择独立变量被选择为或变换为所述特征集合；以及/n使用机器学习算法、所述特征集合以及根据所述特征集合和所述数据的多个观察产生的训练集构建(710)所述机器学习模型，所述训练集包括所述选择独立变量的值和所述因变量的值，/n其中，所述机器学习模型的交互式开发还包括使所述装置输出(714)所述机器学习模型进行部署以预测并从而产生针对所述数据的附加观察的因变量的预测，所述数据的附加观察不包括所述因变量的值，由所述机器学习模型产生的预测比由在没有所述交互式探索性数据分析以及包括经由GUI的用户输入的交互式特征构造和选择的情况下构建的相应机器学习模型所产生的预测准确。/n...

【技术特征摘要】
20181025 US 16/170,8641.一种用于交互式机器学习模型开发的装置(900)，所述装置包括：
存储器(904)，其存储系统的数据的多个观察，所述数据的多个观察中的每个观察包括多个独立变量的值和因变量的值；以及
处理电路(902)，其被配置为访问所述存储器，并执行(702)应用程序以根据迭代过程生成可视环境(104)，所述可视环境包括用于机器学习模型(118)的交互式开发的图形用户界面即GUI(106)，所述迭代过程的至少一个迭代包括使所述装置至少：
访问(704)包括所述数据的多个观察的所述存储器；
针对来自所述数据的多个观察的观察集合对来自所述多个独立变量的独立变量集合的值执行交互式探索性数据分析(706)，其中，在所述GUI中自动生成信息图以直观地汇总所述独立变量集合的值，所述独立变量集合中的一个或更多个独立变量或所述观察集合中的一个或更多个观察基于经由所述GUI的用户输入来选择；
基于所述交互式探索性数据分析执行(708)交互式特征构造和选择，并且其中，来自所述多个独立变量的选择独立变量被选择为或变换为特征集合以用于构建所述机器学习模型以预测所述因变量，基于经由所述GUI的用户输入和在所述GUI中自动生成的信息图，一个或更多个所述选择独立变量被选择为或变换为所述特征集合；以及
使用机器学习算法、所述特征集合以及根据所述特征集合和所述数据的多个观察产生的训练集构建(710)所述机器学习模型，所述训练集包括所述选择独立变量的值和所述因变量的值，
其中，所述机器学习模型的交互式开发还包括使所述装置输出(714)所述机器学习模型进行部署以预测并从而产生针对所述数据的附加观察的因变量的预测，所述数据的附加观察不包括所述因变量的值，由所述机器学习模型产生的预测比由在没有所述交互式探索性数据分析以及包括经由GUI的用户输入的交互式特征构造和选择的情况下构建的相应机器学习模型所产生的预测准确。


2.根据权利要求1所述的装置(900)，其中，所述系统为飞机，并且所述数据的多个观察为针对所述飞机的多个飞行的飞行数据，针对每个飞行，所述多个独立变量的值为在飞行期间由机载飞行记录仪从多个传感器或航空电子系统记录的多个特性的测量值，并且所述因变量的值为所述飞行期间所述飞机的状态的指示。


3.根据前述权利要求中的任一项所述的装置(900)，其中所述迭代过程的至少一个后续迭代包括使所述装置至少：
执行(706)所述交互式探索性数据分析，其中基于经由所述GUI(106)的用户输入来修改所述独立变量集合或所述观察集合，并且在所述GUI中自动生成经修改的信息图；
基于经由所述GUI的用户输入和在所述GUI中自动生成的经修改的信息图，修改所述特征集合中的一个或更多个特征以产生用于所述后续迭代的经修改的特征集合；以及
使用所述机器学习算法、所述经修改的特征集合以及从所述经修改的特征集合和所述数据的多个观察产生的经修改的训练集来构建所述机器学习模型(118)的版本。


4.根据前述权利要求中的任一项所述的装置(900)，其中所述迭代过程的至少一个后续迭代包括使所述装置至少：
基于经由所述GUI(106)的用户输入，修改所述特征集合中的一个或更多个特征以产生用于所述后续迭代的经修改的特征集合；以及
使用所述机器学习算法、所述经修改的特征集合以及从所述经修改的特征集合和所述数据的多个观察产生的经修改的训练集来构建所述机器学习模型(118)的版本。


5.根据前述权利要求中的任一项所述的装置(900)，其中使所述装置执行(708)所述交互式特征构造和选择包括使所述装置将所述选择独立变量中的一个或更多个应用于变换以产生所述特征集合的特征，所述选择独立变量中的一个或更多个或所述变换基于经由所述GUI(106)的用户输入来选择。


6.根据权利要求5所述的装置(900)，其中所述迭代过程的至少一个后续迭代包括使所述装置至少：
基于经由所述GUI(106)的用户输入来修改一个或更多个所述选择独立变量或所述变换，并从而修改由此产生的所述特征集合的特征，所述特征集合为用于后续迭代的包括由此修改的特征的经修改的特征集合；以及
使用所述机器学习算法、所述经修改的特征集合以及经修改的训练集来构建所述机器学习模型(118)的版本。


7.根据前述权利要求中的任一项所述的装置(900)，其中使所述装置构建(710)所述机器学习模型包括使所述装置执行交互式模型构建，在所述交互式模型构建中，所述机器学习算法基于经由所述GUI(106)的用户输入从多个机器学习算法中选择，并且其中所述迭代过程的至少一个后续迭代包括使所述装置至少：
使用所述多个机器学习算法中的一个不同算法、所述特征集合和所述训练集执行所述交互式模型构建以构建所述机器学习模型(118)的版本，所述多个机器学习算法中的一个不同算法基于经由所述GUI的用户输入来选择。

<...

【专利技术属性】
技术研发人员：S·乔普拉，A·K·莫哈尔，A·圣达拉曼，K·卡卢斯卡，
申请(专利权)人：波音公司，
类型：发明
国别省市：美国;US