基于局部线性化的复杂机器学习模型解释方法及装置制造方法及图纸

本发明专利技术公开了一种基于局部线性化的复杂机器学习模型解释方法及装置，其中，方法包括：采集样本集中任意一点作为样本点，并在样本点周围随机采样得到多个采样点；在表达空间中，获取样本点与每个采样点间的欧拉距离，以作为每个采样点的权重；根据每个采样点的权重和线性模型得到待解释的机器学习模型和解释函数的拟合结果的差距，以获取寻优问题；优化求解寻优问题中使用正则化项惩罚因子的线性回归问题，并得到解释结果。该方法可以在每个数据点的邻域内对复杂机器学习模型进行解释，充分考虑样本空间的局部特性，不但可以有效寻找样本空间不同区域的主导特征，而且更加直观、便捷，可适用于多种机器学习模型的解释。

【技术实现步骤摘要】
基于局部线性化的复杂机器学习模型解释方法及装置
本专利技术涉及机器学习应用与分析
，特别涉及一种基于局部线性化的复杂机器学习模型解释方法及装置。
技术介绍
机器学习领域开创之初，研究者们就开始探讨机器学习算法的解释(Interpretability/Comprehensibility)问题。这里所谓的“解释”，是机器学习领域的含义，旨在提供输入变量与模型输出之间的定量关系(qualitativeunderstanding)。研究者普遍认为，模型的精度、复杂程度与可解释性成相反的关系，即简单模型的可解释性强，但是精度较低；而复杂模型可以获得较高的计算精度，但是难以直观解释。目前，研究者更倾向于先使用复杂模型得出精度较高的模型，然后利用简单模型对得到的高精度模型进行解释，即使用简单模型去拟合复杂模型的输出值。相关技术中训练决策树模型作为神经网络模型的解释，树模型复杂度被用于表示该解释模型的可解释能力。相关技术中通过有效区间分析(Validity-IntervalAnalysis)来对神经网络模型进行解释，与决策树模型的基本原理一致。相关技术中试使用一阶逻辑表达(First-orderLogicFormulate)和贝叶斯网络(BayesianNetwork)等两种算法来解释矩阵分解算法。总结来看，相关技术中的解释方法在全体输入空间中利用如线性模型、决策树模型等简单模型来解释复杂模型，但是无法考虑输入空间局部的特点，是相关技术中解释方法最大的问题，有待改进。
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的一个目的在于提出一种基于局部线性化的复杂机器学习模型解释方法，该方法不但可以有效寻找样本空间不同区域的主导特征，而且更加直观、便捷，可适用于多种机器学习模型的解释。本专利技术的另一个目的在于提出一种基于局部线性化的复杂机器学习模型解释装置。为达到上述目的，本专利技术一方面实施例提出了一种基于局部线性化的复杂机器学习模型解释方法，包括：采集样本集中任意一点作为样本点，并在所述样本点周围随机采样得到多个采样点，且根据原机器学习模型得到所述多个采样点的每个采样点的机器学习模型预测结果；在表达空间中，获取所述样本点与所述每个采样点间的欧拉距离，以作为所述每个采样点的权重；根据所述每个采样点的权重和线性模型得到待解释的机器学习模型和解释函数的拟合结果的差距，并得到所述解释函数的复杂度，以获取寻优问题；优化求解所述寻优问题中使用正则化项惩罚因子的线性回归问题，并得到解释结果。本专利技术实施例的基于局部线性化的复杂机器学习模型解释方法，可以在每个数据点的邻域内对复杂机器学习模型进行解释，充分考虑样本空间的局部特性，不但可以有效寻找样本空间不同区域的主导特征，而且更加直观、便捷，可适用于多种机器学习模型的解释。另外，根据本专利技术上述实施例的基于局部线性化的复杂机器学习模型解释方法还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，所述每个采样点的权重为：其中，xi为所述样本点，为所述多个采样点，σ为所有距离的标准差。进一步地，在本专利技术的一个实施例中，所述拟合结果的差距为：其中，f为所述待解释的机器学习模型，g为所述解释函数，Γ为所述拟合结果的差距；所述解释函数的复杂度为：其中，Ω为所述复杂度。进一步地，在本专利技术的一个实施例中，所述寻优问题为：可选地，在本专利技术的一个实施例中，通过SGD(SaccharomycesGenomeDatabase，随机梯度下降)算法求解所述线性回归问题。为达到上述目的，本专利技术另一方面实施例提出了一种基于局部线性化的复杂机器学习模型解释装置，包括：采集模块，用于采集样本集中任意一点作为样本点，并在所述样本点周围随机采样得到多个采样点，且根据原机器学习模型得到所述多个采样点的每个采样点的机器学习模型预测结果；第一获取模块，用于在表达空间中，获取所述样本点与所述每个采样点间的欧拉距离，以作为所述每个采样点的权重；第二获取模块，用于根据所述每个采样点的权重和线性模型得到待解释的机器学习模型和解释函数的拟合结果的差距，并得到所述解释函数的复杂度，以获取寻优问题；解释模块，用于优化求解所述寻优问题中使用正则化项惩罚因子的线性回归问题，并得到解释结果。本专利技术实施例的基于局部线性化的复杂机器学习模型解释装置，可以在每个数据点的邻域内对复杂机器学习模型进行解释，充分考虑样本空间的局部特性，不但可以有效寻找样本空间不同区域的主导特征，而且更加直观、便捷，可适用于多种机器学习模型的解释。另外，根据本专利技术上述实施例的基于局部线性化的复杂机器学习模型解释装置还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，所述每个采样点的权重为：其中，xi为所述样本点，为所述多个采样点，σ为所有距离的标准差。进一步地，在本专利技术的一个实施例中，还包括：所述拟合结果的差距为：其中，f为所述待解释的机器学习模型，g为所述解释函数，Γ为所述拟合结果的差距；所述解释函数的复杂度为：其中，Ω为所述复杂度。进一步地，在本专利技术的一个实施例中，所述寻优问题为：可选地，在本专利技术的一个实施例中，所述解释模块通过SGD算法求解所述线性回归问题。本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为根据本专利技术一个实施例的基于局部线性化的复杂机器学习模型解释方法的流程图；以及图2为根据本专利技术一个实施例的基于局部线性化的复杂机器学习模型解释装置的结构示意图。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。下面参照附图描述根据本专利技术实施例提出的基于局部线性化的复杂机器学习模型解释方法及装置，首先将参照附图描述根据本专利技术实施例提出的基于局部线性化的复杂机器学习模型解释方法。图1是本专利技术一个实施例的基于局部线性化的复杂机器学习模型解释方法的流程图。如图1所示，该基于局部线性化的复杂机器学习模型解释方法包括以下步骤：在步骤S101中，采集样本集中任意一点作为样本点，并在样本点周围随机采样得到多个采样点，且根据原机器学习模型得到多个采样点的每个采样点的机器学习模型预测结果。可以理解的是，在本专利技术的实施例中，首先取样本集中的任意一点作为样本点xi，在该样本点周围随机采样得到N个点即多个采样点，分别记为并利用原机器学习模型，计算每个采样点的机器学习模型预测结果需要说明的是，本专利技术实施例的方法在每一个数据点邻域内对机器学习模型做局部解释，可以充分考虑不同输入空间中特征的差异性，实现机器学习模型的局部线性化解释。在步骤S102中，在表达空间中，获取样本点与每个采样点间的欧拉距离，以作为每个采样点的权重。其中，在本专利技术的一个实施例中，每个采样点的权重可以为：其中，xi为样本点，为多个采样点，σ为所有距离的标准差。可以理解的是，在表达空间中，计算样本点与采样点间的欧拉距离，记为其中，σ为所有距本文档来自技高网...

【技术保护点】
一种基于局部线性化的复杂机器学习模型解释方法，其特征在于，包括以下步骤：采集样本集中任意一点作为样本点，并在所述样本点周围随机采样得到多个采样点，且根据原机器学习模型得到所述多个采样点的每个采样点的机器学习模型预测结果；在表达空间中，获取所述样本点与所述每个采样点间的欧拉距离，以作为所述每个采样点的权重；根据所述每个采样点的权重和线性模型得到待解释的机器学习模型和解释函数的拟合结果的差距，并得到所述解释函数的复杂度，以获取寻优问题；以及优化求解所述寻优问题中使用正则化项惩罚因子的线性回归问题，并得到解释结果。

【技术特征摘要】
1.一种基于局部线性化的复杂机器学习模型解释方法，其特征在于，包括以下步骤：采集样本集中任意一点作为样本点，并在所述样本点周围随机采样得到多个采样点，且根据原机器学习模型得到所述多个采样点的每个采样点的机器学习模型预测结果；在表达空间中，获取所述样本点与所述每个采样点间的欧拉距离，以作为所述每个采样点的权重；根据所述每个采样点的权重和线性模型得到待解释的机器学习模型和解释函数的拟合结果的差距，并得到所述解释函数的复杂度，以获取寻优问题；以及优化求解所述寻优问题中使用正则化项惩罚因子的线性回归问题，并得到解释结果。2.根据权利要求1所述的基于局部线性化的复杂机器学习模型解释方法，其特征在于，所述每个采样点的权重为：其中，xi为所述样本点，为所述多个采样点，σ为所有距离的标准差。3.根据权利要求2所述的基于局部线性化的复杂机器学习模型解释方法，其特征在于，所述拟合结果的差距为：其中，f为所述待解释的机器学习模型，g为所述解释函数，Γ为所述拟合结果的差距；所述解释函数的复杂度为：其中，Ω为所述复杂度。4.根据权利要求3所述的基于局部线性化的复杂机器学习模型解释方法，其特征在于，所述寻优问题为：5.根据权利要求1-4任一项所述的基于局部线性化的复杂机器学习模型解释方法，通过随机梯度下降SGD算法求解所述线性回归问题。6.一种基于局部线性化的复杂...

【专利技术属性】
技术研发人员：郑乐，胡伟，李勇，王春明，徐遐龄，
申请(专利权)人：清华大学，国家电网公司华中分部，国家电网公司，
类型：发明
国别省市：北京,11